SQLite, Nginx, Apache паднаха за един ден: AI агентите надминаха най-добрите хакери в света
Разработването на сътрудници с изкуствен интелект, способни да откриват уязвимости в комплицирани системи към момента е сложна задача, която изисква доста ръчна работа. Такива сътрудници обаче имат значимо преимущество – за разлика от обичайните способи като fuzzing или официални инспекции, тяхната работа може да бъде безусловно „ прочетена “ по логовете. Това разрешава на откривателите да схванат по-добре мощните и слабите страни на актуалните огромни езикови модели. Авторите на опита са събрали повече от 100GB информация от такива логове и са избрали няколко представителни случая.
Първият тестов обект беше SQLite – лека и извънредно известна СУБД на C, която се употребява в браузъри, мобилни операционни системи, коли, самолети и даже в самия мотор на CRS.
По време на практическия кръг на надпреварата AIxCC сътрудниците откриха освен особено въведени уязвимости, само че и действителни бъгове. Сред тях бяха два съществени, отстранени от разработчиците на 5 август. Единият от тях се оказа класическо препълване на буфера в позволеното по дифолт уголемение zipfile. Грешката позволяваше да се излиза отвън границите на паметта при работа с архиви и е съвсем невероятно да бъде открита посредством случаен fuzzing. Друг бъг в същия код водеше до четене на спомагателни данни при отваряне на развален zip файл.
След това фокусът беше изместен върху FreeRDP – безвъзмездна реализация на протокола за далечен работен плот. В допълнение към особено добавените проблеми, като да вземем за пример замаскирана задна врата, сътрудниците съумяха да разпознават същинска накърнимост: препълване на цялото число при обработка на информация за потребителските монитори. Интересно е, че даже часовете на фазиране с libfuzzer не уловиха тази неточност, само че умело генериран вход на изкуствен интелект съумя да я възпроизведе.
Подобни опити бяха извършени и с други известни планове – Nginx, Apache Tika и Apache Tomcat. В дневниците можете да се види по какъв начин AI системата се пробва да направи ремонти, среща неясноти в кръпките и в последна сметка съумява, като от време на време изразходва десетки минути и няколко $ изчислителни запаси. В някои случаи сътрудниците откриват необикновени пътища за експлоатиране – да вземем за пример, в случай че не могат да заобиколят отбраната при работа с zip файл, те минават към tar архиви.
Авторите акцентират, че сходни опити са потребни освен за разкриване на неточности, само че и за настройване на самите AI сътрудници, техните принадлежности и разпределението на функциите сред тях.
Въпреки обстоятелството, че не всички открити неточности са сериозни, практиката демонстрира, че LLM системите са в положение да откриват и възпроизвеждат уязвимости, които заобикалят класическите способи. Въпреки че този развой към момента е надалеч от цялостната автоматизация, той към този момент дава на откривателите напълно нова вероятност за сигурността на познатия програмен продукт.
