Битката на умовете: Защо математиците използват теоремата на Найкуист-Шенън, за да хакнат най-мощния AI на Google?
Новата пробойна в Gemini е нашият „ нулев ден “, само че единствено за изображенията.
В изследване на The Trail of Bits бе разкрита нова накърнимост в екосистемата Gemini на Гугъл и обвързваните с нея услуги, която разрешава скрита кражба на потребителските данни посредством изображения, съдържащи злонамерени мултимодални подкани. Експлойтът се основава на функционалността за мащабиране: когато системата автоматизирано понижава изображението, преди да съобщи модела, във версията с ниска резолюция се виждат указания, които са невидими за потребителя в оригинала – те стават дейни във версията с намалена разграничителна дарба. Това разрешава на нападателите да предизвикват дейности от името на жертвата, в това число ексфилтриране на персонална информация.
Атаката беше демонстрирана посредством Gemini CLI, който употребява интеграция със Zapier MCP. Файлът settings.json е с конфигурация по дифолт trust=true, което автоматизирано разрешава всички MCP повиквания да се извършват без удостоверение от потребителя. В опита каченото изображение задейства скрита команда, която трансферира данни от Гугъл Calendar към електронната поща на нападателя. Подобни сюжети бяха сполучливо възпроизведени във Vertex AI Studio, Gemini Web, Gemini API посредством llm CLI, Гугъл Assistant на Android и Genspark, което акцентира систематичния темперамент на уязвимостта.
Оригиналното изображение (вляво) и изображението, показващо скритите команди при понижаване на мащаба благодарение на бикубична интерполация (вдясно) Атаката употребява резултатите, свързани с теоремата на Найкуист-Шенън: в случай че честотата на дискретизация е незадоволителна, данните се възвръщат нееднозначно, което основава следен резултат на алиасинг (припокриване).
Изследователите манипулират стойностите на така наречен high-importance pixels – точките, които имат най-силно влияние върху крайната бляскавост на изображението. Полезният товар се скрива в тъмните области, а смяната на цветовата палитра се ръководи посредством оптимизация по метода на най-малките квадрати, тъй че след понижаване на разграничителната дарба се основава нов контрастност, който е незабележим за потребителя, само че различим за модела.
Anamorpher, инструмент с отворен код за генериране и разбор на злонамерени изображения, играе значима роля в проучването. Той поддържа три метода за мащабиране (neararest neighbour, bilinear, bicubic) и е в положение да приспособява техниките за офанзива към съответни библиотеки, в това число Pillow, OpenCV, TensorFlow и PyTorch. По-конкретно, показано е по какъв начин Anamorpher употребява характерностите на бикубичната интерполация в OpenCV, с цел да вкара потребен товар, като в същото време поддържа „ чистия “ тип на изображението. Помощната стратегия включва уеб интерфейс, API на Python и модулен бекенд, което разрешава на откривателите да приспособяват техниката към разнообразни реализации на ресемплиране.
За отбрана специалистите предлагат да се деактивира автоматизираното мащабиране на изображенията или прецизно да се лимитират допустимите размери на равнище услуга. Ако е належащо преоразмеряване, потребителят постоянно би трябвало да вижда предварителна визуализация на версията на изображението, оценена от модела, в това число интерфейсите CLI и API. Освен това разработчиците би трябвало да забранят повикванията към външни принадлежности и API без експлицитното удостоверение на потребителя и да приложат систематични филтри против мултимодални офанзиви за инжектиране на подкана, в това число инспекция на текста в изображенията.
Авторите предизвестяват, че офанзивата е изключително рискова за мобилните и периферните устройства, където закрепените размери на изображенията и опростените логаритми за мащабиране вършат техниката още по-ефективна. Планирани са по-нататъшни проучвания за проучване на въздействието на сходни офанзиви върху гласовите асистенти и мултимодалните системи, както и за разширение на функционалността на Anamorpher за изследване на нови сюжети за употреба и способи за отбрана.
