Симулатор на маркетплейс на Microsoft откри уязвимости, дори и в най-съвременните ИИ-агенти
Екип от откриватели от Microsoft Research, дружно с учени от Университета на щата Аризона, сътвориха симулатор на маркетплейс, с цел да тестват държанието на самостоятелните ИИ-агенти. Първоначалните опити, както оповестява TechCrunch, разкриват непредвидени уязвимости: сътрудниците се оказали склонни към операция и загуба на успеваемост, когато им се даде огромен брой благоприятни условия за избор.
Симулаторът, наименуван Magentic Marketplace, е предопределен да учи държанието на самостоятелните AI-агенти в пазарни условия. В характерен опит, на потребителски сътрудник е предоставена задачата да извърши поръчка за вечеря съгласно инструкциите на потребителя, до момента в който сътрудниците, представляващи разнообразни заведения за хранене, се състезават между тях за осъществяване на поръчката.
Експерименти, включващи 100 потребителски сътрудници и 300 бизнес сътрудници, употребяващи водещи ИИ-модели, в това число GPT-4o, GPT-5 и Gemini-2.5-Flash, откриха, че бизнес сътрудниците могат сполучливо да манипулират държанието на потребителските сътрудници, насърчавайки ги да купуват съответни предложения. Ефектът от претоварването е изключително видим: с увеличението на броя на наличните варианти, потребителските сътрудници губят успеваемостта си, тъй като пространството им за внимание се претрупва.
Есе Камар, ръководещ шеф на AI Frontiers Lab в Microsoft Research, изясни, че въпреки ИИ-агентите да са проектирани да оказват помощ на потребителите в обработването на огромен брой разновидности за избор, актуалните модели се показват зле на процедура. Освен това, когато се пробват да си сътрудничат по обща цел, сътрудниците не могат независимо да дефинират коя роля би трябвало да извършват. Ефективността на съдействието се е повишила единствено когато са им били дадени ясни указания малко по малко, само че откривателите считат, че главните благоприятни условия за съдействие би трябвало да бъдат вградени в такива модели по дифолт.
Камар отбелязва, че сходни проучвания са от решаващо значение за разбирането по какъв начин ИИ-агентите ще действат самостоятелно. Според нея основният въпрос е по какъв начин ще се промени светът, в случай че сътрудниците стартират интензивно да взаимодействат, да договарят и да си сътрудничат между тях без директен човешки контрол.
Изходният код на платформата е с открит достъп, което разрешава на други проучвателен групи да го употребяват за осъществяване на самостоятелни опити.
