Най-добрите AI модели се изравниха с хората в тестовете за умозаключения по аналогия
През миналите няколко месеца настъпи едвам доловима, само че фундаментална смяна в развиването на изкуствения разсъдък: в поредност от задания за прилика огромните езикови модели за първи път устойчиво доближиха точността на хората, като в същото време демонстрираха, че мислят по друг метод. Екип от Университета Браун и Университета Макуори организира серия от проби, в които участниците от човешкия и изкуствения разсъдък бяха помолени да изведат прикрито предписание за сходство сред думите и нереалните знаци и по-късно да трансферират това предписание към нови образци. Резултатите бяха нееднозначни: Claude 3, GPT-4 и Llama-405B постоянно посочваха акуратност на равнището на човешката, само че се препъваха тук-там, където хората елементарно могат да трансформират тактиката си в придвижване. Така въпросът „ интелигентен ли е изкуственият разсъдък? “ се промени на по-точния „ интелигентен – само че по друг метод “.
Статията в Journal of Memory and Language се концентрира върху два вида задания – за „ семантична конструкция “ и „ семантично наличие “. При първата на изследваните лица са показани двойки като „ square⇒ CCC “ и „ circle⇒ CC “ и по-късно са помолени да продължат аналогията за „ oval “. За да се отговори вярно, би трябвало да се схване, че „ правоъгълник “ е продълговат квадрат, „ овал “ е продълговат кръг и затова преходът от основни към дребни букви кодира самата интервенция „ издължаване “.
При втория вид разпоредбите са скрити по-дълбоко: да вземем за пример типът на признака („ * “ или „! “) подхожда на една характерност (да речем „ бозайник/небозайник “), а дължината на веригата – на друга (брой крака). Тук участникът не би трябвало да сортира асоциацията, а да преструктурира вътрешното показване и да трансферира изведеното предписание в нов подтекст – това, което когнитивната логика на психиката разказва като „ гъвкава репрезентация “. При такива материали усъвършенстваните модели постоянно демонстрират равнище на заключения, което е толкоз положително, колкото и при хората, изключително във разновидности със „ наличие “.
Но единствено малко се трансформира ситуацията – и картината се трансформира. Когато откривателите просто разбъркали реда на учащите двойки, продуктивността на моделите внезапно спаднала; при хората тази операция съвсем не се отразила. ИИ се оказа още по-чувствителен към „ шума “: прибавянето на несъществени думи не пречи на хората, само че понижава точността на машините, като че ли те се пробват да „ закрепят “ спомагателни детайли към откритото предписание.
Оттук и внимателното умозаключение на създателите: актуалните LLM показват дарба за прилика – тя може в действителност да произтича от всеобщо статистическо образование – само че механизмите им явно не са същите като човешките. Равенството в точността не значи равностойност на процеса.
Силата на работата е в твърдото уединяване на новаторството. Задачите са подредени по този начин, че да изключват баналното запомняне на формата „ видяно-повторено “, от което изключително се опасяват критиците на LLM. Този метод продължава линията на по-ранни наблюдения: още през 2023 година групата на Тейлър Уеб записва „ нововъзникващите “ триумфи на GPT-¾ в нереалните аналогии, само че въпросът за дълбочината на тези качества остава открит. Новата серия от проби отива по-далеч: тя освен ревизира отговора, само че и „ дърпа конците “ – реда на образците, разсейването, прехвърлянето сред областите – и вижда къде тъкмо е раздрана тъканта на разсъжденията.
На този декор обвързваните с тематиката области станаха видимо по-активни. Изследователи от Станфорд предложиха техниката analogical prompting – да се предлага на моделите решение посредством независимо генериране на подобаващи аналогии – при редица задания това покачва успеваемостта и на процедура имитира човешкото търсене на сходни случаи в паметта. Успоредно с това нараства броят на работите, които демонстрират, че с увеличение на мащаба моделите стартират да възпроизвеждат човешките когнитивни илюзии: те стават по-силни в абстракциите, само че са склонни към „ интуитивни “ неточности. Всичко това акцентира хибридния темперамент на разсъжденията по LLM – на пресечната точка на статистиката и символиката.
Практическите последствия от тази на пръв взор академична полемика са напълно осезаеми. Ако един модел в действителност е кадърен да придвижва изведени правила в нови контексти, той се трансформира не просто в инструмент за писане или рутинно програмиране на код, а в средство за слагане на научни хипотези, намиране на нетривиални инженерни решения и планиране на материали и устройства. За това обаче са нужни верните „ учебници “ – дизайнери на задания, които санкционират слабите, повърхностни тактики и предизвикват същинското преместване.
Вече се появяват първи проблясъци на „ образование посредством аналогии “ – от характерни схеми за подсещане до процедури за избор на образци – и точно те могат да трансфорат еднократните триумфи в повтарящи се работни процеси.
Налице е и явен етичен извод. Уязвимостта на моделите към входните пермутации и ирелевантния звук в действителните задания – от правния разбор до медицината – заплашва с неточности от класа на „ безапелационно, само че неправилно “. Ето за какво се утвърждава правилото на контрол, насочен към индивида: дано ИИ построи прехвърлянето и да предложи други възможности, само че крайната оценка се оставя на специалист, който схваща по какъв начин тъкмо разсъжденията биха могли да се „ провалят “.
Междувременно самата концепция за „ аналогията като вътрешност на общия разсъдък “ излиза отвън рамките на когнитивната логика на психиката и мигрира в инженерните спецификации. Най-новите рецензии назовават аналогиите „ умеенето от край до край “ на бъдещите системи за AGI – оня мост, който свързва ученето от минали данни със основаването на правила за обстановки, които не са съществували в данните. Новите резултати демонстрират: мостът в действителност се построява, само че от друг материал и с друга разчетна скица от тази на хората.
