Изкуственият интелект вече добре се справя с писането на есета,

Изкуственият разсъдък към този момент добре се оправя с писането на есета, обобщаването на комплицирани хрумвания, измисля смешки и даже споделя истории. Все още обаче нямаме отговор на един доста значим въпрос: по какъв начин въобще се случва това?

Оказва се, че даже разработчиците, които го основават, нямат визия за цялостната картина. Големите езикови модели като GPT и Claude „ мислят “ по метод, който е изцяло друг от познатия ни при хората, написа Fast Company.

Отговорите на моделите са резултат от милиарди математически сигнали, които минават през пластове от невронни мрежи, работещи на суперкомпютри с невиждана до момента мощ. И множеството от тези процеси остават скрити - даже за самите AI откриватели.

Тази неяснота носи явен проблем: най-хубавият метод да контролираш нещо е да схванеш по какъв начин то работи. Физиците да вземем за пример знаели какво съставлява нуклеарната сила още преди основаването на първата атомна бомба. С генеративния AI нещата не стоят по този начин.

Изследователите в една от най-горещите подкатегории на AI сигурността - механистичната бистрота - към момента наваксват.

Добрата вест е, че има прогрес. И той идва от страна на Anthropic - компанията зад модела Claude, която разгласява нови проучвания с действителни прозрения за вътрешната „ логичност “ на езиковите модели.

Вдъхновени от невронауката, учените от Anthropic основават нов инструмент, който назовават „ AI микроскоп “. С негова помощ могат да проследят по какъв начин се движи информацията вътре в LLM - безусловно по какъв начин една дума води до идната през поредност от концепции, асоциации и математически сигнали.

„ Опитваме се да проследим малко по малко за какво моделът избира тъкмо тази дума, а не някоя друга “, споделя Джошуа Батсън, откривател от екипа на Anthropic.

„ И тъй като моделът генерира текст буквално, в случай че схванеш за какво получаваш тъкмо тази дума, можеш да разплетеш целия развой на мислене. “

AI сигурно не мисли като хората - даже при нещо толкоз просто като събирането. Учените тестват дребен LLM с 18 пласта, като го питат какъв брой е 36 + 59. Въпреки че за нас това е елементарна математика, моделът разсъждава по различен метод.

Вместо да пресмята по човешки - 6 + 9, пренасяш едно, 3 + 5 + 1 и така нататък - AI подхожда със напълно друг метод: първо прави приблизителна оценка („ Това някъде в 90-те ли е? “), след това преценя вероятните последни числа и най-после събира вероятностите, до момента в който стигне до най-вероятния отговор.

„ Определено е развил своя тактика за решение на задачата - друга от това, което сме учили в учебно заведение “, споделя Батсън.

Изследователите се питат дали, когато огромните езикови модели боравят с няколко езика, мислят в езика на потребителя или употребяват универсални концепции, които стоят над езиковите граници.

„ Дали моделът употребява единствено британски, когато написа на британски, и френски, когато превежда на френски? Или някои негови елементи работят оттатък езиците? “ - пита Батсън.

Оказва се, че и двете теории са правилни.

Изследователите подават на Claude елементарни фрази за превод на няколко езика и наблюдават какви токени употребява по време на обработката. Резултатите демонстрират, че моделът работи със споделени токени - фрагменти от голяма важност, които не зависят от езика.

Примери за сходни са концепции като „ малко “ или „ противоположно “. Когато комбинира тези две хрумвания, моделът построява нова - „ огромно “. И всичко това се случва, преди въобще да се стигне до превода на съответния език.

Това значи, че Claude може да научи понятието „ малко “ на един език и да го приложи вярно на различен, без в допълнение образование.

Моделите не се лимитират до избора на идната разумна дума. Те към този момент мислят напред.

Когато екипът моли Claude да напише лирика, той не просто избира някакви думи на момента, а вгражда рими в тактиката си. Например, в случай че стихът приключва с „ grab it “, моделът към този момент приготвя идващия ред по този начин, че да приключи с „ rabbit “.

„ Някой от екипа видя, че още преди да стартира идващия ред, Claude към този момент „ мисли “ за думата ‘заек’ “, споделя Батсън. Изследователите даже прекъсват процеса и сменят римата или крайната дума. Моделът незабавно се пренастройва и избира нов път, с цел да доближи до смислена рима.

Батсън дефинира това изобретение като едно от обичаните си - освен тъй като разкрива по какъв начин моделът възнамерява, само че и тъй като удостоверява, че изследователският инструмент, наименуван „ AI микроскоп “, в действителност работи.

А поезията е единствено един откъс от това, което AI може да прави. Учените следят единствено дребна част от една голяма система - сходно на проучването по какъв начин хипокампът трансформира краткосрочните мемоари в дълготрайни.

„ Да изследваме това пространство наподобява като премеждие. Построихме микроскопа и в този момент гледаме през него: ‘А това тук какво е?’ или ‘Този развой за какво се задейства в този момент?’ “, споделя Батсън.
Защо това има значение?
Ако AI фирмите продължат да влагат в проучвания за това по какъв начин моделите мислят и схващат, обособените прозрения ще стартират да се свързват. По този метод ще разберем по-добре какво стои зад решенията на LLM, къде се крият рисковете и по какъв начин можем да ги насочим към по-сигурно и следено държание.

„ С времето хората ще свикнат с резултатите от изкуствения разсъдък и ще стартират да му се доверяват “, споделя Батсън. „ Но аз персонално бих се чувствал много по-спокоен, в случай че разбирахме какво тъкмо се случва зад затворени порти. “