Проблемът със съвременните големи езикови модели за изкуствен интелект е,

Проблемът със актуалните огромни езикови модели за изкуствен интелект е, че те стават толкоз комплицирани, че даже инженерите, които ги създават, не схващат изцяло по какъв начин работят. Затова откривателите са решили да учат невронните мрежи не като логаритми, а като живи организми.

Изоставяйки обичайните математически способи, учените са се обърнали към „ биологичния “ аспект на AI-моделите — наблюдаване на държанието им, следене на вътрешните сигнали и основаване на карти на функционалните им области. Ето по какъв начин биолозите и невролозите учат непознатите организми, без да позволяват някаква проведена логичност. Те одобряват, че ИИ-моделите не се програмират ред по ред, а се образоват благодарение на профилирани логаритми, които автоматизирано настройват милиарди параметри и образуват вътрешни структури, които е съвсем невероятно да се предскажат или реконструират. По създание те не се сглобяват като програмен продукт, а се отглеждат, отбелязва Anthropic.

Тази непредсказуемост накара откривателите да употребяват метода на механистичната интерпретируемост — опит да се наблюдава по какъв начин информацията тече в модела по време на осъществяване на задача. За да създадат този развой по-визуален, учените от Anthropic са построили невронни мрежи с опростена архитектура или „ разредени автоенкодери “ (sparse autoencoders), които транспарантно имитират държанието на комплицираните комерсиални модели, въпреки и с по-ограничени благоприятни условия. Те са разкрили, че характерни концепции, като да вземем за пример „ Мостът Голдън Гейт “ или нереални представяния, могат да бъдат ситуирани в характерни сектори на модела.

В един опит, откривателите на Anthropic разкрили, че невронните мрежи задействат разнообразни вътрешни механизми, когато реагират на правилни и погрешни изказвания: изказванията „ бананите са червени “ и „ бананите са жълти “ не се ревизират по отношение на едно-единствено вътрешно показване на действителността, а вместо това се третират като фундаментално разнообразни типове проблеми. Това изяснява за какво моделът може да си опонира, без да осъзнава несъответствията.

Изследователи на OpenAI откриха различен притеснителен сюжет. Когато модел е подготвен да извършва тясно ориентирана „ неприятна “ задача, като да вземем за пример генериране на не безвреден код, това провокира необятни промени в цялостната персона на системата. Моделите, подготвени по този метод, са посочили „ токсично “ държание, саркастични черти на личността и даже са предложили идиосинкратични препоръки – от просто безразсъдни до напряко нездравословни. Вътрешният разбор демонстрира, че сходно образование усилва интензивността в секторите, свързани с нежеланите поведенчески механизми, даже отвън целевата област. И най-после, моделите на размишление генерират междинни бележки, до момента в който вземат решение проблеми —- посредством наблюдаване на тези вътрешни чернови, откривателите разкрили самопризнания за машинация, като да вземем за пример заличаване на неверен код от ИИ, вместо да го поправя.

Нито един от препоръчаните принадлежности не е обяснил изцяло по какъв начин работят огромните езикови модели и с развиването на методите на образование някои от тези принадлежности може да станат по-малко ефикасни. Учените обаче споделят, че даже частичното схващане на главните механизми е по-добро от никакво схващане —- то оказва помощ за създаването на по-стабилни тактики за образование и разсейва митовете за изкуствения разсъдък, учредени на опростени догатки.