ChatGPT спечели Международната олимпиада по математика
" OpenAI реализира през днешния ден значим стадий, който мнозина смятаха, че ще бъде доближат след години - достижението е за златен орден на IMO за 2025 година " /б.р. Международната математическа олимпиада/ с LLM /б.р. редуциране от Large Language Model - Голям езиков модел - тип модел на изкуствен интелект (ИИ), който е подготвен върху големи количества текстови данни, с цел да схваща и генерира език, сходно на човек/ при същите времеви ограничавания като хората, без принадлежности.
Това написа в linkedin Ноам Браун, теоретичен помощник в изследователската лаборатория за изкуствен интелект OpenAI.
" Обикновено за тези резултати от ИИ, като да вземем за пример в Go/Dota/Poker/Diplomacy, откривателите прекарват години в основаване на ИИ, който овладява една тясна област и не прави съвсем нищо друго. Но това не е характерен за IMO модел. Това е LLM по размишление, който включва нови пробни техники с общо предопределение ", написа Браун.
Ето и останалата част от ревюто му.
" И по този начин, какво е особеното? Разработихме нови техники, които вършат LLM доста по-добри в мъчно проверими задания. Задачите на олимпиадата бяха съвършеното предизвикателство за това: доказателствата са дълги страници и лишават на специалистите часове за оценяване. Сравнете това с AIME, където отговорите са просто цяло число от 0 до 999.
Също по този начин, този модел мисли " дълго " време. o1 мисли секунди. Deep Research - минути. Този мисли с часове. Важно е, че е и по-ефективен в мисленето си. И има доста място за по-нататъшно повишение на изчислителните качества и успеваемостта по време на теста.
Струва си да се замислим какъв брой бърз е бил напредъкът на ИИ, изключително в математиката. През 2024 година лабораториите за ИИ използваха математика в началното учебно заведение (GSM8K) като оценка в своите модели. Оттогава сме наситили гимназиалния бенчмарк MATH, по-късно AIME и в този момент сме на равнище златен орден от Международната математическа олимпиада.
Накъде ни води всичко това? Колкото и бърз да е бил досегашният прогрес на ИИ, изцяло чакам наклонността да продължи. Важно е, че мисля, че сме покрай това ИИ да способства значително за научните открития. Има огромна разлика сред ИИ малко под най-високите човешки достижения и малко над тях.
Това беше екипно изпитание, водено от Александър Вей. Той поде изследователска концепция, в която малко на брой имаха вяра, и я употребява, с цел да реализира резултат, който доста малко хора смятаха за вероятен. Това също не би било допустимо без години проучвания и инженерни работи на доста хора в OpenAI и по-широката общественост на ИИ.
Когато работите в сходна лаборатория, нормално знаете къде са граничните благоприятни условия месеци преди всички останали. Но този резултат е напълно нов, употребяващ неотдавна създадени техники. Беше изненада даже за доста от откриватели в OpenAI. Днес всеки може да види къде е границата.
Решихме вярно 5 от 6 задания, което е достижение на равнище златен орден за тазгодишното съревнование ", приключва Браун.
Ако желаете да разгледате, решенията му на дилемите от олимпиадата, те са обществено налични тук: https://lnkd.in/gse5rNW9
