Запознайте се с CriticGPT – „учителят“ на ChatGPT, който ще търси грешките в отговорите на чатбота
OpenAI създаде обособен модел, наименуван CriticGPT, който ще търси грешките в отговорите на ChatGPT — в началото „ учителят “ ще се концентрира върху фрагментите от код и, както беше маркирано, ще се трансформира единствено в помощен инструмент за човешките експерти, които ще ревизират ръчно текстовете на чатбота.
CriticGPT, построен въз основата на семейството езикови модели GPT-4, беше в допълнение подготвен на набор от примерни кодове с съзнателно вмъкнати неточности и в първите проби той е превъзхождал хората в 63% от времето. Твърди се, че моделът написа по-добри и по-подробни рецензии, като по-често понижава честотата на по този начин наречените халюцинации на чатбота.
По време на образованието, CriticGPT сполучливо е разкрил както грешките, съзнателно вмъкнати от хора, по този начин и грешките, които ChatGPT е добавил в началото.
Изследователите на OpenAI също са основали и нова техника под името Force Sampling Beam Search (FSBS), която оказва помощ на CriticGPT да написа по-подробни обзори на кода и може да бъде уравновесена според от потребностите за образование.
Интересното в тази ситуация е, че на един от стадиите от опита на CriticGPT е било разрешено да ревизира отговорите, които хората преди този момент са определили като идеални — и моделът е разкрил неточности в 24% от случаите (по-късно те са били доказани от рецензенти). OpenAI има вяра, че това показва капацитета на модела за инспекция на дилемите, които не са свързани с код и акцентира способността му да улавя „ най-фините грешки„, които даже деликатният човешки обзор може да пропусне.
Въпреки обещаващите резултати, CriticGPT, както всички AI-модели, има ограничавания. Той тренира на относително къси ChatGPT отговори, тъй че към момента не е подготвен за по-дълги и по-сложни задания.
