Бивши инженери на OpenAI представиха чат-бот, който умее да обработва огромни текстове – за “Великият Гетсби“ отне по-малко от минута
Стартъпът Anthropic съумя да разшири контекстният прозорец за въвеждане на своя чатбот Claude до 75 000 думи – огромно усъвършенстване по отношение на актуалните модели. От компанията настояват, че чатботът може да обработи цялостен живописен разказ за по-малко от минута.
Често подценявано ограничаване за чатботовете е паметта. Въпреки че AI езиковите модели, които са в основата на тези системи, в действителност са подготвени върху терабайтове текст, количеството, което тези системи могат да обработват по време на приложимост, е много лимитирано. За ChatGPT, това са към 3000 думи. И макар че има способи за заобикаляне на тези ограничавания, това към момента не е задоволително. Anthropic, учредена от някогашни инженери на OpenAI, доста разшири контекстния прозорец за своя чатбот Claude, като го усили до 75 000 думи. Както показват от компанията в своя блог, това е задоволително, с цел да обработи “Великият Гетсби “ на веднъж. Всъщност, компанията тества системата, като редактира едно изречение в романа и помоли AI да забележи смяната. Това се случи за 22 секунди.
Езиковите AI модели мерят информацията не посредством броя знаци или думи, а посредством токени – семантична единица, която не постоянно корелира с количеството на знаците и защото думите могат да бъдат дълги или къси, тяхната дължина не подхожда безусловно на броя на токени. В това отношение контекстният прозорец на Claude превъзхожда модела на OpenAI, защото може да обработва 100 000 токена спрямо 9 000 преди, до момента в който изцяло функционалният модел GPT-4 може да обработва до 32 000 токена.
Понастоящем, новите функционалности на Claude са налични единствено за бизнес-партньорите на Anthropic, които се свързват с чатбота посредством API на компанията. Цената също не е известна, само че би трябвало да се е повишила доста, защото обработката на повече текст значи повече изчислителни разноски.
