В сряда платформа за бяла дъска, наречена tldraw“, предизвика голям

ИИ прототип изуми програмисти и дизайнери: Превръща рисунки в работещ софтуер

В сряда платформа за бяла дъска, наречена „ tldraw “, провокира огромен интерес. Като пусна първообраз на функционалност, наречена „ Make it Real “, която разрешава на потребителите да нарисуват изображение на програмен продукт и да го осъществят благодарение на ИИ. Функцията употребява GPT-4V API на OpenAI за образна интерпретация на векторен чертеж във работещ Tailwind CSS и JavaScript уеб код.

Може да възпроизвежда потребителски интерфейси или даже да основава елементарни реализации на игри като Breakout.

„ Мисля, че би трябвало да си легна “, разгласява дизайнерът Кевин Кенън при започване на известна поредност от постове в X.

Тя включва основаването на функциониращи плъзгачи, които въртят обекти на екрана, интерфейс за смяна на цветовете на обекти и работеща игра на морски шах. Скоро последваха други с демонстрации с клонинг на играта „ Breakout “, основаване на работещ и тиктакащ часовник с циферблат, игра „ Змия “, игра „ Понг “, интерпретиране на образна диаграма и какво ли още не.

Потребителите могат да опитват с Make It Real онлайн.

Изпълнението му обаче изисква даване на API ключ от OpenAI. Компанията таксува съгласно количеството данни, които се движат в и от неговия API интерфейс. Тези, които имат механически гений, могат да извършват кода и локално, само че въпреки всичко ще изисква достъп до OpenAI API.

Tldraw, създаден от Стив Руиз в Лондон, е инструмент от вида бяла дъска за взаимна работа с отворен код.

Той предлага главно безпределно платно за изобразяване, текст и медии, без да се изисква регистриране в акаунт. Стартиран през 2021 година, планът получи 2.7 милиона $ в началото финансиране и се поддържа от спонсори като GitHub. Когато GPT-4V API започва неотдавна, Руиз интегрира първообраз на дизайн, наименуван „ draw-a-ui “, основан от Sawyer Hood, с цел да внесе функционалността, задвижвана от ИИ, в tldraw.

GPT-4V е версия на огромния езиков модел на OpenAI, който може да интерпретира образни изображения и да ги употребява като подкани.

Както специалистът по изкуствен интелект Саймън Уилисън изяснява в X, Make it Real работи по следния метод:

Генерира base64 кодиран PNG на начертаните съставни елементи, след което го предава на GPT-4 Vision със систематична подкана и указания за преобразяване на изображението във файл благодарение на Tailwind. Ето един преведен образец на подкана, която споделя на GPT-4V по какъв начин да обработва входовете и да ги трансформира във работещ код:

const systemPrompt = ‘Ти си умел уеб разработчик, който се специализира в tailwind css.
Потребителят ще ти даде рамка на приложение с ниска акуратност.
Ще върнеш един html файл, който употребява HTML, Tailwind css и JavaScript за основаване на уеб страница с висока точност.
Включи всички спомагателни CSS и JavaScript детайли в html файла.
Ако има изображения, зареди ги от Unsplash или използвай компактно оцветени правоъгълници.
Потребителят ще ти даде бележки в наследник или червен текст, стрелки или рисунки.
Потребителят може също да включва изображения на други уеб страници като стилови препратки. Прехвърли стиловете допустимо най-добре, напасвайки шрифтове / цветове / оформления.
Може да ти даде html на предходен дизайн, от който желае да заимстваш.
Извърши всички промени, които изиска от теб.
В рамката html кодът на предходния дизайн ще се появи като бял правоъгълник.
Използвай креативен лиценз, с цел да направиш приложението по-пълноценно.
Използвай JavaScript модули и unpkg, с цел да импортираш всички нужни зависимости.’