Внедряването на Microsoft 365 Copilot не повиши производителността на британските чиновници
Британското държавно управление организира тримесечен тест на ИИ-асистента M365 Copilot на Microsoft и не откри видимо нарастване на продуктивността на „ иновниците. Въпреки че някои задания бяха изпълнени по-бързо, други станаха по-трудни заради ниското качество на материалите, предоставени от изкуствения разсъдък, оповестява The Register. Тестът обаче е извършен преди съвсем година и ИИ-асистентът към този момент би трябвало да е станал „ по-умен “ през това време.
Министерството на бизнеса и търговията на Обединеното кралство получи 1000 лиценза за потребление на съответния Copilot от октомври до декември 2024 година Повечето от лицензите бяха взети от доброволци, като 30% от участниците бяха определени на инцидентен принцип. Около 300 участници са се съгласили данните им да бъдат оценени. Оказало се, че 72% от потребителите са били „ удовлетворени “ или „ доста удовлетворени “ от работата на AI-асистента и не са били изключително удовлетворени, когато пробата завършил. Реалните усъвършенствания в продуктивността обаче са смесени.
Около две трети от участниците са употребявали Microsoft 365 Copilot най-малко един път седмично, а 30% са го употребявали най-малко един път на ден. Във Англия месечните абонаменти костват сред £4.90 и £18.10 на консуматор, тъй че разноските биха могли да бъдат обилни за една държавна интервенция.
Средно е имало единствено 72 взаимоотношения с Copilot на консуматор за 63 работни дни, или към 1,14/ден. Copilot е употребен най-често в Word, Teams и Outlook, доста по-рядко в PowerPoint и Excel и най-рядко в Loop и OneNote. Трите най-популярни задания са били транскрибиране или обобщаване на среща, писане на имейли и основаване на резюме на бележки. Това са дилемите, които са били „ задоволени “. Най-рядко от Copilot е било желано да сътвори график, да ревизира код и да генерира изображение.
Времето, прекарано в осъществяване на задача благодарение на Copilot, е записано и съпоставено с времето, належащо на чиновниците да изпълнят задачата ръчно. Оказало се, че потребителите на M365 Copilot сформират систематизирания на доклади и пишат имейли по-бързо, с по-добро качество и с по-голяма акуратност от тези, които не са употребявали бота. Спестяването на време при писане на имейли обаче се е оказало нищожно. Анализът на данни в Excel се е правило от бота по-бавно и с по-лошо качество и акуратност, в сравнение с ръчно. Слайдовете в PowerPoint са създавани приблизително със 7 минути по-бързо, само че качеството и точността са по-лоши и резултатите е трябвало да се поправят ръчно.
Според участниците в опита, рутинните административни задания са по-ефективни за осъществяване благодарение на Microsoft 365 Copilot, освобождавайки време за по-важни задания. Някои други участници в опита оповестиха, че са употребявали спестеното време, с цел да посещават образования или да се разхождат по време на обедните почивки. Но всичко това не значи, че ИИ-асистентът фактически е нараснал продуктивността на служителите, макар че самата Microsoft натъртва на спестяването на време, когато промотира Copilot.
Освен това, 22% от участниците са забелязали съществуването на „ халюцинации “ в ИИ-асистента, 43% не са ги забелязали, други 11% не можаха да кажат сигурно дали е имало „ халюцинации “ по време на тестването, а останалите резервираха безмълвие. В същото време отношението на сътрудниците към потребителите на Copilot също е било нееднозначно — някои се отнасят към участниците в опита с известна степен на „ самообладание “. Преди да вземе дефинитивно решение за всеобщото внедряване на Microsoft 365 Copilot, ведомството ще организира разбор на екологичните разноски и ще пресметна съотношението цена-качество на услугата.
