ИИ моделите могат да предизвикат криза на възпроизводимостта в науката
Учените са обезпокоени, че необразованото потребление на изкуствения разсъдък води до поток от ненадеждни или безполезни проучвания. Това може да докара до рецесия във възпроизводимостта на научната работа. Моделите на изкуствения разсъдък страдат от пристрастия и неточности, които се придвижват в научните писания. В медицината това може да докара до неправилни диагнози. За да се усъвършенства надеждността и възпроизводимостта на резултатите, се оферират интердисциплинарни подходи, бистрота на данните и стандартизирани описи за отчитане на научната работа.
В обособен преглед от 2021 година са прегледани 62 изследвания, в които е употребявано машинно образование за диагностициране на COVID-19 благодарение на рентгенография на гръдния панер или компютърна томография.
Нито един от моделите с изкуствен интелект не е потвърдил своята клинична полза заради методологични дефекти или предразсъдъци в наборите от данни за изображенията.
Подобно на всеки нов мощен статистически способ, ИИ позволява откривателите да се заблуждават, че търсят съответен резултат. Изследователите могат да си „ играят “ с данните и параметрите, до момента в който резултатите станат както се чака. Невероятната еластичност и пригодливост на ИИ, както и неналичието на суровост при създаването на тези модели, дават прекомерно огромна независимост на деяние.
Друг проблем при машинното образование е така наречен приключване на данни. При образованието логаритмите употребяват доста данни, с цел да се научат по какъв начин вярно да вземат решение проблемите, като да вземем за пример да класифицират изображения. След това тяхната успеваемост се тества върху непознати (тестови) данни. За да се получи надеждна оценка, е значимо да се разделят учащите и тестовите набори. Изследователите обаче не постоянно съблюдават това делене или не схващат по какъв начин да го наложат. В резултат на това се получава приключване на данни, когато информация от тестовия набор влиза в учащия набор, което изкривява резултатите.
Този проблем е предизвикал компликации с възпроизводимостта на проучванията в 17 области и е засегнал стотици научни писания. Ако се приложи това в медицината, логаритъмът за машинно образование може да стартира да разпознава характерности на избран пациент или медицински инструмент, а не действителните признаци на обещано заболяване. Това може да докара до неправилни диагнози.
Наборът от тестови данни може да не отразява действителните условия. В подобен случай моделът на изкуствения разсъдък ще покаже достоверни резултати върху тестовите данни, само че в действителността той ще бъде ненужен. В живота има несравнимо повече вариации, в сравнение с в следената лабораторна среда, и моделите на изкуствения разсъдък постоянно не се тестват за резистентност на такива вариации, преди да бъдат пуснати в приложимост.
Така да вземем за пример откриватели от Гугъл Health са създали AI модел за разбор на изображения на ретината за разкриване на признаци на диабетна ретинопатия, водеща до слепота. Когато моделът бе тестван в няколко клиники в Тайланд, той отхвърли доста изображения, които не бяха направени при идеални условия, защото бе подготвен на висококачествени сканирания. Това е довело до нуждата от спомагателни визити на пациентите за следващи проучвания, което е основало ненужна работа за медицинския личен състав.
Ако информацията в набора от данни е небалансирана, може да се опитаме да поправяме това посредством използване на логаритми за ребалансиране. Например, методът SMOTE основава синтетични данни за областите с незадоволителна представителност.
Използването на SMOTE обаче води до прекомерно оптимистични оценки на успеваемостта, защото попълня набора със синтетични данни въз основа на несъществуващи догатки.
Изследователите предложиха решение на казуса посредством потребление на лист със стандарти за отчитане на научната работа, основана на изкуствен интелект. Списъкът съдържа 32 въпроса по отношение на фактори като качество на данните, детайлности за моделирането и опасности от приключване на данни. Те настояват, че описът „ открива интердисциплинарни стандарти за докладване на научните проучвания, основани на машинно образование “.
За да се увеличи надеждността на научните проучвания, основани на ИИ, те би трябвало да се организират от интердисциплинарни екипи, настояват някои учени. Така да вземем за пример компютърните експерти знаят по какъв начин да събират и обработват масиви от данни, до момента в който биолозите схващат пробната трудност на приемането на данни. Ето за какво те би трябвало да работят взаимно. Някои представители на научната общественост смятат, че след 10 до 20 години ще има по-добро схващане за това какво предлага ИИ и по какъв начин да се употребява. Поне за генеративния ИИ възпроизводимостта може да се усъвършенства, защото употребяваните модели ще бъдат по-добре съгласувани.
