ChatGPT се провали на важен медицински тест
Популярният изкуствен интелект ChatGPT се провали съществено на значим медицински тест, оповестява онлайн изданието Ars technica. Това припомня, че тези логаритми към момента имат доста да учат и да се развиват преди да може да им се има доверие.
Лекари от детския медицински център " Коен " в Ню Йорк са провели тест, в който да ревизират какъв брой тъкмо ChatGPT се оправя с диагностицирането на болести при деца. Резултатите не са по никакъв начин положителни, като ботът има едвам 17% акуратност и 83% неправилни диагнози.
Това е по-лошо показване по отношение на тестванията при диагностициране на болести при възрастни. Такива са провеждани от други учени предходната година и откриват едвам 39% акуратност.
Неточностите са още по-ясно изразени при децата. " Проучването акцентира скъпата роля, която има клиничният опит. То също по този начин разпознава сериозни недостатъци, които водят до високия % неточности на ChatGPT и методите, по които да го преработят, с цел да се трансформира в потребен спомагателен инструмент ", споделят учените в отчета си.
Те допълват, че развиването на технологиите и огромният интерес към изкуствения разсъдък демонстрират, че внедряването на такива технологии и в медицината е неизбежно. Това обаче не значи, че те ще заменят лекарите, каквито прогнози има. AI ще може да бъде добър асистент на лекарите, само че не и техен сурогат.
За това изследване учените са употребявали 100 педиатрични проблема, които са били оповестени в журналите JAMA Pediatrics и NEJM в интервала 2013 година - 2023 година Това са характерни проблеми, които са провокирали по-голям интерес измежду лекарите.
Учените са взели от тях всички данни, нужни да диагностицирането на болестта и са ги дали на чатбота. Задачата на ChatGPT е била да проучва текста и да каже своето мнение. След това двама експерти са преглеждали отговорите и са могли да ги класифицират като верни, неверни или непълни.
В последна сметка ChatGPT вярно диагностицира единствено 17 случая. В 11 от тях слага непълна диагноза, а останалите 72 бърка изцяло. Непълните диагнози също се одобряват за неуспех и по този начин доближаваме до общо 83% неточности.
Оказва се, че ChatGPT не съумява да откри другояче известни връзки сред разнообразни болести и признаци, които доктор знае и може да забележи. Според учените ботът може да бъде подготвен в допълнение на тези съответни данни и връзки благодарение на прибавяне на съответстваща и тествана информация от здравна литература. Друга изгода за бота може да бъде достъп до здравна информация в действително време, която да разреши на модела да се уточни и усъвършенства с нови данни непрекъснато.
Засега обаче е повече от видно, че чатботовете не би трябвало да се употребяват за самолечение и слагане на диагнози. Те могат да оказват помощ на доктор да пресее информация, само че не и да заменят слагането на диагноза от експерт.
Лекари от детския медицински център " Коен " в Ню Йорк са провели тест, в който да ревизират какъв брой тъкмо ChatGPT се оправя с диагностицирането на болести при деца. Резултатите не са по никакъв начин положителни, като ботът има едвам 17% акуратност и 83% неправилни диагнози.
Това е по-лошо показване по отношение на тестванията при диагностициране на болести при възрастни. Такива са провеждани от други учени предходната година и откриват едвам 39% акуратност.
Неточностите са още по-ясно изразени при децата. " Проучването акцентира скъпата роля, която има клиничният опит. То също по този начин разпознава сериозни недостатъци, които водят до високия % неточности на ChatGPT и методите, по които да го преработят, с цел да се трансформира в потребен спомагателен инструмент ", споделят учените в отчета си.
Те допълват, че развиването на технологиите и огромният интерес към изкуствения разсъдък демонстрират, че внедряването на такива технологии и в медицината е неизбежно. Това обаче не значи, че те ще заменят лекарите, каквито прогнози има. AI ще може да бъде добър асистент на лекарите, само че не и техен сурогат.
За това изследване учените са употребявали 100 педиатрични проблема, които са били оповестени в журналите JAMA Pediatrics и NEJM в интервала 2013 година - 2023 година Това са характерни проблеми, които са провокирали по-голям интерес измежду лекарите.
Учените са взели от тях всички данни, нужни да диагностицирането на болестта и са ги дали на чатбота. Задачата на ChatGPT е била да проучва текста и да каже своето мнение. След това двама експерти са преглеждали отговорите и са могли да ги класифицират като верни, неверни или непълни.
В последна сметка ChatGPT вярно диагностицира единствено 17 случая. В 11 от тях слага непълна диагноза, а останалите 72 бърка изцяло. Непълните диагнози също се одобряват за неуспех и по този начин доближаваме до общо 83% неточности.
Оказва се, че ChatGPT не съумява да откри другояче известни връзки сред разнообразни болести и признаци, които доктор знае и може да забележи. Според учените ботът може да бъде подготвен в допълнение на тези съответни данни и връзки благодарение на прибавяне на съответстваща и тествана информация от здравна литература. Друга изгода за бота може да бъде достъп до здравна информация в действително време, която да разреши на модела да се уточни и усъвършенства с нови данни непрекъснато.
Засега обаче е повече от видно, че чатботовете не би трябвало да се употребяват за самолечение и слагане на диагнози. Те могат да оказват помощ на доктор да пресее информация, само че не и да заменят слагането на диагноза от експерт.
Източник: vesti.bg
КОМЕНТАРИ