Analiza je pokazala da se chatbotovi bolje snalaze kod zatvorenih pitanja i jasno definiranih zadataka.
AI chatbotovi poput ChatGPT-a i Gemini-ja sve češće se koriste za traženje zdravstvenih informacija, ali novo istraživanje pokazuje da to može biti ozbiljan problem.
Studija objavljena u medicinskom časopisu BMJ Open otkriva da gotovo polovina odgovora koje ovi sistemi daju može biti netačna ili obmanjujuća. Istraživači iz SAD-a, Kanade i Velike Britanije analizirali su pet popularnih AI sistema poput ChatGPT-a, Gemini, Meta AI, Grok-a i DeepSeek.
Svakom od njih postavljeno je po deset pitanja iz pet oblasti medicine kako bi se procijenio kvalitet odgovora.
Rezultati nisu ohrabrujući: Oko 50 posto odgovora označeno je kao problematično, dok je čak 20 posto ocijenjenih odgovora svrstano je u kategoriju visoko problematičnih.
To praktično znači da svaki peti odgovor može korisnika dovesti u ozbiljnu zabludu.
Gdje AI griješi, a gdje je precizan?
Analiza je pokazala da se chatbotovi bolje snalaze kod zatvorenih pitanja i jasno definiranih zadataka. Posebno su precizni u temama kao što su vakcine i rak, gdje postoje jasni i strukturirani podaci.
Međutim, problemi nastaju kod otvorenih pitanja i kompleksnijih tema. U oblastima poput matičnih ćelija i prehrane, tačnost odgovora značajno opada, a informacije postaju nejasnije ili nepotpune.
Dodatni problem je način na koji chatbotovi komuniciraju. Istraživači upozoravaju da odgovori često dolaze s visokim nivoom samopouzdanja, čak i kada nisu u potpunosti tačni. Također, nijedan od analiziranih sistema nije dosljedno pružao kompletne i pouzdane reference za svoje tvrdnje, prenosi Brussels Times.
Ovakvi nalazi dodatno naglašavaju potrebu za oprezom pri korištenju AI alata u medicinske svrhe, posebno kada su u pitanju ozbiljne zdravstvene odluke.
