Utafiti: ChatGPT Yafanya Vizuri Kuliko Madaktari Katika Hisia

Utangulizi

Tangu kuzinduliwa kwa ChatGPT, utendaji wake bora katika sekta ya matibabu umevutia umakini mkubwa. Kwa mfano, katika mitihani ya kitaifa ya matibabu nchini Ujerumani, ChatGPT ilipata alama ya wastani ya 74.6%, ikiwashinda wanafunzi wa binadamu, na kujibu kwa usahihi 88.1% ya maswali 630. Katika matumizi ya kimatibabu, ChatGPT imetoa majibu sahihi kwa kiasi kikubwa kwa maswali 284 ya matibabu katika taaluma 17, na inaendelea kuboresha utendaji kupitia ujifunzaji wa kuimarisha. Katika uwanja wa dawa za michezo ya mifupa, usahihi wake wa kujibu maswali ya sampuli pia umefikia 65%.

Historia na Mbinu za Utafiti

Ili kuchunguza zaidi uwezo wa ChatGPT katika uwanja wa matibabu, watafiti katika Kliniki ya BG huko Ludwigshafen, Ujerumani, walifanya utafiti linganishi. Walichagua maswali 100 yanayohusiana na afya kutoka kwa taaluma tano kuu za matibabu - upasuaji wa majeraha, upasuaji mkuu, otolaryngology, watoto, na dawa za ndani - na kulinganisha majibu ya ChatGPT na wataalamu wenye uzoefu (EP). Matokeo ya utafiti yalionyesha kuwa ChatGPT ilifanya vizuri zaidi kuliko wataalamu katika huruma na matumizi.

Ili kutathmini kikamilifu mtazamo wa wagonjwa kuhusu wasaidizi wa AI, watafiti walitumia mbinu ya hatua nyingi:

• Ukusanaji wa Maswali: Maswali 100 ya afya ya umma yalikusanwa kutoka jukwaa la mtandao linalowahudumia wagonjwa, yakishughulikia taaluma tano za matibabu zilizotajwa hapo juu, na maswali 20 yaliyochaguliwa kutoka kila taaluma.
• Uzalishaji wa Majibu: ChatGPT-4.0 ilitumika kuzalisha majibu kwa maswali haya 100, na kulinganishwa na majibu ya wataalamu kutoka jukwaa moja.
• Usiri: Maswali na majibu yote yalifanyiwa usiri na kuwekwa katika seti za data 10, kila moja ikiwa na maswali 10.
• Tathmini: Seti hizi za data zilisambazwa kwa wagonjwa na madaktari kwa ajili ya tathmini. Wagonjwa walizingatia hasa huruma na matumizi ya majibu, wakati madaktari, pamoja na kutathmini huruma na matumizi, pia walitathmini usahihi na madhara yanayoweza kutokea ya majibu.

Ili kuhakikisha upendeleo wa tathmini, washiriki wote hawakujua kama majibu yalitolewa na ChatGPT au wataalamu wakati wa tathmini. Aidha, timu ya utafiti ilikusanya taarifa za msingi kama vile umri na jinsia ya wagonjwa, pamoja na urefu wa uzoefu wa madaktari, ili kuchambua zaidi jinsi mambo haya yanavyoathiri matokeo ya tathmini.

Uchambuzi wa Matokeo ya Tathmini

Tathmini ya Wagonjwa

Kwa ujumla, wagonjwa walitoa tathmini ya juu kwa majibu ya ChatGPT.

• Huruma: ChatGPT ilipata wastani wa alama 4.2 (kosa la kawaida 0.15), wakati wataalamu walipata wastani wa alama 3.8 (kosa la kawaida 0.18).
• Matumizi: ChatGPT ilipata wastani wa alama 4.1, wakati wataalamu walipata wastani wa alama 3.7.

Matokeo haya yanaonyesha kwamba wagonjwa kwa ujumla waliona majibu ya ChatGPT kuwa yenye huruma na matumizi zaidi kuliko majibu ya wataalamu. Uchambuzi zaidi ulionyesha kwamba umri na jinsia ya wagonjwa haikuwa na athari kubwa kwa matokeo ya tathmini, lakini kiwango cha elimu ya wagonjwa na hali ya kijamii na kiuchumi inaweza kuwa na athari katika kukubalika kwao kwa ChatGPT. Kwa kuwa utafiti haukukusanya data katika eneo hili, uchambuzi wa kina haukuweza kufanyika.

Tathmini ya Madaktari

Madaktari pia walitoa tathmini chanya kwa majibu ya ChatGPT.

• Huruma: ChatGPT ilipata wastani wa alama 4.3, wakati wataalamu walipata wastani wa alama 3.9.
• Matumizi: ChatGPT ilipata wastani wa alama 4.2 (kosa la kawaida 0.15), wakati wataalamu walipata wastani wa alama 3.8 (kosa la kawaida 0.17).
• Usahihi: ChatGPT ilipata wastani wa alama 4.5 (kosa la kawaida 0.13), wakati wataalamu walipata wastani wa alama 4.1 (kosa la kawaida 0.15).
• Madhara Yanayoweza Kutokea: ChatGPT ilipata wastani wa alama 1.2 (kosa la kawaida 0.08) kwa madhara yanayoweza kutokea, wakati wataalamu walipata wastani wa alama 1.5 (kosa la kawaida 0.10).

Takwimu hizi zinaonyesha kwamba ChatGPT haikufanya vizuri tu katika huruma, matumizi, na usahihi, bali pia ilikuwa bora kuliko wataalamu katika suala la madhara yanayoweza kutokea.

Hii inaangazia uwezo wa akili bandia katika kusaidia na kuboresha huduma za afya. Utafiti huu unatoa ushahidi wa wazi kwamba ChatGPT ina uwezo wa kutoa majibu yanayohuzunisha na kueleweka kwa wagonjwa, na pia kutoa majibu sahihi na yenye manufaa kwa madaktari.