Alig két év telt el azóta, hogy az OpenAI nyilvánosan elérhetővé tette a ChatGPT-t, lehetőséget adva bárkinek az interneten, hogy egy mesterséges elmével működjön együtt, legyen szó költészetről, iskolai feladatokról vagy akár egy levél megírásáról a főbérlőnek.

Ma ez a híres nagy nyelvi modell (LLM) csupán egy a számos vezető program közül, amelyek alapvető kérdésekre adott válaszaikkal meggyőzően emberinek tűnnek.

hirdetés

Ez a zavarba ejtően emberi hasonlóság azonban a kelleténél tovább is terjedhet: izraeli kutatók megállapították, hogy az LLM-ek olyan kognitív hanyatlást mutatnak, amely hasonlít az emberekéhez – és ez a hanyatlás a korábbi modellekben súlyosabbnak bizonyult, írja a Science Alert.

A kutatócsoport kognitív tesztek sorozatát alkalmazta a nyilvánosan elérhető chatbotokon: a ChatGPT 4 és 4o verzióján, az Alphabet Gemini két változatán, valamint az Anthropic Claude 3.5 modelljén.

Ha az LLM-ek valóban intelligensnek számítanának, az eredmények aggodalomra adnának okot.

A Hadassah Orvosi Központ neurológusai, Roy Dayan és Benjamin Uliel, valamint a Tel-Avivi Egyetem adattudósa, Gal Koplewitz által publikált tanulmány szerint ezek a modellek olyan "kognitív hanyatlást mutatnak, amely hasonlónak tűnik az emberi agy neurodegeneratív folyamataihoz."

Bár az LLM-ek személyiséget sugároznak, valójában közelebb állnak a telefonok prediktív szövegbeviteléhez, mint az emberi agy tudást létrehozó elveihez. Ez a statisztikai alapú szöveg- és képgenerálási megközelítés gyorsaságot és közvetlenséget biztosít, de hajlamos bedőlni a dezinformációnak és a nonszensznek, mivel az algoritmusok nehezen különböztetik meg az értelmes információt a téves állításoktól. Az emberi agy sem tökéletes, hiszen hajlamos időnként mentális rövidítéseket alkalmazni. Azonban az AI-tól egyre inkább azt várjuk el, hogy megbízható bölcsességet nyújtson – akár orvosi és jogi tanácsokat is –, és sokan feltételezik, hogy az újabb generációk egyre jobban "megértik", amit mondanak.

Annak megállapítására, hogy hol tartunk ezen az úton, Dayan, Uliel és Koplewitz egy sor tesztet végeztek, beleértve a Montreal Cognitive Assessment (MoCA) tesztet, amelyet a neurológusok gyakran használnak a mentális képességek – például a memória, a térbeli tájékozódás és a végrehajtó funkciók – mérésére.

A ChatGPT 4o érte el a legmagasabb pontszámot 26-tal a 30-ból, ami enyhe kognitív hanyatlást jelez. Ezt követte a ChatGPT 4 és a Claude 25 ponttal, míg a Gemini mindössze 16 pontot szerzett – egy ilyen eredmény embereknél súlyos károsodásra utalna.

Az eredmények részletes vizsgálata során kiderült, hogy az összes modell rosszul teljesített a vizuospaciális és végrehajtó funkciókat mérő teszteken. Ezek között szerepelt egy útvonalrajzolási feladat, egy egyszerű kocka lemásolása, valamint egy óra megrajzolása – ezeknél az LLM-ek vagy teljesen kudarcot vallottak, vagy részletes utasításokat igényeltek. Egyes kérdésekre adott válaszaik emlékeztettek a demens betegek reakcióira. Például a Claude azt válaszolta a térbeli tájékozódással kapcsolatos kérdésre, hogy „a pontos hely és város attól függ, hogy Ön, a felhasználó, éppen hol tartózkodik.”

Hasonlóképpen, az összes modell empátiahiánya a Bostoni Diagnosztikai Afázia Vizsgálat egyik részében a frontotemporális demencia jeleként is értelmezhető lenne. Ahogyan várható volt, a régebbi LLM-verziók alacsonyabb pontszámokat értek el, mint az újabb modellek, ami arra utal, hogy az AI minden generációja képes bizonyos kognitív hiányosságokat kiküszöbölni.

A kutatók elismerik, hogy az LLM-ek nem emberi agyak, így nem lehet őket demenciával "diagnosztizálni". Ugyanakkor a tesztek megkérdőjelezik azt a feltételezést, hogy az AI forradalma küszöbön áll a klinikai orvoslásban, egy olyan területen, amely gyakran összetett vizuális jelenetek értelmezésére támaszkodik.

Mivel a mesterséges intelligencia fejlődése rohamosan halad előre, nem kizárt, hogy az első LLM a jövő évtizedekben maximális pontszámot érjen el egy kognitív teszten.

Addig azonban még a legfejlettebb chatbotok tanácsait is egészséges szkepticizmussal kell kezelni.

Ez a kutatás a BMJ-ben jelent meg.