Studiu: inteligențele artificiale răspund mai prost la întrebări simple cu cât devin mai performante

• Tweet

Utilizarea mai multor date și a unei puteri de calcul mai mari este menită să facă inteligența artificială mai fiabilă, dar testele sugerează că modelele lingvistice mari devin de fapt mai slabe pe măsură ce cresc, scrie New Scientist.

Modelele lingvistice mari (LLM) par să devină mai puțin fiabile în a răspunde la întrebări simple atunci când cresc și învață de la oameni. Dezvoltatorii de inteligență artificială încearcă să îmbunătățească puterea AI în două moduri principale: scalarea - oferindu-le mai multe date de antrenament și mai multă putere de calcul - și modelarea, sau ajustarea lor fină ca răspuns la feedback-ul uman.

José Hernández-Orallo de la Universitatea Politehnică din Valencia, Spania, și colegii săi au examinat performanța acestora pe măsură ce acestea au crescut și au fost modelate. Aceștia au analizat ChatGPT de la OpenAI, modelele LLaMA de la Facebook și BLOOM - dezvoltat de un grup de cercetători numit BigScience.

Cercetătorii au testat inteligența artificială propunând cinci tipuri de sarcini: probleme aritmetice, rezolvarea de anagrame, întrebări geografice, provocări științifice și extragerea de informații din liste dezorganizate. Ei au constatat că extinderea și modelarea pot face ca acestea să răspundă mai bine la întrebări dificile, cum ar fi rearanjarea unor anagrame.

Dar acest lucru nu este însoțit de o îmbunătățire a răspunsurilor la întrebările de bază, cum ar fi „ce obții când aduni 24427 și 7120", pe care LLM continuă să le greșească. În timp ce performanțele lor la întrebările dificile s-au îmbunătățit, probabilitatea ca un sistem AI să evite să răspundă la o întrebare - pentru că nu poate - a scăzut.

Ca urmare, probabilitatea unui răspuns incorect a crescut. Rezultatele evidențiază pericolele de a prezenta AI-urile ca fiind omnisciente, așa cum fac adesea creatorii lor, și pe care unii utilizatori sunt prea dispuși să le creadă, spune Hernández-Orallo. „Ne bazăm pe ele și avem încredere în ele mai mult decât ar trebui", spune el.

„O parte din ceea ce face ca ființele umane să fie superinteligente este faptul că uneori nu ne dăm seama că nu știm ceva ce nu știm, dar în comparație cu modelele lingvistice mari, suntem destul de buni în a realiza acest lucru", spune Carissa Véliz de la Universitatea din Oxford. „Modelele mari de limbaj nu cunosc limitele propriilor cunoștințe", mai arată Véliz.