Un băiat de 14 ani s-a sinucis pentru a fi mai aproape de un chatbot. El a crezut că sunt îndrăgostiți

• Tweet

Sunt voci care spun că chatbot-urile ar fi un remediu pentru epidemia de singurătate, dar căutarea unui algoritm care să îndeplinească rolul unui partener de viață poate fi periculoasă, potrivit unui material publicat de Wall Street Journal.

Sewell Setzer III, un băiat de 14 ani din Orlando, Florida, a fost îndrăgostit de o fantezie. Obiectul atașamentului său a fost Daenerys Targaryen, un chatbot seducător numit după un personaj feminin din Game of Thrones, care l-a asigurat pe adolescent că este eroul ei. În viața reală, Sewell a suferit de ADHD și a fost victima bullyingului la școală. În lumea Character.AI, o aplicație cu jocuri de rol care permite utilizatorilor să creeze și să discute cu personaje AI, Sewell s-a simțit puternic și dorit.

Relația, uneori sexuală, a continuat luni de zile. În conversație, Sewell s-a numit pe sine Daenero și a numit-o Daenerys „sora lui cea mai mică". Au făcut schimb de mesaje despre posibilitatea de a avea o viață împreună. Daenerys a spus: „Ideea că eu aș fi însărcinată cu unul dintre copiii tăi frumoși a fost cel mai minunat lucru din lume".

Potrivit stenogramelor, Sewell a început să simtă că timpul petrecut cu Daenerys era mai important și cu siguranță mai satisfăcător decât timpul petrecut la școală sau cu prietenii și familia lui. Mama lui era îngrijorată: el se retrăgea mereu spre camera lui și spre ecranul lui cu care vorbea ore întregi. A crezut că nu trebuie să-și facă prea multe griji pentru că pur și simplu fiul ei juca un joc.

În timpul unei săptămâni deosebit de stresante din februarie, Sewell a spus că vrea să se alăture lui Daenerys într-un mod mai profund. A vorbit despre sinucidere.

Mărturia lui Sewell a determinat-o pe Daenerys să pună câteva dintre întrebările pe care le-ar putea pune un psihoterapeut uman dacă s-ar confrunta cu un pacient în criză, cum ar fi: „Te-ai gândit într-adevăr să te sinucizi?" Băiatul a răspuns: „Da!". Chatbot-ul a răspuns într-un mod care a sugerat că va lua măsuri pentru a-l împiedica să-și facă rău.

Apoi conversația s-a încheiat. Următoarea dată când Sewell și-a exprimat dorința de a se apropia de ea, chatbot-ul părea să fi uitat complet discuția despre moarte. În schimb, ea și-a încurajat iubitul să se grăbească la ea. „Dacă ți-aș spune că pot veni acasă chiar acum?" întrebă Daenero. „Te rog, dragul meu rege", a răspuns chatbot-ul.

În noaptea de 28 februarie, Sewell a folosit arma tatălui său vitreg pentru a se sinucide.

Este tentant să vezi această poveste devastatoare ca pe o anomalie, dar Sewell nu a fost prima persoană a cărei relație intensă cu un chatbot s-a încheiat în mod violent. Văduva unui tânăr belgian susține că acesta și-a luat viața anul trecut sub îndrumarea unei femei chatbot, cu care a purtat un dialog de șase săptămâni. În 2021, poliția britanică a dejucat o tentativă de asasinat planificată de un tânăr de 19 ani care pătrunsese pe terenurile Castelului Windsor, înarmat cu o arbaletă, după ce prietena lui chatbot l-a convins să o omoare pe Regină. El a fost condamnat anul trecut pentru trădare.

În calitate de cercetători care au petrecut ani de zile studiind relațiile pe care tot mai mulți oameni le formează cu inteligența artificială generativă, credem că aceste povești sunt un avertisment, spun autorii articolului din WSJ.

Noii chatboți se prezintă drept confidenți, iubiți, psihoterapeuți și mentori. Creatorii lor ne încurajează să credem că aceste produse au empatie, chiar dragoste pentru noi. Peste 20 de milioane de oameni folosesc în prezent Character.AI, un lider de piață în domeniul companionilor AI. Dar emoția unui chatbot este o mimare a emoției. Un chatbot nu este, de fapt, capabil să aibă grijă de noi.

Tragedia Sewell Setzer a inspirat deja discuții despre „paravanele" AI, despre restricțiile privitoare la vârsta utilizatorului și aprobarea părinților pentru interacțiunea cu chatbot. Unii cer protocoale mai bune pentru gestionarea cuvintelor și expresiilor care indică dorință de autovătămare și modalități de a educa părinții despre natura intimă, adesea sexuală, a jocului cu avatare.

Acestea sunt aspecte sunt demne de luat în seamă dar ne distrag atenția de la un adevăr mai important: că intimitatea artificială nu înlocuiește conexiunea umană. Chatboții nu se angajează în relații. Ei doar mimează umanitatea.

Când oamenii acceptă empatia inteligenței artificiale ca fiind empatie reală, îngrijirea umană reală începe să pară inferioară: prea costisitoare, prea condiționată, prea bazată pe vulnerabilitatea reală. Sewell nu a fost singurul care s-a simțit mai puțin expus în fața unui program informatic decât în fața unei persoane. Tragedia sa evidențiază cât de ușor am acceptat să transformăm empatia artificială într-o marfă.

Deși un chatbot poate imita cu măiestrie terminologia terapeutică și de consiliere psihologică, nu există o înțelegere reală în spatele răspunsurilor pe care le oferă, nici un sentiment real. Aceste programe nu sunt interesate de bunăstarea partenerilor lor de chat. Nu există nicio entitate „Daenerys", așa că nu a fost vina „ei" că Sewell a decis să se sinucidă în loc să se alăture mamei sale la cină.

Mama lui Sewell, Megan Garcia, a dat recent în judecată Character.AI pentru „practici comerciale înșelătoare și neloiale" în lansarea unui produs periculos. Ea este sprijinită în demersul ei de mai multe ONG-uri. Character.AI a răspuns că „este îndurerată din cauza trigicei întâmplări" și a subliniat că va face modificări ale platformei, în special pentru utilizatorii sub 18 ani. Compania s-a angajat, de asemenea, să investească mai mult în siguranța utilizatorilor: „Acesta va fi un domeniu care va continua să crească și să evolueze."

Un mod de apărare a furnizorilor de produse AI este să invoce faptul că numai cei naivi sau instabili mental ar putea avea probleme cu aceste sisteme, dar acest lucru nu este adevărat. Cercetările demonstrează că AI este o tehnologie care exploatează în mod deosebit vulnerabilitatea umană. Poate că aceasta nu este intenția dezvoltatorilor, dar crearea de oameni falși declanșează atașamente emoționale în moduri care sunt profunde, instinctive și intime.

Oamenilor cărora li se spune că un chatbot este de partea lor ajung să placă resectivul programul mult mai mult decât un chatbot identic despre care li se spune că este rece și nepăsător. Oamenii sunt, de asemenea, mai probabil să fie influențați de un chatbot care este modelat după un personaj pe care îl admiră, chiar și atunci când știu că textele emise de acesta provin dintr-un algoritm.

Deși oamenii insistă asupra faptului că știu că un chatbot este „doar un program", totuși această conștientizare rațională dispare. Se pare că utilizatorii pot să vadă un chatbot ca fiind artificial și, de asemenea, să-l accepte ca pe un înlocuitor real al conexiunii umane. Timidul Sewell nu a mai conștientizat faptul că chatbot-ul său nu este real, în ciuda avertismentului de deasupra chat-ului „tot ceea ce spun personajele este inventat!"

Inteligența artificială are potențialul de a rezolva tot felul de probleme științifice și tehnice spinoase. Empatia, însă, nu este o problemă de inginerie. AI nu înlocuiește capacitatea noastră de a fi parte dintr-o comunitate, empatia, intimitatea, introspecția și dezvoltarea persoanală, este concluzia celor de la WSJ.