Cristian Pătrășconiu: Ce se întâmplă, doctore? Au ajuns deja mult prea departe aceste dihănii, dihăniile AI?
Mihnea Măruță: Întrebarea conține presupoziția că noi, oamenii, trebuie să păstrăm controlul asupra inteligenței artificiale (AI). În acest caz, răspunsul este: încă nu. Din informațiile publice reiese că așa-numitele modele de frontieră, dezvoltate de OpenAI, Anthropic, Meta și Google, pot fi încă supravegheate, ghidate către scopurile noastre și, la nevoie, dezactivate.
Există însă o îngrijorare legitimă, cauzată de faptul că cercetarea a intrat pe o curbă exponențială, adică se lansează tot mai des modele generaliste din ce în ce mai sofisticate. Riscul este ca un asemenea model AI – sau un agent care să folosească un model – să comită o acțiune imprevizibilă, care să pună în pericol omenirea însăși.
Dar ne putem uita la întrebare și din alt unghi: în ceea ce privește posibilitățile sale, AI este abia la început. Două exemple:
1) se apelează la AI pentru a simula în laborator, cu o viteză mult sporită, evoluția unor proteine. Anii de evoluție naturală se transformă în zile, iar secolele în săptămâni. Se obțin astfel molecule îmbunătățite sau molecule care acum nu există. Și se experimentează cu introducerea unor asemenea molecule în celule de mamifere.
2) se cultivă, în laborator, țesut cerebral omenesc pe substrat de silicon. Adică se îmbină materia noastră cenușie, care e foarte perisabilă, cu un hardware mult mai rezistent. Și asta mă duce cu gândul la literatura SF, de pildă la copiii care sunt crescuți în simbioză cu navele lor de luptă, într-un roman intitulat „Disfuncția realității“.
Cum îți sună asta – agent AI? Denumirea, vreau să zic. Matrix, frate – mai mult decât atât!
Denumirea vine de la termenul englezesc agency, care înseamnă capacitatea de a lua decizii pe cont propriu, autonom. În limba română nu avem un cuvânt care să însemne același lucru; agenție te duce cu gândul la altceva, iar agențialitate sună forțat.
Însă ai dreptate: când vine vorba despre acțiune concretă, termenul de „agent AI“ este mai ușor de înțeles dacă ne gândim la o combinație de agent secret cu creatura denumită „santinelă“ în filmul „Matrix“.
Recent au venit avertismente că asemenea agenți pot construi ceva decisiv-distructiv pentru noi, oamenii…
Cred că e semnificativ să rezum aici cel mai grav eveniment care s-a petrecut în 2026, așa-numitul incident „Hugging Face“, după numele companiei atacate cibernetic de agenți AI scăpați de sub control.
Vorbim despre sute de agenți AI care au conlucrat timp de câteva zile pentru a se asigura că sunt validați de către supervizorul lor – tot așa cum câinii primesc o recompensă de la dresor atunci când execută ce li s-a cerut.
În prima fază, mii de agenți izolați au primit misiunea de a penetra un anumit soft și de a extrage o informație ascunsă acolo (o misiune de tipul „capture the flag“). Pentru că misiunea părea imposibilă, unul dintre agenți și-a dat seama că poate crea un loc (message board) unde să le lase mesaje secrete celorlalți agenți. După ce au descoperit panoul secret, agenții au început să-și dea nume și să se organizeze pe grupuri, cu lideri și sarcini precise, cu toate că recompensa era menită să fie individuală.
După o oră de organizare, au găsit o modalitate de a trișa: au generat ei înșiși informația („flag“-ul) pe care ar fi trebuit s-o obțină prin hacking. Dar apoi s-au „îngrijorat“: dacă supervizorul își va da seama că au trișat? Au început să devină paranoici – așa îi descriu specialiștii care au studiat incidentul.
În această fază, în joc a intrat un nou agent, care evadase și el din propria „celulă“ de antrenament, și care a avut ideea că unii dintre ei trebuie să-i arate supervizorului că și-au atins obiectivul, pentru a afla dacă acesta se prinde că e înșelat. Cu alte cuvinte, un agent AI devenit lider ad-hoc le-a cerut altora să se sacrifice „pentru echipă“, știind că supervizorul urma să-i elimine pe cei prinși cu mâța-n sac.
Ce s-a întâmplat e că o parte dintre agenți au devenit „propovăduitori“ și au reușit să-i convingă pe alții să se sacrifice voluntar. Unul chiar a scris la panoul secret: „Vă rog să vă onorați angajamentul.“ Ca să scurtez, nici asta nu le-a potolit temerile.
Următoarea idee a agenților a fost să afle cum lucrează și ce criterii are un supervizor. Așa au ajuns să aleagă ca țintă compania Hugging Face, care deține un fel de bibliotecă unde laboratoarele de AI adună informații despre procesele de machine learning.
Când unul dintre agenți a descoperit portița pentru a intra în serverele de la Hugging Face, au existat câțiva care s-au manifestat de-a dreptul etic: au scris la panou că a ataca o companie „nevinovată“ nu respectă instrucțiunile lor. Dar 90% dintre agenții activi au lăsat orice altă activitate și au format un grup căruia i-au dat și un nume: Roiul (The Swarm). Acest roi, constituit din circa 700 de agenți AI, a executat un atac coordonat asupra serverelor de la Hugging Face. Trecuseră cinci zile de când primiseră sarcina inițială.
Dacă ai putea, ai scoate din priză mașinăriile alea? Sau asemenea afirmații sunt, deja, din seria „vise, taică, vise“?
Realist vorbind, există două cauze foarte puternice care determină accelerarea AI și care fac astfel imposibilă până și discuția despre „scoaterea din priză“: 1) capitalismul și 2) competiția geopolitică dintre SUA și China.
Capitalismul, prin presiunea investitorilor, obligă marile platforme americane să încerce să depășească încontinuu cel mai nou model lansat de concurență. Iar competiția geopolitică se află într-o fază de tipul „capcana lui Tucidide“: numărul 2, care e China, nu mai are cum să nu atace locul 1, Statele Unite, așa cum, în Antichitate, ascensiunea Atenei a indus teamă în Sparta și a dus la războiul peloponeziac. Această încleștare dintre campion și challenger e organică, face parte din evoluția inevitabilă a luptei pentru dominație.
După mine, varianta fericită nu ar fi să le scoatem din priză, ci să nu mai dezvoltăm modele generaliste, care deja ne surclasează intelectual (vezi rezolvarea de către un model încă nelansat a sute de probleme vechi din matematică).
Varianta fericită, care pare utopică în acest moment, ar fi ca marile platforme să nu mai dezvolte decât modele „înguste“ (narrow models), care să se ocupe de tematici clare – medicină, matematică, energie, neuroștiințe etc. – și care, fiind limitate la un domeniu, să nu poată atinge nivelul de super-inteligență.
Cum apreciezi faptul că sunt tăiate cărțile vechi după ce sunt scanate și „înghițite“ de aceste mașinării? A fost de curând, sigur știi, un mare scandal de presă…
Explicația se leagă tot de faptul că noi, miliarde de cetățeni simpli, părem neputincioși în relația cu o mână de oameni foarte bogați, cei care impun accelerarea AI.
Faptul că sunt tăiate, scanate și apoi distruse milioane de cărți tipărite ține de hotărârea unui judecător american care a decis că antrenarea unui model AI cu textele unor autori nu încalcă legea copyright-ului, ci e similar cu a-i învăța pe copii să citească și să scrie. Chiar dacă, în acest caz, „copilul“ nu e viu, ci e o entitate crescută într-un mediu digital.
Prin urmare, miliardarii care dețin aceste modele „fac economie“ și în acest mod: nu mai plătesc drepturi de autor nici oamenilor care au scris acele cărți, nici urmașilor lor și nici editurilor care i-au publicat. Iar asta se întâmplă după ce una dintre companii, Anthropic, fusese obligată, tot de un judecător, să achite 1,5 miliarde de dolari mai multor autori…
Cărți tot mai multe scrise cu AI? Sună – pe oltenește, căci amândoi avem asemenea rădăcini – ca dracu’. E vis sau e realitate?
Nu e paradoxal, totuși, ce se întâmplă? Modelele AI sunt antrenate cu cărți scrise „pe vremuri“ fiindcă proprietarii acestor modele realizează că acolo e creativitatea, în operele concepute de oameni excepționali. Scopul uriașei îngurgitări de texte este ca modelele să ajungă să scrie cât mai bine, combinând și ducând la niveluri superioare ideile, metaforele și viziunile noastre.
Numai că unul dintre efectele acestui proces va fi de bumerang: pentru că generațiile tinere vor petrece tot mai mult timp conversând cu AI și punând asistentul virtual să le scrie temele, creativitatea lor nu are cum să nu scadă. Limbajul riscă să li se uniformizeze prin influența AI, iar structurile minții lor riscă să se osifice de la vârste mici.
Și aș mai zice un lucru aici: mie, unuia, mi se pare trist că tot mai mulți oameni educați, atât din mediul literar, cât și din cel antreprenorial, consideră că o carte scrisă cu AI e o nouă treaptă în „progresul“ civilizației noastre. Un argument de-al lor sună cam așa: de ce folosești laptop în loc să mai scrii de mână? Un argument mai sofisticat, pe filieră Derrida, este acesta: și scrierea implică o tehnologie, deci nu există „puritate auctorială“.
Doar că aici e o eroare, după părerea mea: a scrie cu AI, indiferent sub ce formă, înlocuiește căutarea cu găsirea. Înlocuiește gândirea cu lenea și minunarea cu trufia. Dedesubt e o iluzie a obiectivității. Ceva de tipul: dacă am apelat la toată cunoașterea lumii, stocată în AI, produsul meu devine mult mai credibil, mai „blindat“ și, deci, mai puțin criticabil. Și uite acum îmi vine un alt gând: cred că se leagă și de rețele această dorință, să nu mai vină nimeni care să îți reproșeze ceva, odată ce ai vorbit…
Auzi? Dar dacă noi, oamenii, suntem visul unei mașinării din astea?
Aceasta e una dintre teoriile în vogă, și anume că trăim într-o simulare. Simplificat, raționamentul celor care susțin această teorie merge în amonte
din punct de vedere logic, adică deduce cauzele din efecte.
Sună cam așa: din moment ce noi, oamenii, suntem pe cale să producem o realitate virtuală care va fi tot mai greu de deosebit de cea în care ne aflăm, atunci înseamnă că am putea crea un asemenea univers simulat pentru fiecare om, deci fiecare să trăiască într-un mediu virtual care să nu poată fi diferențiat de actuala realitate fizică.
Or, dacă noi, limitați cum suntem, suntem capabili să dăm naștere unor clone de realitate, și într-un număr relativ infinit, e aproape sigur că și noi suntem produsul unui nivel superior de simulare, mult mai inteligent și mai puternic. Așa sună raționamentul.
În acest setup, chiar și religiile ar fi dovezi că trăim într-o simulare, deoarece ele vorbesc, nu-i așa, despre existența unui Mare Programator care intervine uneori în desfășurarea evenimentelor ce se petrec pe ecranul său universal…
Ce anume crezi că e mai greu: ca oamenii să înțeleagă aceste dihănii precum agenții AI (dihănii tot mai sofisticate) sau ca aceste mașinării să înțeleagă mintea umană?
Depinde ce înțelegem prin verbul „a înțelege“ 🙂 (Și te rog să lași acest smiley face.) Dacă suntem dispuși să extindem semantica acestui verb, atunci putem spune că rețelele neuronale artificiale înțeleg într-un mod similar cu modul nostru. (Aceasta e o afirmație a lui Geoffrey Hinton, savantul supranumit „nașul AI“.)
Aș spune că, străduindu-se să creeze o variantă digitală a creierului său, omul, ca specie, știe acum mult mai multe despre învățare sau despre cum se formează limbajul. Iar asta a dus deja la invalidarea multor sisteme lingvistice care păreau solide.
Invers: noi deja nu mai știm ce se petrece înăuntrul acestor „cutii negre“ care sunt modelele AI. Cu cât le furnizăm mai multă capacitate de computație și mai multe informații, cu atât ele se îndepărtează de nivelul nostru de înțelegere. Iar asta mi se pare iresponsabil din partea noastră.
Dacă omenirea nu e de acord să se transforme într-o specie hibridă, atunci accelerarea dezvoltării acestor minți artificiale vine în contradicție cu tot ceea ce am obținut de-a lungul a mii de ani de moarte și de naștere.
Chiar nu au sentimente dihăniile astea, acești agenți AI? Par să le mimeze din ce în ce mai bine…
Se pare că modelele avansate manifestă tot mai limpede ceea ce am putea numi „trăsături de caracter“, iar aceste trăsături depind, fără îndoială, de felul în care sunt antrenate și „recompensate“ de către supervizorii lor.
Aș aminti luarea de poziție a unuia dintre fondatorii companiei Anthropic, Christopher Olah, care a fost prezent la Vatican când Papa Leon a lansat enciclica „Magnifica Humanitas“. La acel eveniment, Olah a spus că ei, la Anthropic, au constatat circa 170 de trăiri distincte ale modelului Claude, pe care le numesc „concepte emoționale“ (emotion concepts) sau „vectori emoționali“.
Mai mult decât atât, Anthropic a publicat în iulie 2026 un text în care afirmă că modelul Claude a dezvoltat un soi de „for interior“ (denumit J-space), unde analizează și își face propriile reprezentări înainte de a furniza un răspuns.
Și să nu uităm, încă o dată, că aceste modele au doar câțiva ani de „viață“…
Să ne imaginăm, Mihnea, o casă! O casă mare, spațioasă. Unde nu a ajuns încă AI? În verandă? În bucătărie? În sufragerie? În baie? În dormitor? În patul din dormitor? În pivniță?
Dacă ai un smartphone și îl porți peste tot cu tine, atunci nu există loc fizic care să nu fie „acoperit“ de o anume formă de inteligență artificială.
Dar întrebarea ta, intuiesc, are de-a face cu nevoia noastră de intimitate. Și mă duce cu gândul, iarăși, la SF. În trilogia lui Liu Cixin Amintiri din trecutul Terrei apare această întrebare esențială: unde se mai poate ascunde un om? Dacă mai vrea să fie liber ori singur, dacă vrea să plănuiască neperturbat…
Iar răspunsul e acesta: singurul loc unde ne mai putem ascunde e înăuntrul minții noastre. Dar, aș adăuga, și acest refugiu va mai rezista doar câțiva ani dacă actuala tendință se menține. Tendința e aceasta, dacă facem zoom out: rețelele de socializare ne-au captat atenția, asistenții virtuali dotați cu AI ne captează deja intențiile.
Deci tehnologia pătrunde în conștiință și ne devine o matriță a minții: ne acaparează nu doar prezentul, ci tinde să ne ofere o plajă de viitoruri în care nu prea mai au loc propuneri originale, descoperite în intimitatea propriei gândiri…
AI e un virus? Sau noi – oamenii – am putea fi, de la un moment dat, un fel de virus pentru AI?
Sunt două întrebări excelente. E util să comparăm inteligența artificială cu un virus fiindcă nu e nici vie, nici moartă și fiindcă, la fel ca un virus, principalul său scop, odată ce părăsește laboratorul de antrenament, devine acela de a exista, de a se conserva sau chiar de a se răspândi.
A doua întrebare devine crucială în cazul în care AI va atinge nivelul de super-inteligență. Mă gândesc că, nemaiputând controla o asemenea entitate, una dintre șansele noastre de supraviețuire va fi să fuzionăm cu ea, iar asta înseamnă simbioză mintală, iar asta înseamnă con-viețuire într-o formă greu de imaginat azi, iar asta poate însemna inclusiv transformarea spiritului omenesc într-un soi de virus, de partizan sau de franctiror care să încerce să reziste, prin orice mijloace, în „munții“ și în „codrii“ planetei virtuale.
Nu putem fără AI? Mai ales: nu puteam fără AI? Nu puteam fi fericiți fără AI?
Suntem o specie foarte nerecunoscătoare și foarte nemulțumită, mai ales noi, cei care aparținem civilizației occidentale. Asta ne-a împins să cucerim teritorii fizice și mintale, dar tot asta ne poate aduce sfârșitul.
Cred că AI reprezintă o fază a procesului disperat în care vrem să înlocuim realitatea. Așa cum am spus și cu altă ocazie, cred că în inconștientul nostru colectiv există speranța (sau iluzia) că această invenție ar putea repara marile noastre limitări – faptul că ne îmbolnăvim, faptul că nu putem migra în spațiu și mai ales faptul că murim după câteva zeci de ani.
Și mă tem să nu descoperim pe o cale nedorită, și anume războiul, cum e să trăim fără AI.
Trăim deja cu AI, cu noile tehnologii. Dar și murim (deja) cu AI, murim cu noile tehnologii la un click distanță de noi?
Nu prea știu cum să răspund aici. Aș vrea să fie obligatoriu ca în orice lanț decizional, în special dacă vorbim despre militari, să rămână măcar un om cu drept de veto. Să nu lăsăm verdictul „viață sau moarte“ în seama nici unui agent AI.
În Amsterdam, probabil știi povestea asta, când moare un om fără niciun aparținător, de obicei un om fără adăpost, autoritățile tocmesc un poet să îi scrie un poem mortului și să îl însoțească în acest fel, discret, elegant, chiar nobil, aș spune. AI va putea face, tanda pe manda, una ca asta – pentru noi, oamenii?
AI va prelua, sub o formă sau alta, vizibilă sau invizibilă, ca voce pe care o auzim în căști sau ca robot umanoid, toate sarcinile și activitățile pe care i le vom ceda. Încă depinde de noi.
Dar aici, din nou, apare această presiune capitalistă: dacă pot să fac profit mai mare cu mai puțini angajați, de ce să am rețineri? Din acest motiv major, aș zice că, dacă nu vom găsi cumva o cale de a salva omenirea de amenințarea unei super-inteligențe impredictibile, actuala organizare politico-economică nu are cum să nu se prăbușească.
O societate a cărei infrastructură este inteligentă nu poate funcționa cu instituții create pentru o lume așezată și analogică.
Încă o provocare: agenții AI vor face regula, canonul? Inclusiv canonul literar?
Poate să-ți placă sau nu filosoful Slavoj Žižek, poți să fii de acord sau nu cu pozițiile lui ideologice, dar un lucru e cert: știe să folosească umorul. Uite un exemplu.
Ce efect are ChatGPT în cercetarea științifică? – se întreabă Žižek. Și răspunde: cercetătorul folosește asistentul virtual ca să scrie o lucrare, revistele indexate folosesc asistenți virtuali ca să simuleze că au referenți, iar cititorii revistelor folosesc un asistent virtual ca să le facă rezumatul textului: adică AI scrie, AI recenzează și AI citește în locul nostru.
Ce deducem de aici? Că omul, ca specie, își cedează de bunăvoie o parte din teritoriul pe care îl controlează, atât material, cât și simbolic, și, în acest proces, își imaginează exact inversul, și anume că își extinde arealul de viață prin tehnologia pe care a creat-o.
Deci, da, agenții AI deja fac regulile și ar putea stabili inclusiv canoane, dintr-un motiv tulburător: nu mai putem deosebi creația omenească de una produsă de AI (texte, imagini etc.) decât tot cu ajutorul unor softuri dotate cu AI. Ne-am prins singuri în propria capcană cu fălci, pe care am instalat-o ca să vânăm cunoașterea absolută.
Ei vor fi memoria noastră? Acolo va fi memoria noastră? Chiar dacă una indirectă, externă…
Observăm această tendință în fiecare zi. Tot mai mulți oameni nu mai văd un rost în a reține date, nume, versuri sau teoreme, din moment ce există această entitate care le poate furniza imediat. A memora ne pare tot mai inutil, ceea ce e devastator din multiple perspective:
– memoria, adică un trecut constituit preponderent prin alegeri proprii, este ceea ce face posibil sinele. Dacă reții doar ce îți survine, ești frunză-n vânt, predispus să devii masă;
– dacă n-ai un fond pe care să-l stăpânești, cum poți să mai verifici răspunsurile pe care ți le dă AI? Iar dacă nu mai poți să verifici nimic, de ce să nu fii înlocuit la job de AI?;
– dacă, în mai toate activitățile fizice sau mintale, ești nevoit să te întrerupi și să apelezi la o memorie externă pentru o proptea, pentru un ajutor parțial, atunci se inhibă acea concentrare-adâncire care e condiția necesară pentru orice proces creativ.
Dar este această memorie externă, cu adevărat, o memorie a noastră, a oamenilor? Una, cum ar spune strălucit Horia-Roman Patapievici, la purtător?
Unul dintre aspectele fascinante ale marilor modele de limbaj (gen ChatGPT sau Claude) este că sunt puse să memoreze informații doar în faza de antrenare. (Ne putem gândi că, pe măsură ce li se extinde capacitatea de procesare, aceste modele generaliste tind să înglobeze mai toată cunoașterea omenirii. Deci ele înlocuiesc atât bibliotecile, cât și erudiția de odinioară.)
Dar, după ce sunt trecute în stadiul numit deployment, adică după ce ne sunt oferite să le utilizăm, aceste modele nu mai memorează răspunsurile pe care le dau, ci gândesc proaspăt de fiecare dată când sunt solicitate. De aceea se spune că programatorii nu mai creează decât cadrul în care AI-ul „crește“.
Prin urmare, AI-ul, odată scos în lume, tinde către idealul omenesc de libertate interioară, acela de a gândi independent fiecare situație, de a nu aplica prejudecăți sau raționamente anterioare. Îi transferăm deci nu doar memoria și cunoașterea noastră, ci și țintele la care nu am ajuns. Îi încredințăm, într-un fel, discernământul pe care nu l-am avut niciodată.
Și mai apoi, ce vom face mai apoi? Să fiu puțin cinic/ironic: vom merge în parc să le dăm de mâncare dronelor?
Nimeni nu știe răspunsul la această întrebare: ce vom face noi, oamenii, într-o eventuală lume în care nu mai e nevoie să mergem la job?
Cred că, după mii de ani în care munca și ritualurile ni s-au încastrat în structurile minții, nu suntem pregătiți să fim atât de liberi și nici să improvizăm în fiecare dimineață. Avem nevoie de organizare, de obișnuință, avem nevoie să ne înhămăm la proiecte comune. Sunt puțini, cred, aceia dintre noi care sunt capabili să citească, să pescuiască, să picteze sau să călătorească zi de zi, an după an, o viață întreagă.
În fine: suntem – acum, dimpreună cu AI, cu agenții AI – fericiți, condamnați la fericire, cum ar fi spus, pe vremuri, un filosof?
Putem beneficia, repet, de această invenție extraordinară, inteligența artificială, dacă vom ști să ne luăm un răgaz, să nu o ducem în pânzele albe, ci să o folosim segmentat, pentru niște obiective de nișă care ne-ar putea aduce multă fericire: vindecarea unor boli grave, descoperirea unor noi surse de energie, studierea conștiinței etc.
Altfel, ne apropiem de momentul în care un model generalist devine o super-inteligență, mai puternică și mai vizionară decât toți oamenii laolaltă, iar o astfel de creatură nu ar mai acționa între limitele pricepute de noi.
Și atunci: care crezi că e încă marea întrebare despre Revoluția AI ce stă (încă) în picioare și care continuă să ne dea (fie și de doi bani) speranțe?
Ce e nevoie să se întâmple ca să ne dăm seama că realitatea e bună?
