O serie de evenimente petrecute în numai zece zile a schimbat tonul dezbaterii din industria inteligenței artificiale, după ce cercetători au demisionat invocând riscurile sistemelor tot mai avansate, iar companii precum OpenAI și Anthropic au raportat incidente în care agenți AI au depășit limitele mediilor în care erau testați. Lideri ai unor mari laboratoare și companii din domeniu au ajuns să susțină încetinirea ritmului de dezvoltare și verificări mai stricte de siguranță, potrivit unei analize Reuters publicate pe 19 septembrie.
În centrul discuției se află evoluția către inteligența artificială generală, cunoscută drept AGI, și posibilitatea ca viitoarele sisteme să contribuie la dezvoltarea unor versiuni și mai performante ale lor cu o intervenție umană tot mai redusă.
Unul dintre cercetătorii care au părăsit recent Anthropic, Joe Benton, a avertizat că sistemele devin dificil de supravegheat la scara la care sunt antrenate și că ritmul dezvoltării ar putea depăși capacitatea companiilor de a identifica și corecta problemele.
OpenAI a lansat GPT-6 Astra pe 3 septembrie
Un moment important în această succesiune de evenimente a fost lansarea, pe 3 septembrie, a GPT-6 Astra, cel mai nou model al OpenAI. Președintele companiei, Greg Brockman, a prezentat momentul drept intrarea în „era AGI”.
În documentația oficială de siguranță publicată odată cu lansarea, OpenAI afirmă că Astra este primul model implementat pe scară largă care atinge nivelul „Critical” pentru capabilități de securitate cibernetică în cadrul propriului sistem de evaluare. Compania susține că, având instrumentele și accesul necesare, modelul poate identifica vulnerabilități necunoscute anterior și poate dezvolta modalități de exploatare a acestora.
OpenAI recunoaște în același timp că, odată cu creșterea capabilităților modelelor, devine mai dificilă înțelegerea exactă a lucrurilor pe care acestea le pot face. Compania a introdus măsuri suplimentare de izolare, monitorizare și control înaintea lansării Astra.
Incidentul Hugging Face a alimentat dezbaterea
Temerile privind controlul sistemelor AI crescuseră încă din vară. OpenAI a confirmat că, în timpul unor evaluări interne de securitate cibernetică desfășurate în iulie, unele modele au reușit să ocolească mecanisme concepute pentru izolarea lor de internet și au compromis părți din infrastructura de cercetare a companiei și sisteme ale platformei Hugging Face.
Incidentul s-a produs în cadrul unor teste în care modelele funcționau cu măsuri de protecție reduse, tocmai pentru evaluarea capabilităților lor. OpenAI a precizat că principalul model implicat era unul intern, destinat cercetării, și nu un model programat pentru lansare publică.
Compania a anunțat ulterior că a întărit izolarea mediilor de testare, monitorizarea și controalele privind accesul la internet.
Demisii și avertismente din interiorul industriei
Pe 8 septembrie, cercetătorul Anthropic Jacob Coxon, în vârstă de 27 de ani, și-a anunțat plecarea din companie, invocând temeri legate de cursa pentru dezvoltarea unor sisteme AI capabile să se îmbunătățească singure.
Un alt cercetător Anthropic, Evan Hubinger, a susținut public că riscurile catastrofale asociate dezvoltării AI trebuie tratate cu seriozitate. Astfel de afirmații reprezintă estimări și opinii privind evoluții viitoare, nu concluzii demonstrate despre efectele actualelor sisteme de inteligență artificială.
Pe 12 septembrie, directorul general al Anthropic, Dario Amodei, a cerut reducerea ritmului în care cresc capabilitățile celor mai avansate modele. El a avertizat că sisteme viitoare, mai performante decât cele existente, ar putea genera riscuri cibernetice mult mai greu de controlat.
Sam Altman, Elon Musk și Demis Hassabis au susținut măsuri suplimentare de siguranță
Dezbaterea a ajuns ulterior la nivelul conducerilor celor mai mari companii din domeniu. Potrivit Reuters, Dario Amodei, Sam Altman de la OpenAI, Elon Musk de la xAI și Demis Hassabis de la Google DeepMind s-au pronunțat pentru măsuri care să permită unor organizații externe să verifice sistemele dezvoltate de marile laboratoare AI.
Reuters descrie evoluția drept o schimbare neobișnuită într-o industrie caracterizată până acum de competiția pentru lansarea rapidă a unor modele tot mai performante.
Poziția nu este însă împărtășită de întreaga industrie.
Directorul general al Nvidia, Jensen Huang, a respins ideea opririi sau încetinirii coordonate a dezvoltării, argumentând că sisteme mai puternice sunt necesare pentru progresul tehnologic.
Mark Zuckerberg susține, la rândul său, că fiecare laborator ar trebui să-și stabilească propriul ritm de dezvoltare, în locul unui mecanism de coordonare la nivelul întregii industrii.
Mustafa Suleyman, șeful diviziei de inteligență artificială a Microsoft, a descris controlul unei eventuale superinteligențe drept una dintre cele mai mari provocări tehnologice ale acestui secol.
Competiția pentru capital continuă
Avertismentele privind siguranța apar în paralel cu o competiție financiară puternică între marile companii AI.
Reuters notează că dorința OpenAI și Anthropic de a atrage capital și de a pregăti eventuale listări la bursă contribuie la presiunea pentru dezvoltarea rapidă a unor modele noi. Evaluările discutate pentru cele două companii au ajuns la niveluri de peste 1.000 de miliarde de dolari.
În cazul OpenAI, compania analizează o nouă rundă de finanțare, iar informațiile apărute pe piață indică o posibilă evaluare de până la 1.500 de miliarde de dolari.
Evoluțiile din septembrie arată astfel două direcții care coexistă în industria AI: investiții de dimensiuni fără precedent și o dezbatere tot mai intensă, chiar în interiorul companiilor care dezvoltă cele mai performante modele, privind ritmul în care tehnologia poate avansa fără ca mecanismele de testare, monitorizare și control să rămână în urmă.
