TUIASI la TechO(n) 2026: când agenții AI trec de la predicție la acțiune

Universitatea Tehnică „Gheorghe Asachi” din Iași (TUIASI) a fost reprezentată la cea de-a XIV-a ediție a TechO(n), evenimentul flagship al Amazon Development Center Romania, desfășurat miercuri, 30 septembrie, la Teatrul Național din Iași. Ediția din acest an a fost dedicată transformării aduse de trecerea de la dezvoltarea agenților de inteligență artificială la implementarea acestora în sisteme de producție. Universitatea a fost reprezentată de prof. dr. Simona Caraiman, prorector pentru Informatizare și Comunicații Digitale al TUIASI, care a susținut sesiunea „Agents Gave the Old Problems Hands – The trust debt from classic ML, and what agents do with it” și a participat la panelul „Bridging Industry and Academia”.

Tema ediției, „The Agentic Shift: From Code to Production and Beyond”, a adus în prim-plan trecerea de la modele care oferă răspunsuri la agenți capabili să utilizeze instrumente, să ia decizii și să execute acțiuni în sisteme reale. Odată cu creșterea autonomiei, performanța modelului nu mai este singurul criteriu relevant. Devine importantă și înțelegerea modului în care agentul acționează, a limitelor sale și a mecanismelor prin care o acțiune nedorită poate fi identificată, oprită sau corectată.

În sesiunea „Agents Gave the Old Problems Hands”, prof. dr. Simona Caraiman a abordat această schimbare de perspectivă pornind de la vulnerabilitățile deja cunoscute ale sistemelor de machine learning și de la consecințele pe care acestea le pot avea atunci când sistemele primesc autonomie operațională. Un agent care nu doar generează o predicție, ci poate utiliza date, aplicații și instrumente pentru a acționa introduce o nouă dimensiune a problemei: nu mai este suficient să verificăm dacă răspunsul este corect, ci trebuie să putem evalua și controla acțiunile care decurg din acesta.

Principiile AI de încredere și restanțele lor

Prezentarea a pornit de la cei cinci piloni consacrați ai inteligenței artificiale de încredere, formulați în ultimul deceniu în cadrul unor ghiduri europene și internaționale: echitatea și evitarea discriminării, transparența și explicabilitatea, responsabilitatea și guvernanța, protecția datelor personale și, în fine, robustețea și securitatea sistemelor. 

Argumentul central al sesiunii a fost că niciunul dintre acești piloni nu a fost pe deplin rezolvat în perioada machine learning-ului clasic. Nu există nici astăzi o definiție unanim acceptată a echității algoritmice, iar unele dintre definițiile propuse sunt, demonstrabil, incompatibile între ele. Explicațiile generate automat de sisteme nu sunt întotdeauna fidele raționamentului real al modelului. Iar „supravegherea umană”, răspunsul standard la aproape orice problemă de etică AI, s-a dovedit fragilă în practică: un om care validează sute de recomandări pe oră riscă să transforme verificarea într-un proces formal.

Aceste probleme nu dispar atunci când sistemele primesc autonomie. Își schimbă însă consecințele. O eroare de predicție rămâne o cifră greșită, în timp ce, într-un sistem autonom, poate deveni o acțiune executată.

„Un model de machine learning care greșește produce o predicție greșită. Un agent autonom care greșește ia o decizie și execută o acțiune, iar consecințele pot fi reale și, adesea, ireversibile. Problemele pe care le cunoaștem din machine learning-ul clasic nu dispar atunci când acordăm sistemului autonomie. Se amplifică, pentru că greșeala nu mai este doar o cifră pe baza căreia acționează un om. Se transformă într-o acțiune automată care s-a întâmplat deja. Atunci când nu mai poți anula ceea ce s-a întâmplat, cunoașterea limitelor sistemului nu este un detaliu tehnic, ci o responsabilitate”

explică conf. dr. Simona Caraiman.

Așa cum în dezvoltarea software există „datorie tehnică”, compromisuri amânate care se plătesc mai târziu, cu dobândă, prezentarea a descris o „datorie de încredere” („trust debt”) acumulată în anii de machine learning clasic: probleme de bias, transparență, utilizare a datelor sau control uman rămase nerezolvate, pe care trecerea la agenți autonomi nu le șterge, ci le amplifică. 

„Pentru agenții autonomi, evaluarea nu se mai poate opri la performanța modelului. Devine necesar să fie clar ce instrumente poate utiliza un agent, ce acțiuni îi sunt permise, în ce condiții poate acționa și ce mecanisme există pentru oprirea sau corectarea unei acțiuni nedorite. Totuși, ce ne-a adus era agenților AI nu se rezumă doar la riscuri amplificate. Odată cu dezvoltarea acestora, am construit și noi instrumente inginerești necesare implementării și gestionării lor. Dacă folosim aceste instrumente specifice sistemelor distribuite cu perspectiva „datoriei de încredere” în minte, ne pot ajuta să o gestionăm”

conf. dr. Simona Caraiman.

Dialog între universități și industrie

Componenta tehnică a TechO(n) 2026 a fost completată de panelul „Bridging Industry and Academia”, moderat de lect. dr. Mihai Alex Moruz, prodecan al Facultății de Informatică a UAIC. Alături de conf. univ. dr. ing. Simona Caraiman au participat prof. univ. dr. Liviu George Maha, rectorul UAIC, Martin Risau, Head of Customer Training and Certification EMEA la Amazon Web Services, Radu Postolache, președintele ANIS, și Ciprian Hodorogea, Director Software Development la Amazon.

Discuția a urmărit relația dintre universități și industrie și modul în care pregătirea specialiștilor, cercetarea academică și experiența companiilor tehnologice pot contribui împreună la dezvoltarea unui ecosistem digital responsabil.

Pentru TUIASI, participarea a vizat evoluția parteneriatului cu Amazon, de la programe de formare pentru studenți la inițiative mai largi de sprijinire a inovării și de consolidare a unei regiuni competitive tehnologic. Colaborarea dintre universitate și industrie nu înseamnă însă doar transfer de cunoștințe. Într-un domeniu în care tehnologiile evoluează rapid, ea presupune și formarea unor ingineri foarte bine pregătiți, cu competențe actualizate în inteligență artificială, sisteme distribuite, date și securitate cibernetică, capabili să înțeleagă funcționarea sistemelor complexe, să dezvolte soluții de protecție adecvate și să construiască aplicații sigure, responsabile și cu valoare adăugată.

În acest context, una dintre responsabilitățile esențiale ale TUIASI este să formeze specialiști capabili să înțeleagă nu doar modul în care funcționează noile tehnologii, ci și limitele, riscurile și responsabilitățile pe care le implică dezvoltarea și utilizarea lor.