TECH. Odată cu apariția modelelor de inteligență artificială tot mai sofisticate, capabile să ofere răspunsuri care par perfect umane, apare o întrebare importantă: putem avea încredere în explicațiile pe care ni le oferă aceste sisteme? Un grup de cercetători de la Microsoft și MIT spune că, de multe ori, AI „spune” ce vrem să auzim, dar nu explică sincer cum a ajuns la o concluzie.
Aceștia au dezvoltat o metodă nouă care verifică dacă explicațiile oferite de AI chiar reflectă gândirea reală din spatele deciziilor. Metoda se numește „fidelitate conceptual-cauzală” și este menită să evidențieze diferențele dintre ceea ce spune AI că a contat într-o decizie și ce a influențat cu adevărat rezultatul.
De ce este important acest lucru?
Katie Matton, doctorandă și autoare a studiului, atrage atenția că atunci când AI oferă explicații „credibile, dar false”, utilizatorii pot fi păcăliți. Asta poate duce la decizii greșite, mai ales în domenii sensibile – cum ar fi selecția de angajați, unde biasul (prejudecata) trebuie evitat cu orice preț.
Un exemplu șocant: într-un test, modelul GPT-3.5 a preferat candidați de sex feminin pentru un post de asistent medical, chiar și atunci când genurile au fost inversate. Dar în explicațiile oferite, AI a invocat doar vârsta și abilitățile – ignorând complet rolul genului, care de fapt influențase decizia.
Ce aduce nou această metodă?
Spre deosebire de tehnicile vechi care ofereau scoruri abstracte (de exemplu, „fidelitate 0,63”), noua metodă scoate la suprafață exact ce concepte au influențat cu adevărat răspunsul AI și dacă acestea se regăsesc în explicație. Astfel, devine mai ușor să detectăm când AI „ascunde” ceva important – sau chiar minte.
Această inovație poate ajuta dezvoltatorii și utilizatorii să verifice sinceritatea AI-ului și să reducă riscurile unor decizii automate părtinitoare.
