Responsabilità vs automazione: quando l’intelligenza artificiale non basta
Diletta Huyskes, Ricercatrice e Responsabile Advocacy di Privacy Network
Tempo di lettura: 5 min
Mentre l'attenzione della stampa, dei commentatori e di molti appassionati si concentra periodicamente su dibattiti che riguardano un presunto raggiungimento di una intelligenza artificiale generale dotata di qualità umane, nel mondo vengono implementati sempre più processi automatizzati con effetti reali sulle persone e sulla società.
L'esempio recente più famoso è quello di Black Lemoine, un ingegnere che lavorava all’intelligenza artificiale di Google, e nello specifico al Language Model for Dialogue Applications (LaMDA), un software programmato per generare parole imitando il linguaggio umano. Dopo lunghe chiacchierate con LaMDA, Lemoine è giunto a una sua personale conclusione: il software con cui stava interagendo era un essere senziente, raccontando in un’intervista al Washington Post che "Riconosco una persona quando ci parlo. Non importa se ha un cervello fatto di carne. O se ha un miliardo di linee di codice".
Nonostante i suoi colleghi e superiori non siano rimasti impressionati dalle sue scoperte (tanto da congedarlo dalla posizione), le affermazioni di Lemoine che attribuiscono al modello una forma di coscienza hanno diffuso fantasie, entusiasmo e alimentato timori, oltre a facilitare una discussione mediatica sull’intelligenza artificiale. Principalmente, perché il suo ruolo di programmatore e ingegnere che ha costruito il software ha portato le persone, che normalmente non seguono il dibattito sui large language models, a fidarsi delle sue affermazioni. Proprio il tema della fiducia, invece, ha fatto emergere molte domande e riflessioni da parte di accademici e scienziati che lavorano quotidianamente con l’intelligenza artificiale. Joanna J. Bryson, professoressa di Etica e Tecnologia presso la Hertie School di Berlino, dove ha co-fondato il Centro per la Governance Digitale ed esperta di politica e regolamentazione dell'IA, si chiede: se persino ingegneri esperti possono ingannare se stessi individuando una coscienza in un modello che imita il linguaggio naturale, come possiamo proteggerci da prodotti negligenti o malevoli? (Articolo: One Day, AI Will Seem as Human as Anyone. What Then?)
I settori privati e pubblici in tutto il mondo stanno sempre più spesso sperimentando le decisioni automatizzate, delegando almeno una parte dei processi decisionali a software e modelli matematici.
DILETTA HUYSKES
Ricercatrice e responsabile Advocacy di Privacy Network
L’impatto nel mondo delle decisioni automatizzate
I settori privati e pubblici in tutto il mondo stanno sempre più spesso sperimentando le decisioni automatizzate, delegando almeno una parte dei processi decisionali a software e modelli matematici. Ciò avverrà, con regole diverse, in qualsiasi ambito: dalla logistica ai servizi bancari, dall’urbanistica alle risorse umane, fino alle pensioni e alle cure mediche. La promessa è generalmente quella di aumentare l'efficienza e l'obiettività del loro processo decisionale, potendo analizzare contemporaneamente una quantità di dati molto più ampia di come potrebbe fare un qualsiasi essere umano, rintracciando pattern, similarità e cluster su larga scala. Tecniche molto richieste, perché permettono di risparmiare tempo e offrire una grande quantità di servizi personalizzati. Proprio questa capacità di generalizzazione però sta portando a interrogarsi con crescente attenzione sui possibili effetti problematici di alcune di queste applicazioni. Intelligenza artificiale applicata che, nei casi peggiori, può produrre effetti problematici e molto concreti sulla vita delle persone.
Soffermarsi sulla qualità dei dati utilizzati per prendere decisioni
In un articolo precedente avevo evidenziato l’importanza di curare i dati che le organizzazioni utilizzano per i loro progetti, discutendone e integrando un approccio consapevole all’interno dei team di lavoro. Questo, avevo sottolineato, significa soffermarsi sulla qualità dei dati utilizzati per prendere decisioni, o per allenare sistemi di intelligenza artificiale, puntando, ad esempio, il più possibile a una reale rappresentatività socio-culturale del proprio campione, o alla sua precisione rispetto al contesto applicativo. Un approccio diverso potrebbe portare alla sottorappresentazione di alcuni gruppi sociali, e alla loro conseguente esclusione o discriminazione. Se è vero che i dati sono una componente fondamentale del ciclo di vita di un software – perché determinano ampiamente ciò che esso potrà fare e come – è anche vero che il design di un sistema prevede molte altre fasi determinanti alla buona riuscita di un progetto. Con buona riuscita non mi riferisco esclusivamente al suo funzionamento tecnico, ma soprattutto alla sua capacità di rispondere ai bisogni del contesto a cui verrà applicato. Sono analisi e risposte spesso non facilmente determinabili a priori, e per questo c’è una tendenza a derubricarle come irrealizzabili.
A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle (Suresh e Gutag, 2021)
Perché i bias non dipendono solo dalla qualità dei dati di partenza
È molto diffusa l’idea per cui i bias algoritmici, intesi come errori sistematici che in un sistema informatico possono portare a risultati non equi, ad esempio svantaggiando una categoria piuttosto di un’altra in modo automatico e con effetti reali, dipendano esclusivamente dalla qualità dei dati su cui quel sistema è stato addestrato. In realtà, come mostrano Suresh e Guttag (2021), i problemi possono originare in diverse fasi, e soprattutto determinano diverse responsabilità. Chi ha deciso quali caratteristiche ed etichette utilizzare, e quanto peso dare a ciascuna? Quali sono le loro associazioni? Come sono stati scelti modello e benchmark? La selezione, la definizione, l’elaborazione e l’interpretazione sono tutti momenti in cui le scelte umane possono influire sul risultato finale di un progetto basato sull’intelligenza artificiale. Quello che può accadere, ad esempio, è che un modello impari a categorizzare - rintracciando pattern nei dati e in base alle regole su cui è stato programmato - delle persone in base a una singola caratteristica comune, finendo per raggruppare tra loro individui con esigenze completamente diverse. È quello che succede quando le donne vengono discriminate automaticamente a partire dal genere per un posto di lavoro senza arrivare a valutare altre caratteristiche, o alle persone con doppia cittadinanza per il solo fatto di provenire da un altro Paese.
Il caso dei Paesi Bassi
È ciò che è successo nei Paesi Bassi, dove il governo si è reso protagonista del primo caso europeo di discriminazione di massa sui cittadini basata sui dati. Nel gennaio 2021 è esploso uno scandalo nazionale legato a dei sussidi destinati alla crescita dei figli che ha fatto emergere come nel corso di dieci anni a circa 35.000 famiglie sia stato richiesto il rimborso completo e retroattivo di tutti gli assegni ricevuti. I casi di potenziale frode – poi rivelati infondati – erano individuati da un algoritmo adottato dall’autorità fiscale che negli anni aveva imparato a discriminare in base alla prima nazionalità dei richiedenti. Seppur considerato assolutamente soddisfacente dal punto di vista tecnico, il sistema ha causato enormi danni socio-economici ai cittadini portando alle dimissioni del governo. Ma cosa ha portato a questa situazione? L’autorità olandese, come spesso accade, si era ampiamente fidata del sistema automatizzato al punto da non prevedere vigilanza, monitoraggio e verifiche casuali sul funzionamento del software nel tempo.
Questo esempio dovrebbe insegnarci che, oltre ai dati, nemmeno le scelte di design sono neutrali: alcune sono migliori di altre, e rimangono profondamente umane. Se un modello di machine learning impara ad associare due caratteristiche attraverso una correlazione diretta, è una responsabilità umana quella di controllare che quella correlazione automatica non stia causando danni alla vita delle persone (oltre a evitarlo in tutti i modi all’inizio). Consapevoli delle complessità di gestire un progetto di questo tipo prestando attenzione a tutte le sue componenti, il governo olandese ha prodotto insieme all’Università di Utrecht un framework (FRAIA) per valutare l’impatto dei processi automatizzati sui diritti umani che d’ora in poi dovrà essere seguito da tutte le amministrazioni. Il FRAIA “aiuta a mappare i rischi per i diritti umani e a prendere misure per affrontarli, […] crea un dialogo tra i professionisti che lavorano allo sviluppo o all'implementazione di un sistema algoritmico” per affrontare “in modo tempestivo e strutturato tutti i punti rilevanti a cui prestare attenzione”. L’obiettivo principale di questo strumento è quello di ridurre la negligenza umana nell’utilizzo di processi decisionali automatizzati, e può essere impiegato come una guida passo dopo passo alla progettazione, a partire dalla domanda su quali sono le motivazioni dietro la costruzione o l’acquisto di un software, e su quali obiettivi e valori si basano.
è una responsabilità umana quella di controllare che la correlazione automatica non stia causando danni alla vita delle persone
Organigramma della valutazione d'impatto sui diritti fondamentali, Ministry of the Interior and Kindgom Relations of the Netherlands
FRAIA flowchart
Augmentation vs automation
Il pericolo principale dato dal sostenere che l’Intelligenza Artificiale possa essere senziente è che contribuisce alla nostra deresponsabilizzazione. Significa portare il dibattito su un altro piano, distraendoci dalla risoluzione di problemi più concreti e dal bisogno di intervento umano. Un errore già molto diffuso è quello di pensare che algoritmi così sofisticati possano sostituire le decisioni umane senza necessità di supervisione anche in contesti particolarmente sensibili. La realtà però ci dimostra che i migliori risultati – sia dal punto di vista tecnico sia socio-culturale – si possono ottenere solo quando l’intelligenza artificiale viene usata per aumentare le capacità umane, e non automatizzarle completamente. È l’augmentation vs automation, una prospettiva che ci invita a cooperare con le macchine, attraverso un accrescimento di responsabilità che porta inevitabilmente a una maggiore fiducia.
20 settembre 2022
ARTICOLI CONSIGLIATI
-
Innovation sparksInnovazione e Trasformazione nell’Area Credito: l’esperienza di TIMTIM ha intrapreso un progetto ambizioso volto a innovare processi, sistemi e organizzazione, con l’obiettivo di migliorare l’efficienza e garantire una gestione sempre più data-driven. -
Data for GoodAI_PREMie: innovazione e collaborazione per prevenire le complicazioni della preeclampsiaLa ricerca condotta dall'University College di Dublino potrebbe salvare decine di migliaia di vite utilizzando il machine learning per diagnosticare la preeclampsia. -
Innovation SparksLe Model Card di SAS: una bussola per la trasparenza e l’eccellenza nei modelli di Intelligenza ArtificialeIntegrate nella piattaforma SAS Viya, le Model Card di SAS sono concepite per documentare e chiarire ogni aspetto dei modelli di intelligenza artificiale e machine learning.
Ispirazioni sul mondo di oggi e sulle tendenze di domani