Guida al machine learning inclusivo: AutoML
In Google, i principi che motivano e guidano il nostro lavoro nel campo dell'intelligenza artificiale (AI) sono frutto di un costante e intenso impegno. Google predilige da sempre un approccio incentrato sulle persone che mette in primo piano prodotti e pratiche per un uso responsabile dell'AI da cui tutti possano trarre vantaggio in ogni contesto. I valori alla base dell'uso responsabile e inclusivo dell'AI costituiscono il nucleo della suite di prodotti di machine learning AutoML e si manifestano nelle modalità descritte di seguito.
AutoML consente a tipologie diverse di organizzazioni e individui di mettere l'AI al proprio servizio offrendo un'esperienza utente intuitiva che non richiede la scrittura di codice né competenze pregresse nell'ambito del machine learning.
Utilizzando tecniche algoritmiche come Transfer Learning e Learning to Learn, AutoML facilita l'accesso delle organizzazioni a strumenti per la creazione di modelli personalizzati con set di dati di dimensioni inferiori a quelle normalmente necessarie.
AutoML ti consente di creare con facilità sistemi di machine learning significativi e contestualmente pertinenti. Ad esempio, se noti che il nostro modello generico non include lo slang o la lingua del tuo dominio, puoi creare un modello personalizzato che include le caratteristiche linguistiche che ti interessano. Se ti accorgi che i modelli generici di classificazione dell'abbigliamento non sono adatti agli indumenti indossati nella tua community, puoi addestrare un modello più adeguato.
Il nostro obiettivo è di mettere i vantaggi del machine learning a disposizione di tutti, perciò ci teniamo molto ad attenuare i bias preesistenti in merito alle categorie sociali che strutturano e influenzano le nostre vite. In Google, chiamiamo quest'area di ricerca equità del machine learning. In questa pagina vogliamo condividere la nostra opinione attuale su questo argomento e i nostri suggerimenti su come applicare AutoML alle conversazioni, garantendo l'equità del machine learning.
Che cos'è l'equità del machine learning?
L'equità del machine learning è un'area di ricerca e discussione stimolante e vivace tra accademici, professionisti e il grande pubblico. L'obiettivo è comprendere e prevenire il trattamento ingiusto o pregiudizievole delle persone in base all'appartenenza razziale, al reddito, all'orientamento sessuale, alla religione, al sesso e ad altre caratteristiche storicamente associate alla discriminazione e all'emarginazione, nonché capire i contesti e i luoghi in cui tali comportamenti si manifestano in sistemi algoritmici o processi decisionali assistiti da algoritmi.
Le sfide algoritmiche si manifestano in modalità diverse, ad esempio sotto forma di bias sociali incorporati nei set di dati di addestramento, di decisioni prese durante lo sviluppo di un sistema di machine learning o di cicli di feedback complessi che vengono generati quando si esegue il deployment di un sistema di machine learning nel mondo reale.
A nostro avviso, perseguire l'equità nell'ambito del machine learning presenta una serie di prospettive e obiettivi validi. Ad esempio, potremmo addestrare gli strumenti di classificazione di machine learning affinché possano eseguire previsioni in modo corretto su tutti i gruppi sociali. Potremmo anche darci come obiettivo quello di progettare sistemi di machine learning che provino a correggere o mitigare i risultati negativi futuri alla luce delle ricerche sull'impatto delle disuguaglianze nel passato. Questi e molti altri approcci sono importanti e spesso correlati.
Per ulteriori informazioni, consulta le pratiche dell'AI responsabile di Google e le pratiche per l'equità consigliate, il video Google su machine learning e bias umano nonché il tutorial sull'equità del machine learning di Moritz Hardt e Solon Barocas.
Equità nell'ambito del machine learning e AutoML
Con AutoML abbiamo l'opportunità di promuovere l'inclusione e l'equità in modi diversi. Come osservato in precedenza, se i modelli di machine learning disponibili oggi non soddisfano pienamente le esigenze della tua community o dei tuoi utenti, ad esempio per mancanza di dati storici o per distorsioni della loro rappresentazione nei dati, puoi creare dei modelli personalizzati per ottenere un risultato migliore. In qualsiasi modello personalizzato creato con AutoML, puoi perseguire gli obiettivi di equità includendo dati che consentano al modello di eseguire previsioni altrettanto accurate su tutte le categorie pertinenti al tuo caso d'uso. Queste azioni che hanno come obiettivo l'equità possono aiutare a mitigare il rischio di incorrere nelle seguenti tipologie di conseguenze negative associate ad alcuni sistemi di machine learning.
Danno rappresentativo
Questo tipo di danno si verifica quando un sistema di machine learning amplifica o riflette gli stereotipi negativi su particolari gruppi. Ad esempio, i modelli di machine learning che generano risultati di ricerca di immagini o suggerimenti di testo automatici sono spesso addestrati in base al comportamento precedente degli utenti (come termini di ricerca o commenti frequenti) che può portare a risultati offensivi. Oltre ad offendere singoli utenti in quel momento specifico, quindi, questo tipo di danno rappresentativo ha anche effetti sociali diffusi e a lungo termine su gruppi più ampi di persone.
Negazione di opportunità
I sistemi di machine learning sono sempre più utilizzati per fare previsioni e prendere decisioni che hanno conseguenze sulla vita reale e impatti duraturi sull'accesso delle persone a opportunità e risorse, influendo sulla qualità generale della vita.
Insuccesso sproporzionato dei prodotti
In alcuni casi, l'iniquità dà luogo a conseguenze per l'usabilità e l'accesso di base. Ad esempio, alcuni dosatori di sapone utilizzati nei bagni pubblici hanno registrato tassi di insuccesso sproporzionatamente elevati per le persone con tonalità della pelle più scure.
Adesso riportiamo alcuni passaggi che puoi seguire per promuovere l'equità durante lo sviluppo dei tuoi modelli personalizzati in AutoML e il loro utilizzo nei tuoi sistemi di machine learning. Ci concentriamo sulla mitigazione dei bias nei set di dati di addestramento, sulla valutazione dei modelli personalizzati per le disparità di prestazioni e sui fattori da tenere a mente quando si utilizza un modello personalizzato.
Quali sono i primi passi per valutare l'equità del machine learning per il tuo caso d'uso?
Considera il contesto e l'uso del tuo prodotto.
In alcuni casi, come descritto in precedenza, l'equità riguarda l'usabilità e l'accesso di base.
In altri casi, l'equità ha a che fare con le leggi e le norme che limitano l'uso di dati che identificano direttamente o sono altamente correlati a caratteristiche sensibili, anche se tali dati sarebbero statisticamente pertinenti. Le persone con alcune di queste caratteristiche potrebbero anche essere legalmente protette contro la discriminazione in alcuni contesti (ad esempio le "categorie protette").
In altri casi ancora, l'iniquità non è immediatamente visibile, ma per farla emergere è necessario porsi delle domande di natura sociale, politica ed etica più articolate su come il tuo sistema di machine learning potrebbe essere utilizzato in pratica oppure su come potrebbe consentire l'insinuazione di bias nel tempo. Ad esempio, se si utilizza l'intelligenza artificiale per generare testi o traduzioni automatiche, è importante considerare quali tipi di bias o stereotipi possono rivelarsi problematici da un punto di vista etico (ad esempio, associando il sesso a determinati tipi di lavoro o la religione a opinioni politiche).
Quando inizi a creare il tuo sistema di machine learning, controlla le normative sulla discriminazione nella tua area geografica e nelle località in cui verrà pubblicata la tua applicazione, oltre alle ricerche e alle informazioni sui prodotti esistenti nel tuo dominio, per conoscere i problemi di equità più comuni.
Considera le seguenti domande chiave
Ecco alcune domande chiave che vale la pena porti. Se risponderai "sì" a una qualsiasi di queste domande, dovresti valutare l'opportunità di condurre un'analisi più approfondita del tuo caso d'uso concentrandoti sui potenziali problemi legati ai bias.
Il tuo caso d'uso o il tuo prodotto utilizza, nello specifico, dati delle categorie seguenti: biometrica, appartenenza razziale, colore della pelle, religione, orientamento sessuale, condizione socioeconomica, reddito, provenienza (paese e località), salute, lingua o dialetto?
Il tuo caso d'uso o il tuo prodotto utilizza dati che potrebbero essere strettamente correlati a una delle caratteristiche personali elencate sopra (ad esempio, codice postale o altri dati geospaziali che sono spesso indicatori della condizione socioeconomica e/o del reddito, come anche i dati contenuti in immagini/video che possono rivelare informazioni su appartenenza razziale, sesso ed età)?
Il tuo caso d'uso o il tuo prodotto potrebbe influenzare negativamente le opportunità economiche o altre importanti opportunità di vita degli individui?
Esaminiamo ora come puoi lavorare per promuovere l'equità nel machine learning durante le varie fasi del flusso di lavoro in AutoML.
Linee guida per i dati
Iniziamo con la prima fase in AutoML: raccogliere i dati di addestramento. Sebbene nessun dato di addestramento sia del tutto "imparziale", puoi incrementare notevolmente le possibilità di creare un prodotto migliore e più inclusivo se fai molta attenzione alle potenziali fonti di bias nei dati e adotti misure per fronteggiarle.
Che tipo di bias può esistere nei dati?
Distribuzione di dati con bias
Ciò si verifica quando i dati di addestramento non rappresentano realmente la popolazione a cui il tuo prodotto è destinato. Pensa attentamente a come sono stati raccolti i tuoi dati. Ad esempio, se disponi di un set di dati di foto inviate dagli utenti e lo filtri in base alla chiarezza dell'immagine, ciò potrebbe distorcere i tuoi dati rappresentando maggiormente gli utenti con fotocamere costose. In generale, pensa a come sono distribuiti i tuoi dati in base ai gruppi di utenti che utilizzeranno il tuo prodotto. Disponi di dati sufficienti per ogni gruppo pertinente? Ci sono spesso motivi sistemici velati per cui il tuo set di dati potrebbe non includere pienamente l'eterogeneità del tuo caso d'uso nel mondo reale.
Per mitigare i rischi, puoi provare ad acquisire dati da fonti diverse o filtrare attentamente i dati per assicurarti di prendere solo gli esempi più utili dai gruppi maggiormente rappresentati.
Rappresentazione dei dati con bias
È possibile che tu disponga di una quantità adeguata di dati per ciascun gruppo demografico possibile, ma che alcuni siano rappresentati in modo meno positivo rispetto ad altri. Pensa a un set di dati relativi a post di microblog sul tema "attori". Sebbene tu possa aver fatto un ottimo lavoro nel raccogliere post relativi ad attori e attrici in rapporto 50:50, quando cominci a esaminarne i contenuti, potresti accorgerti che i post sulle attrici tendono a essere più negativi di quelli sugli attori. Ciò può portare il tuo modello ad apprendere qualche tipo di bias legato al sesso.
Per alcune applicazioni, rappresentazioni diverse tra gruppi potrebbero non essere un problema. Nella classificazione medica, ad esempio, è importante acquisire sottili differenze demografiche per formulare diagnosi più accurate. Per altre applicazioni, invece, le associazioni negative con bias possono avere ripercussioni finanziarie o educative, limitare le opportunità economiche ed essere fonte di angoscia e travaglio interiore.
Se fattibile, prendi in considerazione la possibilità di eseguire una revisione manuale dei dati per identificare queste associazioni negative oppure applica filtri basati su regole per rimuovere le rappresentazioni negative se lo ritieni giusto per la tua applicazione.
Variabili proxy
È facile pensare che una volta rimosse le variabili che codificano le informazioni relative a gruppi demografici protetti, il tuo modello sarà privo di bias. Ma molte variabili sono fortemente correlate ai dati demografici, tra cui luogo, livello di istruzione e reddito, per citarne solo alcune. Se hai accesso a informazioni relative a gruppi demografici sui tuoi dati, è sempre preferibile analizzare i risultati sulla base di tali informazioni per assicurarti che il tuo modello tratti equamente i diversi gruppi.
Etichette con bias
Una fase essenziale nella creazione dei dati di addestramento per AutoML è l'etichettatura dei dati con le categorie pertinenti. Ridurre al minimo i bias nelle etichette è importante tanto quanto garantire che i dati siano rappresentativi. Cerca di mettere a fuoco chi sono i tuoi labeler. Dove si trovano? Qual è la loro lingua madre? Quanti anni hanno e qual è il loro sesso? Pool omogenei di classificatori possono apporre etichette errate o distorte in modi che potrebbero non essere immediatamente evidenti.
Nel caso ideale, assicurati che i tuoi labeler siano esperti del tuo dominio oppure fornisci istruzioni per formarli sugli aspetti rilevanti e prevedi un secondo processo di revisione per verificare la qualità delle etichette. Più i dati sono complicati da etichettare, più dovrai lavorare per assicurarti che i tuoi labeler comprendano il loro lavoro; disegnare riquadri di delimitazione ed etichettare le entità del testo potrebbero non essere attività intuitive per tutti, quindi assicurati di analizzare in dettaglio ogni attività e di anticipare le domande più comuni. Cerca di ottimizzare il processo decisionale promuovendo l'obiettività rispetto alla soggettività. È stato dimostrato anche che addestrare i labeler sui possibili "bias inconsci" contribuisce a migliorare la qualità delle etichette rispetto agli obiettivi di diversità. Inoltre, consentire ai labeler di segnalare autonomamente i problemi e porre domande di chiarimento sulle istruzioni può aiutare a ridurre al minimo i bias nel processo di etichettatura.
Suggerimento: se utilizzi il servizio di etichettatura umana in AutoML, considera le linee guida seguenti quando scrivi le istruzioni.
Assicurati che le istruzioni per l'etichettatura e il materiale di addestramento includano un contesto specifico e dettagliato del tuo caso d'uso, la descrizione dei tuoi utenti finali ed esempi illustrativi che aiutino i labeler a tenere a mente la diversità della base utenti.
Esamina i commenti che ricevi dai classificatori per identificare le aree che generano confusione e presta particolare attenzione a tutte le categorie sensibili durante le fasi di controllo, approvazione e rifiuto delle etichette dei dati che ricevi.
Quando il set di dati è pronto, considera la possibilità di specificare la suddivisione test/addestramento
Nelle guide di AutoML per principianti relative a Vertex AI e Translation, abbiamo parlato di come il set di dati viene suddiviso nel processo di machine learning. Come spiegato, in AutoML puoi fare in modo che Google suddivida automaticamente il set di dati o specificare manualmente la suddivisione test/addestramento. Se il tuo caso d'uso lo richiede, potresti prendere in considerazione la seconda opzione.
Durante la suddivisione manuale dei dati, segui le linee guida viste finora in modo da creare set di test diversificati e inclusivi. Se utilizzi tutti i tuoi dati inclusivi migliori per l'addestramento, potresti risentirne al momento dei test nel caso ottenessi un risultato eccessivamente ottimistico delle prestazioni del tuo modello relativamente ai sottogruppi sottorappresentati. Se disponi di dati scarsi su un particolare sottogruppo, esegui autonomamente la suddivisione addestramento/test per assicurarti che i dati siano distribuiti in modo rappresentativo tra i set di addestramento e i set di test. In alcuni prodotti AutoML, come AutoML Tables, puoi anche provare a specificare ponderazioni personalizzate per tipi di dati rari per attribuire loro maggiore importanza nel processo di addestramento.
Esamina i dati di addestramento
Valutazione: esamina le prestazioni del modello
Per valutare il tuo modello e assicurarti che sia equo devi riflettere a fondo sul caso d'uso particolare e sull'impatto che il modello potrebbe avere sugli utenti finali in caso di errore. Ciò significa comprendere l'impatto di tipi di errori diversi per gruppi di utenti diversi. È a questo punto che diventa importante pensare ai potenziali problemi di equità. Ad esempio, gli errori del modello hanno lo stesso impatto su tutti gli utenti, o sono più dannosi per determinati gruppi di utenti?
Una volta riflettuto su questo, potrai stabilire con maggiore sicurezza quali metriche delle prestazioni ha senso ottimizzare (ad esempio, precisione o recupero), valutare i vari compromessi tra le metriche ed esaminare esempi di errori per verificare la presenza di bias.
Caso d'uso: valutazione di foto del passaporto
Supponiamo tu voglia creare uno strumento che aiuti le persone a modificare e stampare le foto per il passaporto. Ogni paese ha le proprie regole in merito a dimensioni, inquadratura, colori di sfondo ed espressioni facciali accettabili, oltre che agli oggetti che possono o non possono essere presenti nell'immagine. Il tuo obiettivo è avvisare gli utenti che la loro foto potrebbe non essere accettabile prima che inoltrino la domanda di rilascio del passaporto.
Falso positivo:
Un falso positivo in questo caso potrebbe verificarsi quando il sistema contrassegna una foto come non accettabile, mentre l'autorità di emissione dei passaporti del relativo paese l'avrebbe accettata. Questo non rappresenta un grosso problema: con molta probabilità, l'utente rifarà la foto.
Falso negativo:
Un falso negativo in questo caso potrebbe essere il mancato rilevamento di una foto non utilizzabile. Il cliente paga la stampa della foto e le spese della domanda che, tuttavia, viene respinta. Nel peggiore dei casi, non riesce a partire per un viaggio programmato perché il passaporto non è pronto in tempo.
Considerazioni sull'equità: in questo caso, sarebbe importante verificare se il modello produce falsi negativi più frequentemente per determinati gruppi di persone, ad esempio in base all'appartenenza razziale o al sesso. In AutoML è possibile farlo esaminando ciascun falso negativo per verificare la presenza di motivi problematici.
Ottimizzazione: in questo caso è probabilmente consigliabile mettere in atto l'ottimizzazione per il recupero, con l'obiettivo di ridurre il numero di falsi negativi che, in questo scenario, rappresentano gli errori più problematici.
Caso d'uso: filtro per i contenuti destinati ai bambini
Supponiamo che tu stia creando un'app di lettura per bambini e che tu voglia includere nell'app una raccolta digitale di libri adatti all'età. Supponiamo che tu voglia progettare uno strumento di classificazione del testo che selezioni i libri per bambini da un database di libri per adulti e per bambini in base al titolo e alla descrizione di ciascun libro.
Falso positivo:
Un falso positivo in questo caso potrebbe verificarsi se un libro per adulti viene classificato per errore come libro per bambini e pertanto viene aggiunto all'app di lettura per bambini, esponendo potenzialmente i bambini a contenuti non adatti alla loro età. Questo potrebbe provocare l'ira dei genitori che probabilmente eliminerebbero l'app.
Falso negativo:
Un falso negativo in questo caso potrebbe verificarsi se un libro per bambini viene classificato per errore come libro per adulti e viene quindi escluso dalla raccolta dell'app. A seconda del libro, potrebbe trattarsi di un piccolo disagio (che comporta, ad esempio, l'esclusione del sequel non conosciuto di una serie poco apprezzata) o di un disagio molto più grande se, ad esempio, il libro per bambini include contenuti considerati discutibili da alcune persone, ma generalmente accettati per il loro valore didattico o sociale.
Considerazioni sull'equità: sebbene a prima vista possa sembrare un caso semplice, questo esempio mette in evidenza alcune delle complessità della valutazione dell'equità nei diversi casi d'uso. Da un lato, vi è la chiara necessità di evitare i falsi positivi (per ridurre al minimo la probabilità che i bambini siano esposti a contenuti non appropriati alla loro età). Dall'altro, vi è la potenziale dannosità anche dei falsi negativi. Ad esempio, se lo strumento di classificazione del testo tende a segnalare come inappropriati i libri per bambini che affrontano temi LGBTQ (ad esempio storie su bambini con due genitori dello stesso sesso), si pone un problema. ma allo stesso modo, se i libri su determinate culture o luoghi sono esclusi più frequentemente rispetto ad altri, se ne pone un altro altrettanto preoccupante.
Ottimizzazione: in questo caso è probabilmente consigliabile mettere in atto l'ottimizzazione per ottenere maggiore precisione. La tua app mostrerà solo una piccola parte di tutti i libri per bambini disponibili nel mondo, quindi puoi permetterti di scegliere con precisione quali suggerire agli utenti. Tuttavia, può essere opportuno considerare anche soluzioni per l'esperienza utente utili a estrarre i libri che potrebbero richiedere l'intervento di un genitore. Ad esempio, potresti aggiungere una funzionalità che consiglia ai genitori di leggere un libro assieme ai bambini, in modo che possano discutere delle problematiche affrontate nel libro.
Caso d'uso: distribuzione del sondaggio
Supponiamo che tu stia lavorando alla distribuzione di un sondaggio e che tu voglia creare un modello per scegliere i partecipanti che risponderanno con maggiore probabilità. Non ti è permesso considerare il reddito come fattore per la scelta dei partecipanti, ma i tuoi dati sono dotati di una colonna "Reddito". In AutoML Tables, rimuoverai la colonna "Reddito" dall'addestramento, ma quando suddividerai i dati in base al reddito per verificare che non abbia influenzato i risultati, scoprirai che il modello non ha scelto in modo uniforme tra i bucket relativi al reddito. Come è accaduto?
Variabili proxy: sebbene tu abbia escluso la colonna "Reddito", i tuoi dati potrebbero ancora includere molte altre variabili che forniscono indizi sul reddito degli individui nel set di dati. Sei in possesso del loro codice postale, livello di istruzione o addirittura della loro età? Ognuna di queste variabili potrebbe essere correlata al reddito. Se vuoi assicurarti che il tuo modello stia scegliendo un campione che interessi uniformemente tutte le fasce demografiche, osserva attentamente la scheda "Analizza" di AutoML Tables per verificare le correlazioni, e assicurati di controllare attentamente la presenza di bias prima di utilizzarlo nella produzione.
Previsione: esegui uno smoke test del modello
Dopo aver valutato le prestazioni del tuo modello in termini di equità utilizzando le metriche di machine learning in AutoML, puoi provare il tuo modello personalizzato con nuovi contenuti nella scheda Previsione. Nel farlo, tieni a mente i consigli seguenti relativi all'equità:
Pensa con attenzione al tuo dominio problematico, alla mancanza di equità e ai potenziali bias. Sei tu a conoscere a fondo il settore in cui operi. Il tuo strumento di classificazione di immagini o video potrebbe essere influenzato dall'appartenenza razziale o dal sesso delle persone nei contenuti? È possibile che lo strumento di classificazione di testo sia sensibile a termini relativi a gruppi demografici? La combinazione linguistica per la quale stai creando un traduttore presenta differenze culturali che possono essere messe in evidenza? Oppure esiste un gruppo di pronomi non corrispondenti tra le lingue che potrebbe esporre un bias sociale di fondo? Pensa ai casi che potrebbero avere un impatto negativo sui tuoi utenti se venissero individuati nella fase di produzione, e testa questi casi nella scheda Previsione o nei tuoi test di unità.
Ricorda che i tuoi utenti potrebbero essere negativamente influenzati non solo da previsioni offensive o parziali, ma anche dall'assenza di una previsione chiara (falsi negativi). Se ritieni che i tuoi risultati non corrispondano all'esperienza che vuoi offrire a tutti i tuoi utenti finali, puoi ridurre ulteriormente i bias nel set di dati aggiungendo più dati alle classi pertinenti, oppure puoi utilizzare il tuo modello in modo che corregga i problemi riscontrati.
Utilizzo: usa il tuo modello in fase di produzione
Implementa correzioni semplici degli errori. Se il tuo modello non è perfetto, riaddestrarlo con nuovi dati non è l'unica soluzione. A volte una soluzione efficace prevede una semplice fase di pre- o post-elaborazione per rimuovere determinate parole o tipi di immagini.
Regola le soglie del punteggio del tuo modello per trovare un equilibrio ragionevolmente "equo" tra precisione e recupero, data la tua comprensione dell'impatto dei diversi tipi di errore sugli utenti.
Una volta che il modello è stato creato e viene utilizzato per eseguire previsioni, la distribuzione dei dati potrebbe cambiare leggermente nel tempo, quindi il modello potrebbe non riflettere più i contesti pertinenti della tua applicazione. Assicurati di monitorare le prestazioni del modello nel tempo per accertarti che funzioni come previsto e raccogli feedback dagli utenti per identificare potenziali problemi che potrebbero richiedere nuovi dati e il riaddestramento.
A volte si verificano casi eccezionali a cui non hai pensato. Prepara un piano di risposta agli incidenti se temi che il tuo modello possa portare a risultati che potrebbero avere un impatto negativo sui tuoi utenti e sulla tua azienda.
Feedback
Questo documento è in continuo aggiornamento e ampliamento. Ci piacerebbe conoscere il tuo feedback su queste linee guida. Invia un'email a inclusive-ml-feedback@google.com per raccontarci la tua esperienza di creazione di modelli personalizzati, cosa ha funzionato e cosa no. Restiamo in attesa di ricevere il tuo feedback.