Come la legge ha sbagliato con Apple Card

I sostenitori della giustizia algoritmica hanno iniziato a vedere i loro proverbiali "giorni in tribunale" con indagini legali su imprese come UHG ed Apple Card. Il caso Apple Card è un forte esempio di come le attuali leggi anti-discriminazione non siano all'altezza del ritmo veloce della ricerca scientifica nel campo emergente dell'equità quantificabile.

Sebbene possa essere vero che Apple e i suoi sottoscrittori siano stati giudicati innocenti di violazioni del prestito equo, la sentenza è arrivata con chiari avvertimenti che dovrebbero essere un segnale di avvertimento per le aziende che utilizzano l'apprendimento automatico in qualsiasi spazio regolamentato. A meno che i dirigenti non inizino a prendere l'equità algoritmica più seriamente, i loro giorni a venire saranno pieni di sfide legali e danni alla reputazione.

Cosa è successo con Apple Card?

Alla fine del 2019, il leader delle startup e celebrità dei social media David Heinemeier Hansson ha sollevato un'importante questione su Twitter, con molto clamore e applausi. Con quasi 50,000 Mi piace e retweet, ha chiesto ad Apple e al loro partner sottoscrittore, Goldman Sachs, di spiegare perché a lui e sua moglie, che condividono la stessa capacità finanziaria, sarebbero stati concessi limiti di credito diversi. Per molti nel campo dell'equità algoritmica, è stato un momento spartiacque vedere i problemi che sosteniamo diventare mainstream, culminando in un'inchiesta dal Dipartimento dei servizi finanziari di New York (DFS).

A prima vista, può sembrare incoraggiante per i sottoscrittori del credito che il DFS abbia concluso a marzo che l'algoritmo di sottoscrizione di Goldman non ha violato le rigide regole di accesso finanziario create in 1974 per proteggere le donne e le minoranze dalla discriminazione del prestito. Sebbene deludente per gli attivisti, questo risultato non è stato sorprendente per quelli di noi che lavorano a stretto contatto con i team di dati nel settore finanziario.

Esistono alcune applicazioni algoritmiche per le istituzioni finanziarie in cui i rischi della sperimentazione superano di gran lunga qualsiasi beneficio e la sottoscrizione del credito è una di queste. Avremmo potuto prevedere che Goldman sarebbe stato dichiarato innocente, perché le leggi per l'equità nel prestito (se superate) sono chiare e rigorosamente applicata.

Eppure, non ho alcun dubbio nella mia mente che l'algoritmo Goldman/Apple sia discriminante, insieme a ogni altro algoritmo di valutazione del credito e sottoscrizione sul mercato oggi. Né dubito che questi algoritmi crollerebbero se ai ricercatori fosse mai concesso l'accesso ai modelli e ai dati di cui avremmo bisogno per convalidare questa affermazione. Lo so perché il NY DFS parzialmente rilasciato la sua metodologia per il controllo dell'algoritmo Goldman e, come ci si potrebbe aspettare, il loro controllo è stato molto al di sotto degli standard tenuti oggi dai revisori degli algoritmi moderni.

In che modo DFS (secondo la normativa vigente) ha valutato l'equità di Apple Card?

Per dimostrare che l'algoritmo Apple era "giusto", DFS ha valutato innanzitutto se Goldman avesse utilizzato "caratteristiche vietate" di potenziali candidati come il sesso o lo stato civile. Questo è stato facile per Goldman da superare: non includono razza, sesso o stato civile come input per il modello. Tuttavia, sappiamo da anni che alcune caratteristiche del modello possono agire come “procure” per le classi protette.

La metodologia DFS, basata su 50 anni di precedenti legali, non ha menzionato se hanno preso in considerazione questa domanda, ma possiamo supporre che non l'abbiano fatto. Perché se l'avessero fatto, l'avrebbero scoperto rapidamente punteggio di credito è così strettamente correlato alla razza che alcuni stati stanno considerando di vietarne l'uso per assicurazione contro gli infortuni. Le funzionalità proxy sono state messe sotto i riflettori della ricerca solo di recente, fornendoci il nostro primo esempio di come la scienza ha superato la regolamentazione.

In assenza di funzionalità protette, DFS ha quindi cercato profili di credito simili nei contenuti ma appartenenti a persone di classi protette diverse. In un certo senso impreciso, hanno cercato di scoprire cosa sarebbe successo alla decisione di credito se avessimo "capovolto" il genere sulla domanda. Una versione femminile del richiedente maschio riceverebbe lo stesso trattamento?

Intuitivamente, questo sembra un modo per definire "equo". Ed è così: nel campo dell'equità dell'apprendimento automatico, esiste un concetto chiamato a "prova di ribaltamento" ed è una delle tante misure di un concetto chiamato “equità individuale”, che è esattamente quello che sembra. Ho chiesto a Patrick Hall, scienziato principale di bnh.ai, uno dei principali studi legali di intelligenza artificiale, l'analisi più comune nelle indagini sui casi di prestito equo. Riferendosi ai metodi utilizzati da DFS per controllare Apple Card, l'ha chiamata regressione di base, o "una versione degli anni '1970 del flip test", portandoci l'esempio numero due delle nostre leggi insufficienti.

Un nuovo vocabolario per l'equità algoritmica

Sin dall'articolo fondamentale di Solon Barocas "L'impatto eterogeneo dei Big Data" nel 2016, i ricercatori hanno lavorato duramente per definire i concetti filosofici fondamentali in termini matematici. Diverse conferenze sono sorti in esistenza, con nuovi fairness track che emergono negli eventi AI più importanti. Il campo è in un periodo di ipercrescita, dove la legge non è ancora riuscita a tenere il passo. Ma proprio come è successo al settore della sicurezza informatica, questa sospensione legale non durerà per sempre.

Forse possiamo perdonare DFS per la sua verifica softball dato che le leggi che regolano il prestito equo sono nate dal movimento per i diritti civili e non si sono evolute molto negli oltre 50 anni dall'inizio. I precedenti legali sono stati stabiliti molto prima che la ricerca sull'equità dell'apprendimento automatico prendesse il volo. Se DFS fosse stato adeguatamente attrezzato per affrontare la sfida di valutare l'equità della Apple Card, avrebbe utilizzato il vocabolario robusto per la valutazione algoritmica che è sbocciata negli ultimi cinque anni.

Il rapporto DFS, ad esempio, non fa menzione della misurazione delle "quote eguagliate", una famigerata linea di indagine resa famosa per la prima volta nel 2018 da Joy Buolamwini, Timnit Gebru e Deb Raji. Loro “Sfumature di genere” la carta ha dimostrato che gli algoritmi di riconoscimento facciale indovinano erroneamente sui volti femminili scuri più spesso di quanto non facciano sui soggetti con la pelle più chiara, e questo ragionamento è vero per molte applicazioni di previsione oltre alla sola visione artificiale.

Le probabilità equalizzate chiederebbero all'algoritmo di Apple: quanto spesso prevede correttamente l'affidabilità creditizia? Quante volte indovina? Ci sono disparità in questi tassi di errore tra persone di diverso genere, razza o stato di disabilità? Secondo Hall, queste misurazioni sono importanti, ma semplicemente troppo nuove per essere state completamente codificate nel sistema legale.

Se si scopre che Goldman sottovaluta regolarmente le candidature di sesso femminile nel mondo reale, o assegna tassi di interesse più alti di quanto meritano veramente le candidate di colore, è facile vedere come ciò danneggerebbe queste popolazioni svantaggiate su scala nazionale.

Catch-22 dei servizi finanziari

I revisori moderni sanno che i metodi dettati dai precedenti legali non riescono a cogliere le sfumature dell'equità per le combinazioni intersezionali all'interno delle categorie di minoranza, un problema esacerbato dalla complessità dei modelli di apprendimento automatico. Se sei nero, una donna e incinta, ad esempio, la tua probabilità di ottenere credito potrebbe essere inferiore alla media dei risultati tra ciascuna categoria protetta generale.

Questi gruppi sottorappresentati non possono mai beneficiare di un audit olistico del sistema senza un'attenzione particolare alla loro unicità, dato che la dimensione del campione delle minoranze è per definizione un numero inferiore nell'insieme. Ecco perché i revisori moderni preferiscono “equità attraverso la consapevolezza” approcci che ci consentono di misurare i risultati con una conoscenza esplicita dei dati demografici degli individui in ciascun gruppo.

Ma c'è un Catch-22. Nei servizi finanziari e in altri settori altamente regolamentati, i revisori spesso non possono utilizzare "l'equità attraverso la consapevolezza", perché potrebbe essere loro impedito di raccogliere informazioni sensibili fin dall'inizio. L'obiettivo di questo vincolo legale era prevenire la discriminazione dei finanziatori. In un crudele scherzo del destino, questo dà copertura alla discriminazione algoritmica, dandoci il nostro terzo esempio di insufficienza giuridica.

Il fatto che non possiamo raccogliere queste informazioni ostacola la nostra capacità di scoprire come i modelli trattano i gruppi meno abbienti. Senza di essa, non potremmo mai provare ciò che sappiamo essere vero nella pratica: le mamme a tempo pieno, ad esempio, avranno file di credito più sottili, perché non eseguono ogni acquisto basato sul credito con entrambi i nomi del coniuge. È molto più probabile che i gruppi di minoranza siano lavoratori a contratto, dipendenti con mance o partecipi a industrie basate sul denaro, portando a punti in comune tra i loro profili di reddito che si rivelano meno comuni per la maggioranza.

È importante sottolineare che queste differenze sui file di credito dei richiedenti non si traducono necessariamente in una vera responsabilità finanziaria o solvibilità. Se il tuo obiettivo è prevedere con precisione l'affidabilità creditizia, dovresti sapere dove si rompe il metodo (ad es. un punteggio di credito).

Cosa significa per le aziende che utilizzano l'AI

Nell'esempio di Apple, vale la pena menzionare un promettente epilogo della storia in cui Apple ha fatto un aggiornamento consequenziale alla loro politica creditizia per combattere le discriminazioni tutelate dalle nostre antiquate leggi. Nell'annuncio del CEO di Apple, Tim Cook, è stato rapido a evidenziare una "mancanza di equità nel modo in cui l'industria [calcola] i punteggi di credito".

La loro nuova politica consente ai coniugi o ai genitori di combinare i file di credito in modo tale che il file di credito più debole possa beneficiare del più forte. È un ottimo esempio di un'azienda che pensa in anticipo ai passi che possono effettivamente ridurre la discriminazione che esiste strutturalmente nel nostro mondo. Nell'aggiornare le proprie politiche, Apple ha anticipato il regolamento che potrebbe derivare da questa indagine.

Questo è un vantaggio strategico per Apple, perché NY DFS ha fatto menzione esauriente dell'insufficienza delle leggi vigenti che regolano questo spazio, il che significa che gli aggiornamenti alla regolamentazione potrebbero essere più vicini di quanto molti pensino. Per citare il sovrintendente dei servizi finanziari Linda A. Lacewell: "L'uso del credit scoring nella sua forma attuale e le leggi e i regolamenti che vietano la discriminazione nei prestiti hanno bisogno di essere rafforzati e modernizzati". Nella mia esperienza di lavoro con i regolatori, questo è qualcosa che le autorità di oggi sono molto appassionato esplorare.

Non ho dubbi che i regolatori americani stiano lavorando per migliorare le leggi che governano l'IA, sfruttando questo robusto vocabolario per l'uguaglianza nell'automazione e nella matematica. Il Federal Reserve, OCC, CFPB, FTC ed Congresso sono tutti desiderosi di affrontare la discriminazione algoritmica, anche se il loro ritmo è lento.

Nel frattempo, abbiamo tutte le ragioni per credere che algoritmico la discriminazione è dilagante, soprattutto perché l'industria è stata lenta anche nell'adottare il linguaggio accademico che gli ultimi anni hanno portato. Rimangono poche scuse per le imprese che non riescono a sfruttare questo nuovo campo di equità, e per estirpare la discriminazione predittiva che è in qualche modo garantita. E l'UE concorda, con progetti di legge che si applicano specificamente all'IA che dovrebbero essere adottati nei prossimi due anni.

Il campo dell'equità dell'apprendimento automatico è maturato rapidamente, con nuove tecniche scoperte ogni anno e una miriade strumenti aiutare. Il campo sta raggiungendo solo ora un punto in cui questo può essere prescritto con un certo grado di automazione. Organismi di normazione sono intervenuti per fornire una guida per ridurre la frequenza e la gravità di questi problemi, anche se la legge americana è lenta ad adottare.

Perché se la discriminazione per algoritmo è intenzionale, è illegale. Pertanto, chiunque utilizzi analisi avanzate per applicazioni relative a sanità, alloggi, assunzioni, servizi finanziari, istruzione o governo probabilmente infrangerà queste leggi senza saperlo.

Fino a quando non saranno disponibili orientamenti normativi più chiari per la miriade di applicazioni dell'IA in situazioni delicate, il settore è da solo per capire quali definizioni di equità sono le migliori.

Fonte: https://techcrunch.com/2021/08/14/how-the-law-got-it-wrong-with-apple-card/