Kuidas seadus Apple Cardiga valesti läks

Algoritmilise õigluse pooldajad on hakanud nägema oma vanasõna "päevad kohtus" selliste ettevõtete juriidiliste uurimistega nagu UHG ja Apple Card. Apple Cardi juhtum on tugev näide sellest, kuidas praegused diskrimineerimisvastased seadused ei vasta kiirele teaduslikule uurimistööle kvantifitseeritava õigluse areneva valdkonnas.

Ehkki võib olla tõsi, et Apple ja nende kindlustusandjad leiti olevat õiglase laenuandmise rikkumistes süütud, sisaldas otsus selgeid hoiatusi, mis peaksid olema hoiatusmärgiks mis tahes reguleeritud ruumis masinõpet kasutavatele ettevõtetele. Välja arvatud juhul, kui juhid hakkavad algoritmilist õiglust suhtuma tõsisemalt, on nende eesseisvad päevad täis juriidilisi väljakutseid ja mainekahjustusi.

Mis juhtus Apple Cardiga?

2019. aasta lõpus tõstatas idufirmade juht ja sotsiaalmeediakuulsus David Heinemeier Hansson olulise teema puperdama, suure kära ja aplausiga. Peaaegu 50,000 XNUMX meeldimise ja retweetiga palus ta Apple'il ja nende kindlustuspartneril Goldman Sachsil selgitada, miks talle ja ta naisele, kellel on sama rahaline võimalus, antakse erinevad krediidilimiidid. Paljude algoritmilise õigluse valdkonnas tegutsejate jaoks oli see hetk, mil meie pooldatavad küsimused muutusid peavooluks, mis kulmineerus järelepärimine NY finantsteenuste osakonnast (DFS).

Esmapilgul võib krediidiandjate jaoks tunduda julgustav, et DFS jõudis märtsis järeldusele, et Goldmani emissioonialgoritm ei rikkunud loodud rangeid finantsjuurdepääsu reegleid. aastal 1974 kaitsta naisi ja vähemusi laenude diskrimineerimise eest. Kuigi see tulemus valmistas aktivistidele pettumuse, polnud see tulemus üllatav neile, kes me rahanduses andmemeeskondadega tihedat koostööd tegime.

Finantsasutuste jaoks on mõned algoritmilised rakendused, mille puhul katsetamise riskid kaaluvad üles igasuguse kasu, ja krediidiandmine on üks neist. Võiksime ennustada, et Goldman leitakse süütuks, sest laenuandmise õigluse seadused (kui need on aegunud) on selged ja rangelt jõustatud.

Siiski pole minu meelest kahtlustki, et Goldmani/Apple'i algoritm diskrimineerib koos kõigi teiste praegu turul leiduvate krediidiskoorimise ja tagatise andmise algoritmidega. Samuti ei kahtle ma, et need algoritmid laguneksid, kui teadlastele antaks kunagi juurdepääs mudelitele ja andmetele, mida me selle väite kinnitamiseks vajame. Ma tean seda, sest NY DFS osaliselt vabastatud selle metoodika Goldmani algoritmi kontrollimiseks ja nagu arvata võis, jäi nende audit kaugelt alla tänapäevaste algoritmiaudiitorite standarditele.

Kuidas hindas DFS (praeguse seaduse kohaselt) Apple Cardi õiglust?

Tõestamaks, et Apple'i algoritm oli õiglane, kaalus DFS kõigepealt, kas Goldman oli kasutanud potentsiaalsete taotlejate "keelatud omadusi", nagu sugu või perekonnaseis. Seda oli Goldmanil lihtne läbida – need ei sisalda mudeli sisendina rassi, sugu ega perekonnaseisu. Oleme aga juba aastaid teadnud, et mõned mudeli funktsioonid võivad toimida "puhverserverid" kaitstud klasside jaoks.

DFS-i metoodikas, mis põhineb 50-aastasel õiguslikul pretsedendil, ei maininud, kas nad seda küsimust kaalusid, kuid võime oletada, et nad seda ei teinud. Sest kui nad oleks seda teinud, oleksid nad selle kiiresti leidnud krediidiskoor on rassiga nii tihedalt seotud, et mõned osariigid kaaluvad selle kasutamise keelustamist õnnetusjuhtumikindlustus. Puhverserveri funktsioonid on uurimistöö tähelepanu keskpunkti sattunud alles hiljuti, andes meile esimese näite selle kohta, kuidas teadus on ületanud regulatsiooni.

Kaitstud funktsioonide puudumisel otsis DFS seejärel krediidiprofiile, mis olid sisult sarnased, kuid kuulusid erinevatesse kaitstud klassidesse kuuluvatele inimestele. Teatud ebatäpses mõttes püüdsid nad välja selgitada, mis juhtuks krediidiotsusega, kui me taotlusel soo ümber pööraksime. Kas meessoost taotleja naisversioon saaks samamoodi?

Intuitiivselt tundub see olevat üks viis "õiglase" määratlemiseks. Ja see on – masinõppe õigluse valdkonnas on kontseptsioon nimega a "flip test" ja see on üks paljudest mõistest, mida nimetatakse "individuaalne õiglus," mis täpselt kõlabki. Küsisin juhtiva butiik-AI advokaadibüroo bnh.ai juhtivteadlaselt Patrick Hallilt õiglase laenujuhtumite uurimisel kõige tavalisema analüüsi kohta. Viidates Apple Cardi auditeerimisel kasutatud DFS-i meetoditele, nimetas ta seda põhiregressiooniks ehk "pöördetesti 1970. aastate versiooniks", tuues meile näite number kaks meie ebapiisavate seaduste kohta.

Uus sõnavara algoritmilise õigluse jaoks

Alates Solon Barocase paberist "Suurandmete erinev mõju" 2016. aastal on teadlased teinud kõvasti tööd, et määratleda filosoofilised põhimõisted matemaatilisteks terminiteks. Mitmed konverentsid on tekkinud, kusjuures kõige tähelepanuväärsematel tehisintellekti sündmustel on esile kerkinud uued õigluse rajad. Valdkonnas on periood hüperkasv, kus seadus pole siiani sammu pidanud. Aga täpselt nagu see, mis juhtus küberjulgeoleku tööstus, see seaduslik ajapikendus ei kesta igavesti.

Võib-olla saame DFS-ile andeks anda selle softballi auditi, arvestades, et õiglast laenamist reguleerivad seadused on sündinud kodanikuõiguste liikumisest ega ole enam kui 50 aasta jooksul alates loomisest palju arenenud. Õiguslikud pretsedendid loodi ammu enne, kui masinõppe õigluse uurimine tegelikult käima läks. Kui DFS-il oleks olnud sobiv varustus, et tulla toime Apple Cardi õigluse hindamise väljakutsega, oleksid nad kasutanud jõuline sõnavara algoritmilise hindamise jaoks, mis on viimase viie aasta jooksul arenenud.

Näiteks DFS-i raportis ei mainita "võrdsustatud koefitsientide" mõõtmist, mis on kurikuulus uurimissuund, mille tegid 2018. aastal esmakordselt kuulsaks Joy Buolamwini, Timnit Gebru ja Deb Raji. Nende "Soovarjundid" paber tõestas, et näotuvastusalgoritmid arvavad tumedate naiste nägudel sagedamini valesti kui heledama nahaga subjektidel, ja see arutluskäik kehtib paljude ennustamisrakenduste puhul, mis ei ole ainult arvutinägemine.

Võrdsustatud koefitsiendid küsiksid Apple'i algoritmilt: kui sageli ennustab see krediidivõimet õigesti? Kui sageli arvab see valesti? Kas nende veamäärade osas esineb erinevusi erinevast soost, rassist või puude staatusest inimeste seas? Halli sõnul on need mõõtmised olulised, kuid lihtsalt liiga uued, et neid õigussüsteemi täielikult kodifitseerida.

Kui selgub, et Goldman alahindab regulaarselt naissoost taotlejaid reaalses maailmas või määrab intressimäärad, mis on kõrgemad, kui mustanahalised taotlejad tõeliselt väärivad, on lihtne mõista, kuidas see kahjustaks neid riigi mastaabis vähe teenindatud elanikkonda.

Finantsteenuste Catch-22

Kaasaegsed audiitorid teavad, et juriidilise pretsedendi dikteeritud meetodid ei suuda vähemuskategooriate lõikes olevate kombinatsioonide õigluses nüansse tabada – probleem, mida süvendab masinõppemudelite keerukus. Näiteks kui olete mustanahaline, naine ja rase, võib teie krediidi saamise tõenäosus olla väiksem kui iga üldise kaitstud kategooria tulemuste keskmine.

Need alaesindatud rühmad ei pruugi kunagi saada kasu süsteemi terviklikust auditist, kui nende unikaalsusele ei pöörata erilist tähelepanu, kuna vähemuste valimi suurus on definitsiooni kohaselt komplektis väiksem. Seetõttu eelistavad kaasaegsed audiitorid "Õiglus teadlikkuse kaudu" lähenemisviisid, mis võimaldavad meil mõõta tulemusi selgesõnaliste teadmistega iga rühma indiviidide demograafia kohta.

Aga seal on Catch-22. Finantsteenustes ja muudes rangelt reguleeritud valdkondades ei saa audiitorid sageli kasutada teadlikkuse kaudu õiglust, kuna neil võidakse algusest peale takistada tundliku teabe kogumist. Selle õigusliku piirangu eesmärk oli vältida laenuandjate diskrimineerimist. Saatuse julmas keerdkäigus see annab katet algoritmilise diskrimineerimise vastu, andes meile kolmanda näite juriidilisest ebapiisavusest.

Asjaolu, et me ei saa seda teavet koguda, takistab meie võimet välja selgitada, kuidas mudelid kohtlevad alateenindusega rühmi. Ilma selleta ei pruugi me kunagi praktikas tõestada seda, mida me teame olevat tõsi – näiteks täiskohaga emadel on usaldusväärselt peenemad krediidifailid, sest nad ei soorita iga krediidipõhist ostu mõlema abikaasa nime all. Vähemusrühmad võivad palju tõenäolisemalt olla kontserditöötajad, jootraha saanud töötajad või osaleda sularahapõhises tööstuses, mis toob kaasa nende sissetulekuprofiilide sarnasused, mis osutuvad enamuse jaoks vähem levinud.

Oluline on see, et need erinevused taotlejate krediidifailides ei tähenda tingimata tegelikku finantsvastutust ega krediidivõimet. Kui teie eesmärk on krediidivõimet täpselt ennustada, soovite teada, kus meetod (nt krediidiskoor) laguneb.

Mida see tähendab tehisintellekti kasutavatele ettevõtetele?

Apple'i näites tasub mainida lootusrikast järelsõna loole, kus Apple tegi a sellest tulenev värskendus oma krediidipoliitikat, et võidelda diskrimineerimisega, mida kaitsevad meie vananenud seadused. Apple'i tegevjuhi Tim Cooki teadaandes rõhutas ta kiiresti "õigluse puudumist selles, kuidas tööstus [arvutab] krediidiskoore".

Nende uus poliitika võimaldab abikaasadel või vanematel krediidifaile kombineerida nii, et nõrgem krediiditoimik saaks tugevamatest kasu. See on suurepärane näide ettevõttest, mis mõtleb ette samme, mis võivad tegelikult vähendada meie maailmas struktuurselt eksisteerivat diskrimineerimist. Oma poliitikat värskendades jõudis Apple eeskirjast, mis võib selle uurimise tulemusel tekkida.

See on Apple'i jaoks strateegiline eelis, sest NY DFS tegi ammendav mainimine Seda ruumi reguleerivate praeguste seaduste ebapiisavuse tõttu, mis tähendab, et regulatsiooni uuendused võivad olla lähemal, kui paljud arvavad. Tsiteerides finantsteenuste superintendenti Linda A. Lacewelli: "Krediidiskoori kasutamist selle praegusel kujul ning seadusi ja määrusi, mis keelavad diskrimineerimist laenuandmisel, on vaja tugevdada ja ajakohastada." Minu enda kogemuse järgi reguleerivate asutustega töötades on tänapäeva ametiasutused seda kõike väga innukas uurida.

Mul pole kahtlustki, et Ameerika reguleerivad asutused töötavad selle nimel, et täiustada tehisintellekti reguleerivaid seadusi, kasutades ära seda tugevat automatiseerimise ja matemaatika võrdõiguslikkuse sõnavara. The Federal Reserve, OCC, CFPB, FTC ja Kongress on kõik innukad tegelema algoritmilise diskrimineerimisega, isegi kui nende tempo on aeglane.

Seni on meil põhjust uskuda, et algoritm diskrimineerimine lokkab, suuresti seetõttu, et ka tööstus on viimaste aastatega kaasa toonud akadeemilise keele omaks võtnud. Jääb vähe vabandust ettevõtetele, kes ei suuda seda uut õigluse valdkonda ära kasutada ega juurida välja ennustavat diskrimineerimist, mis on mõnes mõttes tagatud. Ja EL nõustub, koos spetsiaalselt tehisintellektile kehtivate seaduseelnõudega, mis võetakse vastu järgmise kahe aasta jooksul.

Masinõppe õigluse valdkond on kiiresti küpsenud, igal aastal avastatakse uusi tehnikaid ja lugematu arv töövahendid aitama. Valdkond on alles nüüd jõudmas punkti, kus seda saab teatud määral ette kirjutada automaatika. Standardiasutused on astunud, et anda juhiseid nende probleemide sageduse ja tõsiduse vähendamiseks, isegi kui Ameerika seaduste vastuvõtmine on aeglane.

Sest kas algoritmipõhine diskrimineerimine on tahtlik, on see ebaseaduslik. Seega rikuvad kõik, kes kasutavad täiustatud analüütikat tervishoiu, eluaseme, rentimise, finantsteenuste, hariduse või valitsusega seotud rakenduste jaoks, neid seadusi, ilma et nad seda teaksid.

Kuni tundlikes olukordades tehisintellekti arvukate rakenduste jaoks pole saadaval selgemaid regulatiivseid juhiseid, peab tööstus ise välja selgitama, millised õigluse määratlused on parimad.

Allikas: https://techcrunch.com/2021/08/14/how-the-law-got-it-wrong-with-apple-card/