En matematiker går inn i en bar (med desinformasjon)

Desinformasjon, feilinformasjon, infotainment, algowars - hvis debattene om fremtiden til media de siste tiårene har betydd noe, har de i det minste satt et skarpt avtrykk på det engelske språket. Det har vært mye invektiv og frykt for hva sosiale medier gjør med oss, fra våre individuelle psykologier og nevrologier til bredere bekymringer om styrken til demokratiske samfunn. Som Joseph Bernstein sa det nylig, har skiftet fra «massenes visdom» til «desinformasjon» virkelig vært en brå en.

Hva er desinformasjon? Finnes den, og i så fall, hvor er den og hvordan vet vi at vi ser på den? Bør vi bry oss om hva algoritmene til favorittplattformene våre viser oss når de streber etter å presse oppmerksomheten vår? Det er akkurat den slags intrikate matematiske og samfunnsvitenskapelige spørsmål som kom Noah Giansiracusa interessert i emnet.

Giansiracusa, professor ved Bentley University i Boston, er utdannet i matematikk (fokuserer forskningen sin på områder som algebraisk geometri), men han har også hatt en forkjærlighet for å se på sosiale emner gjennom en matematisk linse, for eksempel å koble til beregningsgeometri til Høyesterett. Senest har han gitt ut en bok kalt "Hvordan algoritmer oppretter og forhindrer falske nyheter” for å utforske noen av de utfordrende spørsmålene rundt medielandskapet i dag og hvordan teknologien forverrer og forbedrer disse trendene.

Jeg var vert for Giansiracusa på et Twitter-rom nylig, og siden Twitter ikke har gjort det lett å lytte til disse foredragene etterpå (flyktighet!), regnet jeg med at jeg ville trekke frem de mest interessante delene av samtalen vår for deg og ettertiden.

Dette intervjuet er redigert og kondensert for klarhet.

Danny Crichton: Hvordan bestemte du deg for å undersøke falske nyheter og skrive denne boken?

Noah Giansiracusa: En ting jeg la merke til er at det er mye interessant sosiologisk, statsvitenskapelig diskusjon om falske nyheter og denne typen ting. Og så på den tekniske siden, vil du ha ting som Mark Zuckerberg som sier at AI kommer til å fikse alle disse problemene. Det virket bare som om det er litt vanskelig å bygge bro over det gapet.

Alle har sikkert hørt dette nylige sitatet av Biden si: "de dreper mennesker", når det gjelder feilinformasjon på sosiale medier. Så vi har politikere som snakker om disse tingene der det er vanskelig for dem å virkelig forstå den algoritmiske siden. Så har vi informatikere som er veldig dypt i detaljene. Så jeg sitter litt midt i mellom, jeg er ikke en ekte hardcore datavitenskapsperson. Så jeg tror det er litt lettere for meg å bare gå tilbake og få et fugleperspektiv.

På slutten av dagen følte jeg bare at jeg ville utforske litt mer interaksjoner med samfunnet der ting blir rotete, hvor regnestykket ikke er så rent.

Crichton: Når du kommer fra en matematisk bakgrunn, går du inn i dette omstridte området hvor mange mennesker har skrevet fra mange forskjellige vinkler. Hva gjør folk rett på dette området og hva har folk kanskje savnet noen nyanser?

Giansiracusa: Det er mye utrolig journalistikk; Jeg ble imponert over hvordan mange journalister virkelig var i stand til å håndtere ganske tekniske ting. Men jeg vil si en ting som kanskje de ikke tok feil, men det som slo meg var at det er mange ganger når en akademisk oppgave kommer ut, eller til og med en kunngjøring fra Google eller Facebook eller et av disse teknologiselskapene, og de vil på en måte nevne noe, og journalisten vil kanskje trekke ut et sitat og prøve å beskrive det, men de virker litt redde for å virkelig prøve å se og forstå det. Og jeg tror ikke det er det at de ikke var i stand til det, det virker egentlig som mer en trussel og en frykt.

En ting jeg har opplevd massevis som matematikklærer er at folk er så redde for å si noe galt og gjøre en feil. Og dette gjelder journalister som må skrive om tekniske ting, de vil ikke si noe galt. Så det er lettere å bare sitere en pressemelding fra Facebook eller sitere en ekspert.

En ting som er så morsomt og vakkert med ren matematikk, er at du egentlig ikke bekymrer deg for å ta feil, du prøver bare ideer og ser hvor de fører, og du ser alle disse interaksjonene. Når du er klar til å skrive en oppgave eller holde en tale, sjekker du detaljene. Men det meste av matematikk er denne kreative prosessen der du utforsker, og du bare ser hvordan ideer samhandler. Utdannelsen min som matematiker tror du ville gjort meg bekymret for å gjøre feil og for å være veldig presis, men det hadde på en måte motsatt effekt.

For det andre, mange av disse algoritmiske tingene, de er ikke så kompliserte som de ser ut til. Jeg sitter ikke der og implementerer dem, jeg er sikker på at det er vanskelig å programmere dem. Men bare det store bildet, alle disse algoritmene i dag, så mye av disse tingene er basert på dyp læring. Så du har et nevralt nett, spiller ingen rolle for meg som utenforstående hvilken arkitektur de bruker, alt som virkelig betyr noe er, hva er prediktorene? I utgangspunktet, hva er variablene du mater med denne maskinlæringsalgoritmen? Og hva prøver den å sende ut? Det er ting som alle kan forstå.

Crichton: En av de store utfordringene jeg tenker på med å analysere disse algoritmene er mangelen på åpenhet. I motsetning til for eksempel den rene matematikkverdenen som er et fellesskap av forskere som jobber med å løse problemer, kan mange av disse selskapene faktisk være ganske motstandsdyktige når det gjelder å levere data og analyser til det bredere samfunnet.

Giansiracusa: Det ser ut til at det er en grense for hva noen kan utlede bare ved å være fra utsiden.

Så et godt eksempel er med YouTube – team av akademikere ønsket å undersøke om YouTube-anbefalingsalgoritmen sender folk ned i disse ekstremismens konspirasjonsteori-kaninhull. Utfordringen er at fordi dette er anbefalingsalgoritmen, bruker den dyp læring, den er basert på hundrevis og hundrevis av prediktorer basert på søkehistorikken din, demografien din, de andre videoene du har sett og hvor lenge – alle disse tingene. Den er så tilpasset deg og din erfaring, at alle studiene jeg fant bruker inkognitomodus.

Så de er i utgangspunktet en bruker som ikke har noen søkehistorikk, ingen informasjon, og de vil gå til en video og deretter klikke på den første anbefalte videoen og deretter den neste. Og la oss se hvor algoritmen tar folk. Det er en så annerledes opplevelse enn en faktisk menneskelig bruker med en historie. Og dette har vært veldig vanskelig. Jeg tror ikke noen har funnet ut en god måte å algoritmisk utforske YouTube-algoritmen fra utsiden.

Ærlig talt, den eneste måten jeg tror du kan gjøre det på er som en gammeldags studie hvor du rekrutterer en hel haug med frivillige og på en måte setter en tracker på datamaskinen deres og sier: «Hei, bare lev livet slik du gjør vanligvis med historiene dine og alt og fortell oss videoene du ser på.» Så det har vært vanskelig å komme forbi dette faktum at mange av disse algoritmene, nesten alle, vil jeg si, er så tungt basert på dine individuelle data. Vi vet ikke hvordan vi skal studere det samlet.

Og det er ikke bare jeg eller noen andre på utsiden som har problemer fordi vi ikke har dataene. Det er til og med folk i disse selskapene som har bygget algoritmen og som vet hvordan algoritmen fungerer på papiret, men de vet ikke hvordan den faktisk kommer til å oppføre seg. Det er som Frankensteins monster: de bygde denne tingen, men de vet ikke hvordan den kommer til å fungere. Så den eneste måten jeg tror du virkelig kan studere det på er hvis folk på innsiden med disse dataene går ut av veien og bruker tid og ressurser på å studere dem.

Crichton: Det er mange beregninger som brukes rundt evaluering av feilinformasjon og bestemme engasjement på en plattform. Kommer du fra din matematiske bakgrunn, tror du disse målene er robuste?

Giansiracusa: Folk prøver å avkrefte feilinformasjon. Men i prosessen kan de kommentere det, de kan retweete det eller dele det, og det teller som engasjement. Så mange av disse målingene av engasjement, ser de virkelig på positivt eller bare alt engasjement? Du vet, det blir på en måte klumpet sammen.

Dette skjer også i akademisk forskning. Sitasjoner er den universelle målestokken for hvor vellykket forskning er. Vel, virkelig falske ting som Wakefields originale autisme- og vaksinepapir fikk tonnevis av siteringer, mange av dem var folk som siterte det fordi de trodde det var riktig, men mye av det var forskere som avkreftet det, de siterer det i papiret sitt for å si, vi demonstrerer at denne teorien er feil. Men på en eller annen måte er en sitering en sitering. Så det hele teller mot suksessberegningen.

Så jeg tror det er litt av det som skjer med engasjement. Hvis jeg legger ut noe på kommentarene mine som sier «Hei, det er galskap», hvordan vet algoritmen om jeg støtter det eller ikke? De kunne bruke litt AI-språkbehandling for å prøve, men jeg er ikke sikker på om de er det, og det er mye arbeid å gjøre det.

Crichton: Til slutt vil jeg snakke litt om GPT-3 og bekymringen rundt syntetiske medier og falske nyheter. Det er mye frykt for at AI-roboter vil overvelde media med desinformasjon - hvor redde eller ikke redde skal vi være?

Giansiracusa: Fordi boken min virkelig vokste ut av en klasse av erfaring, ønsket jeg å prøve å være upartisk, og bare informere folk og la dem ta sine egne avgjørelser. Jeg bestemte meg for å prøve å kutte gjennom den debatten og virkelig la begge sider snakke. Jeg tror nyhetsfeedalgoritmene og gjenkjennelsesalgoritmene forsterker mye skadelig, og det er ødeleggende for samfunnet. Men det er også mye fantastisk fremgang med å bruke algoritmer produktivt og vellykket for å begrense falske nyheter.

Det er disse tekno-utopierne, som sier at AI kommer til å fikse alt, vi vil ha sannhetsfortelling og faktasjekking og algoritmer som kan oppdage feilinformasjon og fjerne den. Det er en viss fremgang, men det kommer ikke til å skje, og det vil aldri lykkes fullt ut. Den må alltid stole på mennesker. Men den andre tingen vi har er en slags irrasjonell frykt. Det er denne typen hyperbolsk AI-dystopi der algoritmer er så kraftige, på en måte som singularitetstyper at de kommer til å ødelegge oss.

Da dype forfalskninger først traff nyhetene i 2018, og GPT-3 hadde blitt utgitt for et par år siden, var det mye frykt for at "Å shit, dette kommer til å gjøre alle våre problemer med falske nyheter og å forstå hva som er sant i verden mye, mye vanskeligere." Og jeg tror nå som vi har et par år med avstand, kan vi se at de har gjort det litt vanskeligere, men ikke på langt nær så betydelig som vi forventet. Og hovedspørsmålet er litt mer psykologisk og økonomisk enn noe annet.

Så de opprinnelige forfatterne av GPT-3 har en forskningsartikkel som introduserer algoritmen, og en av tingene de gjorde var en test der de limte inn litt tekst og utvidet den til en artikkel, og så fikk de noen frivillige til å evaluere og gjette hvilken er den algoritmisk genererte og hvilken artikkel er den menneskeskapte. De rapporterte at de fikk veldig, veldig nær 50 % nøyaktighet, noe som betyr knapt over tilfeldige gjetninger. Så det høres både fantastisk og skummelt ut.

Men hvis du ser på detaljene, utvidet de seg som en overskrift på én linje til et avsnitt med tekst. Hvis du prøvde å lage en full artikkel i The Atlantic-lengde eller New Yorker-lengde, vil du begynne å se avvikene, tanken kommer til å snirkle seg. Forfatterne av denne artikkelen nevnte ikke dette, de bare gjorde eksperimentet sitt og sa: "Hei, se hvor vellykket det er."

Så det ser overbevisende ut, de kan lage disse imponerende artiklene. Men her er hovedgrunnen, på slutten av dagen, hvorfor GPT-3 ikke har vært så transformativ når det gjelder falske nyheter og feilinformasjon og alt dette. Det er fordi falske nyheter stort sett er søppel. Den er dårlig skrevet, den er av lav kvalitet, den er så billig og rask å skrive ut, du kan bare betale nevøen din på 16 år for å skrive ut en haug med falske nyhetsartikler på få minutter.

Det er ikke så mye at matematikk hjalp meg å se dette. Det er bare at på en eller annen måte er det viktigste vi prøver å gjøre i matematikk å være skeptiske. Så du må stille spørsmål ved disse tingene og være litt skeptisk.

Kilde: https://techcrunch.com/2021/08/20/a-mathematician-walks-into-a-bar-of-disinformation/