En matematiker går in i en bar (av desinformation)

Desinformation, desinformation, infotainment, algowars - om debatterna om mediernas framtid de senaste decennierna har betytt något, har de åtminstone lämnat ett skarpt avtryck på det engelska språket. Det har förekommit en hel del bråk och rädsla över vad sociala medier gör med oss, från våra individuella psykologier och neurologi till bredare oro över styrkan i demokratiska samhällen. Som Joseph Bernstein uttryckte det nyligen, har skiftet från "massornas visdom" till "desinformation" verkligen varit abrupt.

Vad är desinformation? Finns det, och i så fall, var finns det och hur vet vi att vi tittar på det? Bör vi bry oss om vad algoritmerna för våra favoritplattformar visar oss när de strävar efter att fånga vår uppmärksamhet? Det är just den sortens komplicerade matematiska och samhällsvetenskapliga frågor som kom Noah Giansiracusa intresserad av ämnet.

Giansiracusa, professor vid Bentley University i Boston, är utbildad i matematik (fokuserar sin forskning på områden som algebraisk geometri), men han har också haft en förkärlek för att titta på sociala ämnen genom en matematisk lins, som att koppla ihop beräkningsgeometri till Högsta domstolen. Senast har han gett ut en bok som heter "Hur algoritmer skapar och förhindrar falska nyheter” för att utforska några av de utmanande frågorna kring medielandskapet idag och hur tekniken förvärrar och förbättrar dessa trender.

Jag var värd för Giansiracusa på ett Twitter-utrymme nyligen, och eftersom Twitter inte har gjort det lätt att lyssna på dessa föredrag efteråt (flyktighet!), tänkte jag att jag skulle ta fram de mest intressanta bitarna av vår konversation för dig och eftervärlden.

Denna intervju har blivit redigerad och kondenserad för tydlighet.

Danny Crichton: Hur bestämde du dig för att undersöka falska nyheter och skriva den här boken?

Noah Giansiracusa: En sak jag märkte är att det finns många riktigt intressanta sociologiska, statsvetenskapliga diskussioner om falska nyheter och den här typen av saker. Och sedan på den tekniska sidan kommer du att ha saker som Mark Zuckerberg som säger att AI kommer att fixa alla dessa problem. Det verkade bara som att det är lite svårt att överbrygga det gapet.

Alla har förmodligen hört detta senaste citat av Biden säga, "de dödar människor”, när det gäller desinformation på sociala medier. Så vi har politiker som talar om dessa saker där det är svårt för dem att verkligen förstå den algoritmiska sidan. Sedan har vi datavetare som är riktigt djupt nere i detaljerna. Så jag sitter liksom mitt emellan, jag är ingen riktig datavetenskaplig person. Så jag tror att det är lite lättare för mig att bara ta ett steg tillbaka och få ett fågelperspektiv.

I slutet av dagen kände jag bara att jag ville utforska lite mer interaktioner med samhället där det blir rörigt, där matematiken inte är så ren.

Crichton: Med en matematisk bakgrund går du in i detta kontroversiella område där många människor har skrivit från många olika vinklar. Vad gör folk rätt i det här området och vad har folk kanske missat för någon nyans?

Giansiracusa: Det finns mycket otrolig journalistik; Jag blev imponerad av hur många journalister verkligen kunde ta itu med ganska tekniska saker. Men jag skulle säga en sak som de kanske inte hade fel, men det som slog mig var att det finns många gånger när en akademisk uppsats kommer ut, eller till och med ett tillkännagivande från Google eller Facebook eller något av dessa teknikföretag, och de kommer typ nämna något, och journalisten kanske extraherar ett citat och försöker beskriva det, men de verkar lite rädda för att verkligen försöka se och förstå det. Och jag tror inte att det är så att de inte kunde, det verkar verkligen vara mer av en skrämsel och en rädsla.

En sak som jag har upplevt massor som mattelärare är att människor är så rädda för att säga något fel och göra ett misstag. Och det här gäller journalister som måste skriva om tekniska saker, de vill inte säga något fel. Så det är lättare att bara citera ett pressmeddelande från Facebook eller citera en expert.

En sak som är så rolig och vacker med ren matematik är att du inte oroar dig för att ha fel, du bara provar idéer och ser vart de leder och du ser alla dessa interaktioner. När du är redo att skriva ett papper eller hålla ett föredrag kontrollerar du detaljerna. Men det mesta av matematik är den här kreativa processen där du utforskar, och du bara ser hur idéer samverkar. Min utbildning som matematiker tror du skulle göra mig orolig för att göra misstag och för att vara väldigt exakt, men det hade liksom motsatt effekt.

För det andra, många av dessa algoritmiska saker, de är inte så komplicerade som de verkar. Jag sitter inte där och implementerar dem, jag är säker på att det är svårt att programmera dem. Men bara den stora bilden, alla dessa algoritmer nuförtiden, så mycket av dessa saker är baserade på djupinlärning. Så du har ett neuralt nät, spelar inte så stor roll för mig som utomstående vilken arkitektur de använder, allt som verkligen spelar roll är, vilka är prediktorerna? I grund och botten, vilka är variablerna som du matar med den här maskininlärningsalgoritmen? Och vad försöker den producera? Det är saker som alla kan förstå.

Crichton: En av de stora utmaningarna jag tänker på med att analysera dessa algoritmer är bristen på transparens. Till skillnad från, säg, den rena matematikvärlden som är en gemenskap av forskare som arbetar för att lösa problem, kan många av dessa företag faktiskt vara ganska motstridiga när det gäller att tillhandahålla data och analyser till det bredare samhället.

Giansiracusa: Det verkar finnas en gräns för vad någon kan härleda bara genom att vara utifrån.

Så ett bra exempel är YouTube – team av akademiker ville undersöka om YouTubes rekommendationsalgoritm skickar ner människor i dessa extremisms kaninhål för konspirationsteori. Utmaningen är att eftersom detta är rekommendationsalgoritmen använder den djupinlärning, den är baserad på hundratals och hundratals prediktorer baserade på din sökhistorik, din demografi, de andra videorna du har sett och hur länge – alla dessa saker. Det är så anpassat efter dig och din erfarenhet att alla studier jag kunde hitta använder inkognitoläge.

Så de är i princip en användare som inte har någon sökhistorik, ingen information och de går till en video och klickar sedan på den första rekommenderade videon och sedan på nästa. Och låt oss se vart algoritmen tar människor. Det är en så annorlunda upplevelse än en verklig mänsklig användare med en historia. Och det här har varit riktigt svårt. Jag tror inte att någon har kommit på ett bra sätt att algoritmiskt utforska YouTube-algoritmen utifrån.

Ärligt talat, det enda sättet jag tror att du kan göra det på är ungefär som en gammaldags studie där du rekryterar ett helt gäng volontärer och typ sätter en spårare på deras dator och säger, "Hej, lev bara livet som du brukar göra med din historia och allt och berätta för oss vilka videor du tittar på." Så det har varit svårt att komma förbi detta faktum att många av dessa algoritmer, nästan alla, skulle jag säga, är så starkt baserade på dina individuella data. Vi vet inte hur vi ska studera det sammantaget.

Och det är inte bara jag eller någon annan på utsidan som har problem för att vi inte har data. Det är till och med människor inom dessa företag som byggt algoritmen och som vet hur algoritmen fungerar på papper, men de vet inte hur den faktiskt kommer att bete sig. Det är som Frankensteins monster: de byggde den här saken, men de vet inte hur den kommer att fungera. Så det enda sättet jag tror att du verkligen kan studera det är om människor på insidan med den informationen går ur vägen och lägger tid och resurser på att studera det.

Crichton: Det finns många mätvärden som används för att utvärdera felaktig information och bestämma engagemang på en plattform. Med tanke på din matematiska bakgrund, tror du att dessa mått är robusta?

Giansiracusa: Människor försöker avslöja felaktig information. Men i processen kan de kommentera det, de kanske retweetar det eller delar det, och det räknas som engagemang. Så många av dessa mätningar av engagemang, ser de verkligen på positivt eller bara allt engagemang? Du vet, allt klumpas ihop.

Detta händer även inom akademisk forskning. Citeringar är det universella måttet på hur framgångsrik forskning är. Tja, riktigt falska saker som Wakefields ursprungliga autism- och vaccinpapper fick massor av citeringar, många av dem var människor som citerade det för att de trodde att det var rätt, men många av det var forskare som avslöjade det, de citerar det i sin tidning för att säg, vi visar att denna teori är felaktig. Men på något sätt är ett citat ett citat. Så allt räknas till framgångsmåttet.

Så jag tror att det är lite av vad som händer med engagemang. Om jag postar något i mina kommentarer som säger "Hej, det är galet", hur vet algoritmen om jag stöder det eller inte? De skulle kunna använda lite AI-språkbehandling för att prova men jag är inte säker på om de är det, och det är mycket ansträngning att göra det.

Crichton: Till sist vill jag prata lite om GPT-3 och oron kring syntetiska medier och falska nyheter. Det finns mycket rädsla för att AI-bots ska överväldiga media med desinformation - hur rädda eller inte rädda ska vi vara?

Giansiracusa: Eftersom min bok verkligen växte ur en klass av erfarenhet, ville jag försöka vara opartisk, och bara på ett sätt informera människor och låta dem fatta sina egna beslut. Jag bestämde mig för att försöka skära igenom den debatten och verkligen låta båda sidor komma till tals. Jag tror att nyhetsflödesalgoritmerna och igenkänningsalgoritmerna förstärker en hel del skadliga saker, och det är förödande för samhället. Men det finns också många fantastiska framsteg när det gäller att använda algoritmer produktivt och framgångsrikt för att begränsa falska nyheter.

Det finns dessa teknoutopister som säger att AI kommer att fixa allt, vi kommer att ha sanningssägande och faktakontroller och algoritmer som kan upptäcka felaktig information och ta bort den. Det finns vissa framsteg, men det kommer inte att hända, och det kommer aldrig att bli helt framgångsrikt. Det kommer alltid att behöva förlita sig på människor. Men det andra vi har är en slags irrationell rädsla. Det finns den här typen av hyperbolisk AI-dystopi där algoritmer är så kraftfulla, ungefär som singularitetstyper att de kommer att förstöra oss.

När djupa förfalskningar först slog igenom på nyheterna 2018, och GPT-3 hade släppts för ett par år sedan, fanns det en stor rädsla för att "Oh shit, det här kommer att göra alla våra problem med falska nyheter och förstå vad som är sant i världen mycket, mycket svårare." Och jag tror att nu när vi har ett par år av distans kan vi se att de har gjort det lite svårare, men inte alls så mycket som vi förväntade oss. Och huvudfrågan är lite mer psykologisk och ekonomisk än något annat.

Så de ursprungliga författarna till GPT-3 har ett forskningsdokument som introducerar algoritmen, och en av sakerna de gjorde var ett test där de klistrade in lite text och utökade den till en artikel, och sedan fick de några frivilliga att utvärdera och gissa vilken är den algoritmiskt genererade och vilken artikel är den mänskligt genererade. De rapporterade att de fick väldigt, väldigt nära 50% noggrannhet, vilket betyder knappt över slumpmässiga gissningar. Så det låter, du vet, både fantastiskt och skrämmande.

Men om du tittar på detaljerna sträckte de sig som en enradsrubrik till ett stycke text. Om du försökte göra en hel artikel, The Atlantic-längd eller New Yorker-längd, kommer du att börja se avvikelserna, tanken kommer att slingra sig. Författarna till den här artikeln nämnde inte detta, de gjorde bara sitt experiment och sa, "Hej, titta så framgångsrikt det är."

Så det ser övertygande ut, de kan göra dessa imponerande artiklar. Men här är huvudorsaken, i slutändan, till varför GPT-3 inte har varit så transformativ när det gäller falska nyheter och desinformation och allt det här. Det beror på att falska nyheter mest är skräp. Det är dåligt skrivet, det är av låg kvalitet, det är så billigt och snabbt att veva ut, du kan bara betala din 16-åriga brorson för att bara skriva ut ett gäng falska nyhetsartiklar på några minuter.

Det är inte så mycket att matematik hjälpte mig att se detta. Det är bara det att på något sätt, det viktigaste vi försöker göra i matematik är att vara skeptiska. Så du måste ifrågasätta dessa saker och vara lite skeptisk.

Källa: https://techcrunch.com/2021/08/20/a-mathematician-walks-into-a-bar-of-disinformation/