Een wiskundige loopt een bar binnen (van desinformatie)

Desinformatie, desinformatie, infotainment, algooorlogen – als de debatten over de toekomst van de media van de afgelopen decennia iets hebben betekend, hebben ze in ieder geval een scherpe indruk achtergelaten op de Engelse taal. Er is veel scheldwoorden en angst geweest over wat sociale media met ons doen, van onze individuele psychologieën en neurologieën tot bredere zorgen over de kracht van democratische samenlevingen. Zoals Joseph Bernstein onlangs zeiis de verschuiving van ‘wijsheid van de massa’ naar ‘desinformatie’ inderdaad abrupt geweest.

Wat is desinformatie? Bestaat het, en zo ja, waar is het en hoe weten we dat we ernaar kijken? Moeten we ons zorgen maken over wat de algoritmen van onze favoriete platforms ons laten zien terwijl ze ernaar streven onze aandacht te ondermijnen? Het zijn juist dat soort ingewikkelde wiskundige en sociaal-wetenschappelijke vragen die de kop opstaken Noach Giansiracusa geïnteresseerd in het onderwerp.

Giansiracusa, een professor aan de Bentley University in Boston, is opgeleid in wiskunde (waarbij hij zijn onderzoek richt op gebieden als algebraïsche meetkunde), maar hij heeft ook de neiging om sociale onderwerpen door een wiskundige lens te bekijken, zoals het verbinden van computationele geometrie aan het Hooggerechtshof. Recentelijk heeft hij een boek gepubliceerd met de titel “Hoe algoritmen nepnieuws creëren en voorkomen' om enkele van de uitdagende vragen rond het medialandschap van vandaag te onderzoeken en hoe technologie deze trends verergert en verbetert.

Ik heb Giansiracusa onlangs gehost op een Twitter Space, en aangezien Twitter het niet gemakkelijk heeft gemaakt om achteraf naar deze toespraken te luisteren (vluchtigheid!), dacht ik dat ik de meest interessante delen van ons gesprek voor jou en het nageslacht eruit zou halen.

Dit interview is voor de duidelijkheid bewerkt en gecondenseerd.

Danny Crichton: Hoe besloot je nepnieuws te onderzoeken en dit boek te schrijven?

Noach Giansiracusa: Eén ding dat mij opviel, is dat er heel veel interessante sociologische en politiek-wetenschappelijke discussies zijn over nepnieuws en dit soort dingen. En dan heb je aan de technische kant dingen als Mark Zuckerberg die zegt dat AI al deze problemen gaat oplossen. Het leek gewoon alsof het een beetje moeilijk was om die kloof te overbruggen.

Iedereen heeft waarschijnlijk dit recente citaat van Biden gehoord: “ze vermoorden mensen”, met betrekking tot desinformatie op sociale media. We hebben dus politici die over deze dingen spreken, waarbij het moeilijk voor hen is om de algoritmische kant echt te begrijpen. Dan hebben we computerwetenschappers die heel diep in de details duiken. Dus ik zit er een beetje tussenin, ik ben geen echte hardcore computerwetenschapper. Dus ik denk dat het voor mij iets gemakkelijker is om gewoon een stap achteruit te doen en het vogelperspectief te bekijken.

Aan het eind van de dag had ik gewoon het gevoel dat ik wat meer interacties met de samenleving wilde verkennen, waar dingen rommelig worden, waar de wiskunde niet zo zuiver is.

Crichton: Omdat je een wiskundige achtergrond hebt, betreed je dit controversiële gebied waar veel mensen vanuit veel verschillende invalshoeken hebben geschreven. Wat doen mensen op dit gebied goed en wat hebben mensen misschien enige nuance gemist?

Giansiracusa: Er is veel ongelooflijke journalistiek; Ik stond er versteld van hoe veel journalisten echt met behoorlijk technische zaken om konden gaan. Maar ik zou één ding willen zeggen dat ze misschien niet verkeerd hebben begrepen, maar wat mij wel opviel was dat er vaak een academisch artikel verschijnt, of zelfs een aankondiging van Google of Facebook of een van deze technologiebedrijven, en ze zullen iets noemen, en de journalist zal er misschien een citaat uithalen en proberen het te beschrijven, maar ze lijken een beetje bang om echt te proberen het te bekijken en te begrijpen. En ik denk niet dat ze dat niet konden; het lijkt meer op intimidatie en angst.

Eén ding dat ik als wiskundeleraar veel heb ervaren, is dat mensen zo bang zijn om iets verkeerds te zeggen en een fout te maken. En dit geldt voor journalisten die over technische dingen moeten schrijven, ze willen niets verkeerds zeggen. Het is dus makkelijker om gewoon een persbericht van Facebook te citeren of een expert te citeren.

Eén ding dat zo leuk en mooi is aan pure wiskunde, is dat je je niet echt zorgen hoeft te maken dat je ongelijk hebt, maar gewoon ideeën uitprobeert en ziet waar ze toe leiden, en je ziet al deze interacties. Als je klaar bent om een ​​paper te schrijven of een lezing te geven, controleer je de details. Maar het grootste deel van de wiskunde is dit creatieve proces, waarbij je onderzoekt en alleen maar ziet hoe ideeën op elkaar inwerken. Je denkt dat mijn opleiding als wiskundige me bang zou maken voor het maken van fouten en om heel precies te zijn, maar het had min of meer het tegenovergestelde effect.

Ten tweede zijn veel van deze algoritmische dingen niet zo ingewikkeld als ze lijken. Ik zit ze niet te implementeren, ik weet zeker dat het programmeren ervan moeilijk is. Maar gewoon het grote geheel: al deze algoritmen van tegenwoordig, zoveel van deze dingen zijn gebaseerd op deep learning. Dus je hebt een neuraal netwerk. Het maakt voor mij als buitenstaander niet echt uit welke architectuur ze gebruiken, het enige dat er echt toe doet is: wat zijn de voorspellers? Kortom, wat zijn de variabelen die u aan dit machine learning-algoritme toevoegt? En wat probeert het uit te voeren? Dat zijn dingen die iedereen kan begrijpen.

Crichton: Een van de grote uitdagingen die ik denk bij het analyseren van deze algoritmen is het gebrek aan transparantie. In tegenstelling tot bijvoorbeeld de pure wiskundewereld, die bestaat uit een gemeenschap van wetenschappers die werken aan het oplossen van problemen, kunnen veel van deze bedrijven behoorlijk vijandig zijn als het gaat om het verstrekken van gegevens en analyses aan de bredere gemeenschap.

Giansiracusa: Het lijkt erop dat er een grens is aan wat iemand kan afleiden door simpelweg van buitenaf te zijn.

Een goed voorbeeld is YouTube: teams van academici wilden onderzoeken of het YouTube-aanbevelingsalgoritme mensen in deze complottheorieën van extremisme stuurt. De uitdaging is dat, omdat dit het aanbevelingsalgoritme is, het deep learning gebruikt, het gebaseerd is op honderden en honderden voorspellers op basis van je zoekgeschiedenis, je demografische gegevens, de andere video's die je hebt bekeken en hoe lang – al deze dingen. Het is zo aangepast aan u en uw ervaring, dat alle onderzoeken die ik heb kunnen vinden de incognitomodus gebruiken.

Het zijn dus in feite gebruikers die geen zoekgeschiedenis en geen informatie hebben. Ze gaan naar een video en klikken vervolgens op de eerste aanbevolen video en vervolgens op de volgende. En laten we eens kijken waar het algoritme mensen naartoe brengt. Dat is zo'n andere ervaring dan een echte menselijke gebruiker met een geschiedenis. En dit was echt moeilijk. Ik denk niet dat iemand een goede manier heeft bedacht om het YouTube-algoritme algoritmisch van buitenaf te verkennen.

Eerlijk gezegd denk ik dat de enige manier waarop je dat zou kunnen doen een soort ouderwetse studie is, waarbij je een hele groep vrijwilligers recruteert en een soort tracker op hun computer zet en zegt: 'Hé, leef gewoon zoals je wilt.' doe normaal gesproken met je geschiedenis en zo en vertel ons de video's die je bekijkt. Het was dus moeilijk om voorbij dit feit te komen dat veel van deze algoritmen, bijna allemaal, zo zou ik zeggen, zo sterk gebaseerd zijn op uw individuele gegevens. We weten niet hoe we dat in zijn totaliteit moeten bestuderen.

En het is niet alleen ik of iemand anders van buitenaf die problemen heeft omdat we de gegevens niet hebben. Het zijn zelfs mensen binnen deze bedrijven die het algoritme hebben gebouwd en die op papier weten hoe het algoritme werkt, maar niet weten hoe het zich daadwerkelijk gaat gedragen. Het is net het monster van Frankenstein: ze hebben dit ding gebouwd, maar ze weten niet hoe het gaat werken. Dus de enige manier waarop je het volgens mij echt kunt bestuderen, is als mensen binnenin met die gegevens hun uiterste best doen en tijd en middelen besteden om het te bestuderen.

Crichton: Er worden veel statistieken gebruikt rond het evalueren van desinformatie en het bepalen van de betrokkenheid op een platform. Denkt u, gezien uw wiskundige achtergrond, dat deze metingen robuust zijn?

Giansiracusa: Mensen proberen desinformatie te ontkrachten. Maar gaandeweg kunnen ze er commentaar op geven, het retweeten of delen, en dat geldt als betrokkenheid. Kijken veel van deze metingen van betrokkenheid echt naar positieve of alleen naar totale betrokkenheid? Weet je, het wordt allemaal op één hoop gegooid.

Ook in wetenschappelijk onderzoek gebeurt dit. Citaties zijn de universele maatstaf voor hoe succesvol onderzoek is. Nou, echt valse dingen zoals Wakefields oorspronkelijke artikel over autisme en vaccins kregen talloze citaten, veel van hen waren mensen die het citeerden omdat ze dachten dat het juist was, maar veel ervan waren wetenschappers die het ontkrachtten, ze citeren het in hun artikel om Laten we zeggen dat we aantonen dat deze theorie verkeerd is. Maar op de een of andere manier is een citaat een citaat. Het telt dus allemaal mee voor de successtatistiek.

Dus ik denk dat dit een beetje is wat er gebeurt met betrokkenheid. Als ik in mijn reacties iets plaats met de tekst: 'Hé, dat is gek', hoe weet het algoritme dan of ik het steun of niet? Ze zouden wat AI-taalverwerking kunnen gebruiken om het te proberen, maar ik weet niet zeker of dat zo is, en het kost veel moeite om dat te doen.

Crichton: Tenslotte wil ik het nog even hebben over GPT-3 en de bezorgdheid rond synthetische media en nepnieuws. Er bestaat veel angst dat AI-bots de media zullen overweldigen met desinformatie – hoe bang moeten we wel of niet zijn?

Giansiracusa: Omdat mijn boek echt uit ervaring is voortgekomen, wilde ik proberen onpartijdig te blijven en mensen gewoon te informeren en hen hun eigen beslissingen te laten nemen. Ik besloot te proberen dat debat te doorbreken en beide partijen echt aan het woord te laten. Ik denk dat de nieuwsfeedalgoritmen en herkenningsalgoritmen veel schadelijke dingen versterken, en dat is verwoestend voor de samenleving. Maar er is ook veel verbazingwekkende vooruitgang geboekt bij het productief en succesvol gebruiken van algoritmen om nepnieuws te beperken.

Er zijn techno-utopisten die zeggen dat AI alles gaat oplossen, dat we de waarheid zullen vertellen, dat we feiten zullen kunnen controleren en dat er algoritmen zullen zijn die desinformatie kunnen opsporen en verwijderen. Er is enige vooruitgang, maar dat gaat niet gebeuren en het zal nooit volledig succesvol zijn. Het zal altijd op mensen moeten vertrouwen. Maar het andere dat we hebben is een soort irrationele angst. Er is een soort hyperbolische AI-dystopie waarbij algoritmen zo krachtig zijn, een beetje zoals singulariteit, dat ze ons gaan vernietigen.

Toen deep fakes in 2018 voor het eerst in het nieuws kwamen en GPT-3 een paar jaar geleden werd uitgebracht, was er veel angst dat: “Oh shit, dit zal al onze problemen met nepnieuws en het begrijpen van wat waar is in de wereld veel, veel moeilijker.” En ik denk dat we, nu we een paar jaar verder zijn, kunnen zien dat ze het iets moeilijker hebben gemaakt, maar lang niet zo significant als we hadden verwacht. En het belangrijkste probleem is meer psychologisch en economisch dan wat dan ook.

Dus de oorspronkelijke auteurs van GPT-3 hebben een onderzoekspaper waarin het algoritme wordt geïntroduceerd, en een van de dingen die ze deden was een test waarbij ze wat tekst erin plakten en deze uitbreidden tot een artikel, en vervolgens lieten ze een aantal vrijwilligers evalueren en raden welk is het algoritmisch gegenereerde artikel en welk artikel is het door de mens gegenereerde artikel. Ze meldden dat ze een nauwkeurigheid van zeer, zeer dicht bij 50% bereikten, wat betekent dat ze nauwelijks hoger zijn dan willekeurige gissingen. Dus dat klinkt, weet je, zowel verbazingwekkend als eng.

Maar als je naar de details kijkt, strekken ze zich uit als een kop van één regel tot een alinea tekst. Als je probeert een volledig artikel van The Atlantic of New Yorker te schrijven, zul je de discrepanties gaan zien, en de gedachte zal gaan dwalen. De auteurs van dit artikel hebben dit niet vermeld, ze deden gewoon hun experiment en zeiden: "Hé, kijk eens hoe succesvol het is."

Het ziet er dus overtuigend uit, ze kunnen deze indrukwekkende artikelen maken. Maar dit is uiteindelijk de belangrijkste reden waarom GPT-3 niet zo transformerend is geweest als het gaat om nepnieuws, desinformatie en al deze zaken. Dat komt omdat nepnieuws meestal onzin is. Het is slecht geschreven, van lage kwaliteit, het is zo goedkoop en snel te publiceren, dat je je 16-jarige neefje gewoon zou kunnen betalen om binnen enkele minuten een heleboel nepnieuwsartikelen te publiceren.

Het is niet zozeer dat wiskunde mij dit heeft laten inzien. Het is gewoon zo dat het belangrijkste dat we in de wiskunde proberen te doen, sceptisch zijn. Je moet deze dingen dus in twijfel trekken en een beetje sceptisch zijn.

Bron: https://techcrunch.com/2021/08/20/a-mathematician-walks-into-a-bar-of-disinformation/