Matematyk wchodzi do baru (dezinformacji)

Dezinformacja, dezinformacja, infotainment, algowars — jeśli debaty o przyszłości mediów w ciągu ostatnich kilku dekad cokolwiek znaczyły, to przynajmniej pozostawiły ostry ślad w języku angielskim. Było wiele inwektyw i obaw związanych z tym, co robią nam media społecznościowe, od naszych indywidualnych psychologii i neurologii po szersze obawy dotyczące siły demokratycznych społeczeństw. Jak to niedawno ujął Joseph Bernstein, przejście od „mądrości tłumu” do „dezinformacji” było rzeczywiście gwałtowne.

Czym jest dezinformacja? Czy istnieje, a jeśli tak, to gdzie jest i skąd wiemy, że na nią patrzymy? Czy powinniśmy dbać o to, co pokazują nam algorytmy naszych ulubionych platform, które starają się wycisnąć z naszej uwagi? Pojawiają się tylko tego rodzaju zawiłe pytania matematyczne i społeczne Noe Giansiracusa zainteresowany tematem.

Giansiracusa, profesor na Uniwersytecie Bentley w Bostonie, jest wyszkolony w matematyce (koncentruje się w swoich badaniach na takich obszarach jak geometria algebraiczna), ale miał również skłonność do patrzenia na tematy społeczne przez pryzmat matematyczny, np. łączenie geometria obliczeniowa do Sądu Najwyższego. Ostatnio opublikował książkę zatytułowaną „Jak algorytmy tworzą i zapobiegają fałszywym wiadomościom” w celu zbadania niektórych trudnych pytań dotyczących dzisiejszego krajobrazu mediów oraz tego, w jaki sposób technologia zaostrza i łagodzi te trendy.

Niedawno gościłem Giansiracusę na Twitter Space, a ponieważ Twitter nie ułatwił później słuchania tych przemówień (ulotność!), pomyślałem, że wydobędę najciekawsze fragmenty naszej rozmowy dla ciebie i dla potomnych.

Ten wywiad został zredagowany i skrócony dla jasności.

Danny Crichton: Jak zdecydowałaś się zbadać fałszywe wiadomości i napisać tę książkę?

Noe Giansiracusa: Zauważyłem, że jest dużo naprawdę interesujących socjologicznych, politologicznych dyskusji na temat fałszywych wiadomości i tego typu rzeczy. A potem, od strony technicznej, będą rzeczy takie jak Mark Zuckerberg, który mówi, że sztuczna inteligencja naprawi wszystkie te problemy. Wyglądało na to, że trochę trudno jest wypełnić tę lukę.

Wszyscy prawdopodobnie słyszeli ten niedawny cytat Bidena, mówiący: „zabijają ludzi”, w odniesieniu do dezinformacji w mediach społecznościowych. Mamy więc polityków mówiących o tych rzeczach, w których trudno im naprawdę pojąć stronę algorytmiczną. Następnie mamy informatyków, którzy są naprawdę zagłębieni w szczegóły. Więc siedzę pośrodku, nie jestem zagorzałą informatyką. Myślę więc, że jest mi trochę łatwiej po prostu cofnąć się i uzyskać widok z lotu ptaka.

Pod koniec dnia po prostu poczułem, że chcę zbadać więcej interakcji ze społeczeństwem, w którym sprawy stają się bałaganem, gdzie matematyka nie jest tak czysta.

Crichtona: Pochodząc z matematycznego zaplecza, wkraczasz w ten kontrowersyjny obszar, w którym wiele osób pisało z różnych punktów widzenia. Co ludzie robią dobrze w tej dziedzinie i co może pominąć niektóre niuanse?

Giansirakuza: Jest dużo niesamowitego dziennikarstwa; Byłem zdumiony tym, jak wielu dziennikarzy naprawdę było w stanie poradzić sobie z dość technicznymi sprawami. Ale powiedziałbym, że może się nie pomylili, ale uderzyło mnie to, że wiele razy wychodzi artykuł naukowy, a nawet ogłoszenie z Google, Facebooka lub jednej z tych firm technologicznych, i Wspominają o czymś, a dziennikarz może wyciągnie cytat i spróbuje go opisać, ale wydaje się, że trochę boją się naprawdę spróbować spojrzeć i zrozumieć. I nie sądzę, że nie byli w stanie, to naprawdę wygląda na bardziej zastraszenie i strach.

Jedną z rzeczy, których doświadczyłem jako nauczyciel matematyki, jest to, że ludzie tak bardzo boją się powiedzieć coś złego i popełnić błąd. A to dotyczy dziennikarzy, którzy muszą pisać o sprawach technicznych, nie chcą powiedzieć czegoś złego. Dlatego łatwiej jest po prostu zacytować informację prasową z Facebooka lub zacytować eksperta.

Jedną rzeczą, która jest tak zabawna i piękna w czystej matematyce, jest to, że tak naprawdę nie martwisz się, że się mylisz, po prostu próbujesz pomysłów i widzisz, dokąd prowadzą, i widzisz wszystkie te interakcje. Kiedy jesteś gotowy do napisania referatu lub wygłoszenia referatu, sprawdzasz szczegóły. Ale większość matematyki to proces twórczy, w którym odkrywasz i widzisz, jak idee wchodzą w interakcje. Uważasz, że moje szkolenie jako matematyka budziłoby we mnie lęk przed popełnianiem błędów, a mówiąc ściślej, ale przyniosło to trochę odwrotny skutek.

Po drugie, wiele z tych algorytmicznych rzeczy nie jest tak skomplikowanych, jak się wydaje. Nie siedzę tam, je wdrażając, jestem pewien, że ich programowanie jest trudne. Ale tylko ogólny obraz, wszystkie te algorytmy w dzisiejszych czasach, wiele z tych rzeczy opiera się na głębokim uczeniu. Więc masz sieć neuronową, nie ma dla mnie znaczenia, jako outsidera, jakiej architektury używają, jedyne, co naprawdę ma znaczenie, to jakie są predyktory? Zasadniczo, jakie są zmienne, które zasilasz ten algorytm uczenia maszynowego? A co próbuje wyprowadzić? To są rzeczy, które każdy może zrozumieć.

Crichtona: Jednym z największych wyzwań związanych z analizą tych algorytmów jest brak przejrzystości. W przeciwieństwie, powiedzmy, do świata czystej matematyki, który jest społecznością uczonych pracujących nad rozwiązywaniem problemów, wiele z tych firm może w rzeczywistości być bardzo przeciwnych dostarczaniu danych i analiz szerszej społeczności.

Giansirakuza: Wydaje się, że istnieje granica tego, co każdy może wywnioskować, po prostu będąc z zewnątrz.

Dobrym przykładem jest YouTube — zespoły naukowców chciały zbadać, czy algorytm rekomendacji YouTube wysyła ludzi w te królicze nory ekstremizmu z teorią spiskową. Wyzwanie polega na tym, że ponieważ jest to algorytm rekomendacji, wykorzystuje głębokie uczenie się, opiera się na setkach predyktorów opartych na Twojej historii wyszukiwania, danych demograficznych, innych obejrzanych przez Ciebie filmach i czasie — wszystkie te rzeczy. Jest tak dostosowany do Ciebie i Twojego doświadczenia, że ​​wszystkie badania, które udało mi się znaleźć, wykorzystują tryb incognito.

Tak więc w zasadzie jest to użytkownik, który nie ma historii wyszukiwania, żadnych informacji i przejdzie do filmu, a następnie kliknie pierwszy polecany film, a następnie następny. Zobaczmy, dokąd algorytm zabierze ludzi. To zupełnie inne doświadczenie niż rzeczywisty użytkownik z historią. A to było naprawdę trudne. Nie sądzę, aby ktokolwiek wymyślił dobry sposób na algorytmiczne zbadanie algorytmu YouTube z zewnątrz.

Szczerze mówiąc, myślę, że jedyny sposób, w jaki możesz to zrobić, to coś w rodzaju oldschoolowego badania, w którym rekrutujesz całą masę wolontariuszy, umieszczasz tracker na ich komputerze i mówisz: „Hej, po prostu żyj tak, jak ty zwykle rób ze swoimi historiami i wszystkim, i opowiadaj nam o filmach, które oglądasz”. Tak więc trudno było pominąć fakt, że wiele z tych algorytmów, powiedziałbym, że prawie wszystkie są tak mocno oparte na twoich indywidualnych danych. Nie wiemy, jak to zbiorczo badać.

I nie chodzi tylko o to, że ja lub ktokolwiek z zewnątrz ma kłopoty, ponieważ nie mamy danych. Nawet ludzie z tych firm zbudowali algorytm i wiedzą, jak ten algorytm działa na papierze, ale nie wiedzą, jak faktycznie będzie się zachowywał. To jak potwór Frankensteina: zbudowali to, ale nie wiedzą, jak to będzie działać. Więc myślę, że jedynym sposobem, aby naprawdę to zbadać, jest to, że ludzie z wewnątrz z tymi danymi zrobią wszystko, co w ich mocy i poświęcą czas i zasoby, aby je zbadać.

Crichtona: Istnieje wiele wskaźników używanych do oceny dezinformacji i określania zaangażowania na platformie. Wychodząc z matematycznego zaplecza, czy uważasz, że te miary są solidne?

Giansirakuza: Ludzie próbują obalać dezinformację. Ale w trakcie tego procesu mogą to skomentować, mogą je retweetować lub udostępniać, a to liczy się jako zaangażowanie. Więc wiele z tych pomiarów zaangażowania, czy naprawdę patrzą na pozytywne, czy tylko na całe zaangażowanie? Wiesz, to wszystko łączy się w jedną całość.

Dzieje się tak również w badaniach naukowych. Cytaty są uniwersalnym miernikiem sukcesu badań. Cóż, naprawdę fałszywe rzeczy, takie jak oryginalny artykuł na temat autyzmu i szczepionek Wakefielda, otrzymał mnóstwo cytowań, wielu z nich cytowało to, ponieważ uważali, że jest słuszne, ale wiele z nich to naukowcy, którzy je podważali, cytują to w swoim artykule, aby powiedzmy, pokazujemy, że ta teoria jest błędna. Ale jakoś cytat jest cytatem. Więc to wszystko liczy się do miernika sukcesu.

Więc myślę, że to trochę dzieje się z zaangażowaniem. Jeśli opublikuję coś w swoich komentarzach, mówiąc: „Hej, to szaleństwo”, skąd algorytm wie, czy to popieram, czy nie? Mogliby użyć przetwarzania języka AI, aby spróbować, ale nie jestem pewien, czy tak jest, a to dużo wysiłku.

Crichtona: Na koniec chciałbym porozmawiać o GPT-3 i obawach związanych z mediami syntetycznymi i fałszywymi wiadomościami. Istnieje wiele obaw, że boty AI przytłoczą media dezinformacją — jak bardzo powinniśmy się bać lub nie?

Giansirakuza: Ponieważ moja książka naprawdę wyrosła z klasy z doświadczenia, chciałem zachować bezstronność i po prostu informować ludzi i pozwolić im podejmować własne decyzje. Postanowiłem spróbować przeciąć tę debatę i naprawdę dać głos obu stronom. Myślę, że algorytmy dostarczania wiadomości i algorytmy rozpoznawania wzmacniają wiele szkodliwych rzeczy, a to jest druzgocące dla społeczeństwa. Ale jest też wiele niesamowitych postępów w produktywnym i skutecznym wykorzystywaniu algorytmów do ograniczania fałszywych wiadomości.

Są ci technoutopiści, którzy twierdzą, że sztuczna inteligencja wszystko naprawi, będziemy mieli mówienie prawdy, sprawdzanie faktów i algorytmy, które mogą wykrywać dezinformacje i je usuwać. Jest pewien postęp, ale to się nie wydarzy i nigdy nie odniesie pełnego sukcesu. Zawsze będzie musiał polegać na ludziach. Ale inna rzecz, którą mamy, to rodzaj irracjonalnego strachu. Istnieje ten rodzaj hiperbolicznej dystopii AI, w której algorytmy są tak potężne, coś w rodzaju osobliwości, że nas zniszczą.

Kiedy głębokie podróbki po raz pierwszy pojawiły się w wiadomościach w 2018 r., a GPT-3 został wydany kilka lat temu, był duży strach, że: „O cholera, to sprawi, że wszystkie nasze problemy z fałszywymi wiadomościami i zrozumieniem, co jest prawdą w świat o wiele, dużo trudniejszy”. I myślę, że teraz, gdy mamy kilka lat dystansu, widzimy, że trochę to utrudnili, ale nie tak znacząco, jak się spodziewaliśmy. A główny problem jest bardziej psychologiczny i ekonomiczny niż cokolwiek innego.

Tak więc pierwotni autorzy GPT-3 mają artykuł badawczy, który wprowadza algorytm, a jedną z rzeczy, które zrobili, był test, w którym wkleili jakiś tekst i rozszerzyli go do artykułu, a następnie mieli kilku ochotników do oceny i zgadywania, który jest artykułem wygenerowanym algorytmicznie, a który artykuł jest artykułem stworzonym przez człowieka. Zgłosili, że uzyskali bardzo, bardzo bliską 50% dokładność, co oznacza niewiele powyżej przypadkowych domysłów. Więc to brzmi, wiesz, zarówno niesamowicie, jak i przerażająco.

Ale jeśli spojrzysz na szczegóły, rozciągają się one jak jednowierszowy nagłówek do akapitu tekstu. Jeśli spróbujesz napisać cały artykuł w The Atlantic lub New Yorker, zaczniesz dostrzegać rozbieżności, myśl będzie meandrować. Autorzy tego artykułu nie wspomnieli o tym, po prostu przeprowadzili swój eksperyment i powiedzieli: „Hej, spójrz, jaki jest sukces”.

Wygląda więc przekonująco, mogą tworzyć te imponujące artykuły. Ale oto główny powód, pod koniec dnia, dlaczego GPT-3 nie zmienił tak bardzo, jeśli chodzi o fałszywe wiadomości i dezinformację i wszystkie te rzeczy. To dlatego, że fałszywe wiadomości to w większości śmieci. Jest kiepsko napisany, jest niskiej jakości, jest tak tani i szybki w przygotowaniu, że możesz po prostu zapłacić swojemu 16-letniemu siostrzeńcowi, aby po prostu wyprodukował kilka fałszywych artykułów w ciągu kilku minut.

Nie tyle matematyka pomogła mi to zobaczyć. Po prostu jakoś główną rzeczą, którą staramy się robić w matematyce, jest bycie sceptycznym. Musisz więc kwestionować te rzeczy i być trochę sceptycznym.

Źródło: https://techcrunch.com/2021/08/20/a-mathematician-walks-into-a-bar-of-disinformation/