Математик заходит в бар (дезинформации)

Дезинформация, дезинформация, информационно-развлекательные программы, алгоритмические войны — если дебаты о будущем средств массовой информации последних нескольких десятилетий что-то значили, то, по крайней мере, они оставили острый отпечаток на английском языке. Было много оскорблений и страха по поводу того, что с нами делают социальные сети, от нашей индивидуальной психологии и неврологии до более широких опасений по поводу силы демократических обществ. Как недавно выразился Джозеф БернштейнПереход от «мудрости толпы» к «дезинформации» действительно был резким.

Что такое дезинформация? Существует ли оно, и если да, то где оно и как мы узнаем, что смотрим на него? Должны ли мы волноваться о том, что показывают нам алгоритмы наших любимых платформ, стремящихся выжать часть нашего внимания? Это как раз те сложные вопросы математики и социальных наук, которые Ной Джансиракуса заинтересовался предметом.

Джансиракуса, профессор Университета Бентли в Бостоне, имеет математическое образование (сосредотачивая свои исследования на таких областях, как алгебраическая геометрия), но у него также есть склонность рассматривать социальные темы через математическую призму, например, связывание вычислительная геометрия в Верховный суд. Совсем недавно он опубликовал книгу под названием «Как алгоритмы создают и предотвращают фейковые новости», чтобы изучить некоторые сложные вопросы, связанные с современным медиа-ландшафтом, и то, как технологии усугубляют и улучшают эти тенденции.

Недавно я размещал Giansiracusa в Твиттере, и, поскольку Твиттер не позволяет легко слушать эти разговоры впоследствии (эфемерность!), я решил вытащить самые интересные фрагменты нашего разговора для вас и потомков.

Это интервью отредактировано и сжато для ясности.

Дэнни Крайтон: Как вы решили исследовать фейковые новости и написать эту книгу?

Ной Джансиракуса: Я заметил одну вещь: существует много действительно интересных социологических и политологических дискуссий о фейковых новостях и подобных вещах. А с технической стороны есть такие вещи, как Марк Цукерберг, говорящий, что ИИ решит все эти проблемы. Просто казалось, что немного сложно преодолеть этот разрыв.

Наверное, все слышали недавнюю цитату Байдена: «они убивают людей», в отношении дезинформации в социальных сетях. Итак, у нас есть политики, говорящие об этих вещах, и им трудно по-настоящему понять алгоритмическую сторону. Кроме того, у нас есть специалисты по информатике, которые действительно глубоко разбираются в деталях. Так что я как бы сижу посередине, я не настоящий хардкорный специалист в области информатики. Поэтому я думаю, что мне немного проще просто отступить и посмотреть на ситуацию с высоты птичьего полета.

В конце концов, я просто почувствовал, что хочу изучить еще несколько взаимодействий с обществом, где все становится беспорядочно, где математика не так чиста.

Крайтон: Имея математическое образование, вы попадаете в эту спорную область, о которой многие люди писали с разных точек зрения. Что люди делают правильно в этой области и что, возможно, люди упустили какой-то нюанс?

Джансиракуса: Там много потрясающей журналистики; Я был поражен тем, как многие журналисты действительно могут справиться с довольно техническими вещами. Но я бы сказал одну вещь: возможно, они не ошиблись, но меня поразило то, что часто выходит научная статья или даже объявление от Google, Facebook или одной из этих технологических компаний, и они как бы упоминают что-то, и журналист, возможно, выберет цитату и попытается ее описать, но, похоже, они немного боятся по-настоящему попытаться посмотреть и понять это. И я не думаю, что они не смогли этого сделать, это действительно больше похоже на запугивание и страх.

Будучи учителем математики, я много раз сталкивался с одной вещью: люди так боятся сказать что-то не так и совершить ошибку. И это касается журналистов, которым приходится писать о технических вещах, они не хотят сказать что-то не так. Так что проще просто процитировать пресс-релиз из Facebook или процитировать эксперта.

Одна вещь, которая так забавна и прекрасна в чистой математике, это то, что вы на самом деле не беспокоитесь о том, что ошиблись, вы просто пробуете идеи и смотрите, к чему они ведут, и вы видите все эти взаимодействия. Когда вы готовы написать статью или выступить с докладом, вы проверяете детали. Но большая часть математики — это творческий процесс, в котором вы исследуете и просто видите, как взаимодействуют идеи. Вы думаете, что мое математическое образование заставило бы меня опасаться ошибок, если быть очень точным, но это имело как бы противоположный эффект.

Во-вторых, многие из этих алгоритмических вещей не так сложны, как кажутся. Я не сижу и реализую их, я уверен, что программировать их сложно. Но если говорить в целом, все эти современные алгоритмы, многие из этих вещей основаны на глубоком обучении. Итак, у вас есть нейронная сеть, для меня, как для стороннего наблюдателя, не имеет особого значения, какую архитектуру они используют, все, что действительно важно, это то, каковы предикторы? По сути, какие переменные вы вводите в этот алгоритм машинного обучения? И что он пытается вывести? Это вещи, которые может понять каждый.

Крайтон: Одной из больших проблем, которые я считаю при анализе этих алгоритмов, является отсутствие прозрачности. В отличие, скажем, от мира чистой математики, который представляет собой сообщество ученых, работающих над решением проблем, многие из этих компаний на самом деле могут быть весьма враждебными в предоставлении данных и анализа более широкому сообществу.

Джансиракуса: Похоже, что есть предел тому, что каждый может сделать вывод, просто находясь со стороны.

Хорошим примером является YouTube: группы ученых хотели выяснить, не отправляет ли алгоритм рекомендаций YouTube людей в эти кроличьи норы экстремизма, связанные с теорией заговора. Проблема в том, что, поскольку это рекомендательный алгоритм, он использует глубокое обучение и основан на сотнях и сотнях предикторов, основанных на вашей истории поиска, ваших демографических данных, других видео, которые вы смотрели и как долго — всех этих вещей. Он настолько адаптирован под вас и ваш опыт, что во всех исследованиях, которые мне удалось найти, использовался режим инкогнито.

Таким образом, по сути, это пользователь, у которого нет истории поиска, никакой информации, и он переходит к видео, а затем нажимает первое рекомендованное видео, а затем следующее. И давайте посмотрим, куда алгоритм приведет людей. Это совсем другой опыт, чем у реального пользователя с историей. И это было действительно сложно. Я не думаю, что кто-то нашел хороший способ алгоритмического исследования алгоритма YouTube извне.

Честно говоря, я думаю, что единственный способ сделать это — это что-то вроде исследования старой школы, когда вы набираете целую группу добровольцев, устанавливаете трекер на их компьютер и говорите: «Эй, просто живи так, как ты хочешь». обычно делайте со своими историями и всем остальным и рассказывайте нам о видео, которые вы смотрите». Поэтому было трудно игнорировать тот факт, что многие из этих алгоритмов, я бы сказал, почти все из них, так сильно основаны на ваших индивидуальных данных. Мы не знаем, как это изучать в совокупности.

И дело не только в том, что у меня или кого-то еще со стороны возникают проблемы из-за отсутствия данных. В этих компаниях даже есть люди, которые создали алгоритм и знают, как алгоритм работает на бумаге, но не знают, как он будет вести себя на самом деле. Это как монстр Франкенштейна: они построили эту штуку, но не знают, как она будет работать. Поэтому, я думаю, единственный способ действительно изучить это — это если люди, обладающие этими данными, приложат все усилия и потратят время и ресурсы на их изучение.

Крайтон: Существует множество показателей, используемых для оценки дезинформации и определения вовлеченности на платформе. Судя по вашему математическому образованию, считаете ли вы эти меры надежными?

Джансиракуса: Люди пытаются развенчать дезинформацию. Но в процессе они могут прокомментировать это, ретвитнуть или поделиться, и это считается вовлеченностью. Итак, многие из этих показателей вовлеченности действительно ориентированы на позитив или просто на всю вовлеченность? Знаете, как-то все свалено в кучу.

Это происходит и в академических исследованиях. Цитаты — универсальный показатель успешности исследований. Что ж, по-настоящему фальшивые вещи, такие как оригинальная статья Уэйкфилда об аутизме и вакцинах, получили массу цитирований, многие из них были людьми, цитирующими ее, потому что считали ее правильной, но многие ее разоблачали ученые, они цитировали ее в своей статье, чтобы скажем, мы показываем, что эта теория неверна. Но почему-то цитата есть цитата. Так что все это учитывается при определении показателя успеха.

Так что я думаю, что это отчасти то, что происходит с вовлеченностью. Если я напишу что-нибудь в своих комментариях со словами: «Эй, это безумие», как алгоритм узнает, поддерживаю я это или нет? Они могли бы попытаться использовать некоторую обработку языка искусственного интеллекта, но я не уверен, что они это сделают, и это требует больших усилий.

Крайтон: Наконец, я хочу немного поговорить о GPT-3 и об опасениях по поводу синтетических СМИ и фейковых новостей. Существует много опасений, что ИИ-боты завалят средства массовой информации дезинформацией — насколько нам следует бояться или не бояться?

Джансиракуса: Поскольку моя книга действительно выросла из опыта, я хотел постараться оставаться беспристрастным и просто информировать людей и позволять им принимать собственные решения. Я решил попытаться обойти эту дискуссию и дать возможность высказаться обеим сторонам. Я думаю, что алгоритмы новостной ленты и алгоритмы распознавания действительно усиливают множество вредных вещей, и это разрушительно для общества. Но есть также удивительный прогресс в продуктивном и успешном использовании алгоритмов для ограничения фейковых новостей.

Есть эти техноутописты, которые говорят, что ИИ все исправит, у нас будет говорить правду, проверять факты и алгоритмы, которые смогут обнаружить дезинформацию и устранить ее. Некоторый прогресс есть, но этого не произойдет, и он никогда не будет полностью успешным. Ему всегда придется полагаться на людей. Но есть еще и иррациональный страх. Существует такая гиперболическая антиутопия искусственного интеллекта, где алгоритмы настолько мощны, что-то вроде сингулярности, что они собираются нас уничтожить.

Когда дипфейки впервые появились в новостях в 2018 году, а пару лет назад был выпущен GPT-3, было много опасений, что: «Ох, черт, это усложнит все наши проблемы с фейковыми новостями и пониманием того, что на самом деле правда». мир намного, намного сложнее». И я думаю, что теперь, когда у нас есть пара лет дистанции, мы видим, что они немного усложнили задачу, но не так существенно, как мы ожидали. И главная проблема скорее психологическая и экономическая, чем что-либо еще.

Итак, у первоначальных авторов GPT-3 есть исследовательская работа, в которой представлен алгоритм, и одним из них был тест, в котором они вставляли некоторый текст и расширяли его до статьи, а затем просили нескольких добровольцев оценить и угадать, какой из них какая статья сгенерирована алгоритмом, а какая статья создана человеком. Они сообщили, что получили очень, очень близкую к 50% точность, что означает чуть выше случайных предположений. Знаете, это звучит одновременно удивительно и пугающе.

Но если вы посмотрите на детали, то увидите, что они простирались, как однострочный заголовок, на абзац текста. Если вы попытаетесь написать полную статью длиной в The Atlantic или New Yorker, вы начнете видеть несоответствия, мысль будет блуждать. Авторы этой статьи не упомянули об этом, они просто провели свой эксперимент и сказали: «Эй, посмотрите, какой он успешный».

Так что это выглядит убедительно, они могут делать такие впечатляющие статьи. Но, в конце концов, вот главная причина, почему GPT-3 не оказал такого преобразующего воздействия в отношении фейковых новостей, дезинформации и всего такого. Это потому, что фейковые новости – это по большей части мусор. Он плохо написан, низкого качества, его так дешево и быстро напечатать, что вы можете просто заплатить своему 16-летнему племяннику, чтобы он за считанные минуты напечатал кучу фейковых новостных статей.

Дело не в том, что математика помогла мне это увидеть. Просто почему-то главное, что мы пытаемся сделать в математике, — это быть скептиками. Поэтому вам придется подвергнуть сомнению эти вещи и быть немного скептически настроенными.

Источник: https://techcrunch.com/2021/08/20/a-mathematician-walks-into-a-bar-of-disinformation/