Системы автодополнения текста призваны облегчить нашу жизнь, но есть риски

Если вы недавно написали текстовое сообщение или электронное письмо, скорее всего, ИИ предложит вам разные синонимы, фразы или способы завершения предложения. Появление инструментов самовнушения на базе искусственного интеллекта, таких как Smart Compose от Google, совпало с цифровой трансформацией корпоративных коммуникаций, которые сейчас в основном живут в Интернете. Его По оценкам, что типичный работник отвечает примерно на 40 электронных писем каждый день и посылает более 200 сообщений Slack в неделю.

Обмен сообщениями угрожает занять все большую часть рабочего дня, поскольку Adobe привязка количество времени, которое работники тратят на ответы на электронные письма (15.5 часов в неделю). Постоянное переключение задач — это похоронный звон для производительности, а исследования показывают преимущества непрерывной работы. В исследовании из Калифорнийского университета и Университета Гумбольдта обнаружили, что работники могут терять до 23 минут на выполнении задачи каждый раз, когда их отвлекают, дальнейшее удлинение рабочий день.

Инструменты самовнушения обещают сэкономить время за счет оптимизации написания сообщений и ответов. Например, функция Smart Reply от Google предлагает быстрые ответы на электронные письма, на ввод которых обычно уходит несколько минут. Но у ИИ, лежащего в основе этих инструментов, есть недостатки, которые могут привести к предвзятости или нежелательным образом повлиять на язык, используемый в обмене сообщениями.

Рост самовнушения и автодополнения текста

Интеллектуальный ввод текста — не новая технология. Один из первых широко доступных примеров. T9, позволяющий формировать слова одним нажатием клавиши для каждой буквы, стал стандартом для многих мобильных телефонов в конце 90-х. Но появление более сложных и масштабируемых методов искусственного интеллекта в языке привело к скачку в качестве и широте инструментов самовнушения.

В 2017 году Google запустил Умный ответ в Gmail, который компания позже внедрила в другие сервисы Google, включая Chat и сторонние приложения. По данным Google, искусственный интеллект, лежащий в основе Smart Reply, генерирует предложения ответов «на основе всего контекста разговора», а не только одного сообщения, что якобы приводит к более своевременным и релевантным предложениям. Smart Compose, который предлагает полные предложения в электронных письмах, появился в Gmail год спустя, а Google Docs вскоре после этого. Похожая функция называется предлагаемые ответы появился в Microsoft Outlook в 2018 году и в Teams в 2020 году.

Технология, лежащая в основе нового поколения инструментов самовнушения, которую некоторые академические круги называют «коммуникацией, опосредованной искусственным интеллектом», выходит за рамки того, что существовало в 90-х годах. Например, модель искусственного интеллекта, лежащая в основе Smart Compose, была создана с использованием миллиардов примеров электронных писем и работает в облаке на специальном оборудовании-ускорителе. Между тем, Smart Reply, послуживший основой для Smart Compose, использует «иерархический подход» к предложениям, основанный на том, как люди понимают языки и концепции.

«Содержимое языка глубоко иерархично и отражается в структуре самого языка…» Ученый-исследователь Google Брайан Строуп и технический директор Рэй Курцвейл объяснять в сообщении в блоге. «Рассмотрим сообщение: «Тот интересный человек в кафе, которое нам нравится, взглянул на меня». … Предлагая соответствующий ответ на это послание, мы могли бы принять во внимание значение слова «взгляд», которое потенциально двусмысленно. Был ли это позитивный жест? В этом случае мы могли бы ответить: «Круто!» Или это был негативный жест? Если да, то говорит ли эта тема что-нибудь о том, как автор относился к негативному обмену мнениями? Чтобы проводить тонкие различия, необходимо много информации о мире и способность делать обоснованные суждения. При наличии достаточного количества примеров языка подход машинного обучения может обнаружить многие из этих тонких различий. »

Но, как и все технологии, даже самые мощные инструменты самовнушения подвержены недостаткам, которые возникают в процессе разработки и внедрения.

В декабре 2016 года было показал, что функция автозаполнения Google Search предлагает ненавистные и оскорбительные окончания для определенных поисковых фраз, например «евреи — зло?» за фразу «являются евреями». По мнению компании, виновата алгоритмическая система, которая обновляет предложения на основе того, что недавно искали другие пользователи. Хотя Google в конечном итоге внедрил исправление, компании потребовалось еще несколько лет, чтобы заблокировать предложения автозаполнения для противоречивые политические заявления включая ложные заявления о требованиях к голосованию и легитимности избирательных процессов.

Умный ответ был найденный предложить смайлик «человеку в тюрбане» в ответ на сообщение, содержащее смайлик с пистолетом. И автодополнение Apple на iOS предварительно предлагались только мужские смайлы для руководящих должностей, включая генерального директора, главного операционного директора и технического директора.

Смещенные данные

Недостатки в системах автозаполнения и самовнушения часто возникают из-за предвзятости данных. Миллионы и миллиарды примеров, на которых учатся системы, могут быть испорчены текстом из других источников. токсичные сайты которые связывают определенные полы, расы, этносыи религии с вредными концепциями. Иллюстрируя проблему, Кодекс, модель генерации кода, разработанная исследовательской лабораторией OpenAI, может предложить написать «террорист» при вводе слова «Ислам». Еще одна большая языковая модель от AI-стартапа членораздельным склонен ассоциировать мужчин и женщин со стереотипно «мужскими» и «женскими» профессиями, такими как «мужчина-ученый» и «женщина-домохозяйка».

Аннотации в данных могут создать новые проблемы или усугубить существующие. Поскольку многие модели учатся на ярлыках, которые сообщают, имеет ли слово, предложение, абзац или документ определенные характеристики, такие как положительное или отрицательное настроение, компании и исследователи набирают команды аннотаторов для маркировки примеров, обычно с краудсорсинговых платформ, таких как Amazon Mechanical Turk. Эти аннотаторы привносят свои собственные взгляды и предубеждения.

В исследовании, проведенном Институтом искусственного интеллекта Аллена, Карнеги-Меллон и Вашингтонским университетом, ученые обнаружили, что специалисты по маркировке с большей вероятностью будут комментировать фразы на диалекте афроамериканского английского (AAE), более токсичные, чем их эквиваленты в обычном американском английском, несмотря на то, что их понимают. как нетоксичный для динамиков AAE. Jigsaw, организация, работающая под руководством материнской компании Google Alphabet и занимающаяся борьбой с киберзапугиванием и дезинформацией, в своих экспериментах пришла к аналогичным выводам. Исследователи компании обнаружили различия в аннотациях между маркировщиками, которые идентифицируют себя как афроамериканцы и члены сообщества ЛГБТК+, и аннотаторами, которые не идентифицируют себя ни с одной из этих групп.

Иногда предвзятость является преднамеренной — это вопрос народных компромиссов. Например, писатель, стартап, разрабатывающий ИИ-помощника для создания контента, заявляет, что в своих предложениях по написанию статей он отдает приоритет «деловому английскому». Генеральный директор Мэй Хабиб привел пример «обычного быть» в AAVE, времени глагола, которого нет ни в одном другом стиле английского языка.

«Поскольку [привычное be] традиционно не используется в деловом английском и, следовательно, не встречается часто в наших наборах данных, мы бы исправили фразу «Вы все делаете здесь какие-то странные вещи» на «Y». все здесь делают какие-то странные вещи», — рассказал Хабиб VentureBeat по электронной почте. «[Тем не менее] мы вручную гарантировали, что Writer не будет отмечать приветствия и подписи на народном языке. Некоторый разговорный язык более нейтральен с гендерной точки зрения, чем формальный деловой английский, [например], поэтому он более современен и фирменен для компаний».

Влияние на письмо

Когда предубеждения — намеренные или нет — проникают в системы автозаполнения и самовнушения, они могут изменить то, как мы пишем. Огромные масштабы, в которых действуют эти системы, затрудняют (если не делают невозможным) их полное избежание. Умный ответ был ответственный на 10% всех ответов Gmail, отправленных со смартфонов в 2016 году.

В одном из наиболее полных аудит Что касается инструментов автозаполнения, группа исследователей Microsoft провела интервью с добровольцами, которым было предложено высказать свое мнение по поводу автоматически генерируемых ответов в Outlook. Опрошенные сочли некоторые ответы чрезмерно позитивными, неверными в своих предположениях о культуре и гендере и слишком невежливыми для определенных контекстов, например, для корпоративной переписки. Тем не менее, эксперименты в ходе исследования показали, что пользователи с большей вероятностью отдают предпочтение коротким, позитивным и вежливым ответам, предложенным Outlook.

Отдельное исследование, проведенное в Гарварде, показало, что когда людям, пишущим о ресторане, предлагались «положительные» предложения автозаполнения, полученные отзывы, как правило, были более положительными, чем если бы им предлагались отрицательные предложения. «Интересно думать о том, как предиктивные текстовые системы будущего могут помочь людям стать гораздо более эффективными писателями, но нам также нужна прозрачность и подотчетность, чтобы защититься от предложений, которые могут быть предвзятыми или манипулируемыми», — Кен Арнольд, исследователь Гарвардской школы искусств. инженерных и прикладных наук, принимавших участие в исследовании, заявил BBC.

Если и существует всеобъемлющее решение проблемы вредоносного автодополнения, то оно еще не обнаружено. Google решил просто заблокировать предложения местоимений по гендерному признаку в Smart Compose, поскольку система оказалась плохим предсказателем пола и гендерной идентичности получателей. LinkedIn от Microsoft также избегает гендерных местоимений в Smart Replies, своем инструменте прогнозирования сообщений, чтобы предотвратить потенциальные ошибки.

Соавторы Microsoft Исследование предупреждают, что если разработчики систем не устранят недостатки в технологиях автозаполнения заранее, они рискуют не только обидеть пользователей, но и заставить их не доверять системам. «Проектировщикам систем следует изучить стратегии персонализации на индивидуальном уровне и уровне социальных сетей, рассмотреть, как культурные ценности и социальные предубеждения могут быть увековечены их системами, а также изучить моделирование социального взаимодействия, чтобы начать устранять ограничения и проблемы», — написали они. «Наши результаты показывают, что существующие системы текстовых рекомендаций для электронной почты и других [подобных] технологий остаются недостаточно детализированными, чтобы отражать тонкости реальных социальных отношений и коммуникационных потребностей. «

Источник: https://venturebeat.com/2022/01/11/text-autocompletion-systems-aim-to-ease-our-lives-but-there-are-risks/