Системи автозаповнення тексту мають на меті полегшити наше життя, але є ризики

Якщо ви нещодавно написали текстове або електронний лист, швидше за все, штучний інтелект запропонує вам різні синоніми, фрази або способи закінчити речення. Розвиток інструментів автонавіювання на основі штучного інтелекту, таких як Smart Compose від Google, збігся з цифровою трансформацією корпоративних комунікацій, які зараз живуть переважно в Інтернеті. Його оцінка що типовий працівник відповідає приблизно на 40 електронних листів щодня посилає більше 200 повідомлень Slack на тиждень.

Обмін повідомленнями загрожує займати все більшу частину робочого дня в Adobe прив'язка час, який працівники витрачають на відповіді на електронні листи, становить 15.5 годин на тиждень. Постійне перемикання завдань є загрозою для продуктивності, оскільки дослідження показують переваги безперервної роботи. Дослідження з Університету Каліфорнії та Університету Гумбольдта виявили, що працівники можуть втрачати до 23 хвилин на виконання завдання кожного разу, коли їх переривають, подальше подовження робочий день.

Інструменти автонавіювання обіцяють заощадити час, спрощуючи написання повідомлень і відповіді. Наприклад, інтелектуальна відповідь Google пропонує швидкі відповіді на електронні листи, на введення яких зазвичай потрібно кілька хвилин. Але штучний інтелект, що стоїть за цими інструментами, має недоліки, які можуть викликати упередження або небажано впливати на мову, що використовується в обміні повідомленнями.

Зростання автонавіювання та автозаповнення тексту

Інтелектуальний текст – це не нова технологія. Один із перших широко доступних прикладів, T9, який дозволяє формувати слова одним натисканням клавіші для кожної літери, став стандартом для багатьох мобільних телефонів наприкінці 90-х років. Але поява більш складних, масштабованих методів штучного інтелекту в мові призвела до стрибків у якості та широті інструментів самонавіювання.

У 2017 році Google запустив Смарт Відповідь у Gmail, який пізніше компанія перенесла в інші служби Google, включаючи чат і програми сторонніх розробників. За словами Google, штучний інтелект, що стоїть за Smart Reply, генерує пропозиції відповідей «на основі повного контексту розмови», а не просто окремого повідомлення — нібито в результаті надходять пропозиції, які є більш своєчасними та актуальними. Спритна композиція, який пропонує цілі речення в електронних листах, з’явився в Gmail роком пізніше та Google Docs незабаром після цього. Подібна функція наз запропоновані відповіді прийшов у Microsoft Outlook у 2018 році та Teams у 2020 році.

Технологія, що лежить в основі нового урожаю інструментів самонавіювання — які деякі академічні кола називають «комунікацією, опосередкованою штучним інтелектом» — виходить за межі того, що існувало в 90-х. Наприклад, модель штучного інтелекту, що лежить в основі Smart Compose, була створена з використанням мільярдів прикладів електронних листів і працює в хмарі на спеціальному апаратному прискорювачі. У той же час Smart Reply — яка послужила основою для Smart Compose — використовує «ієрархічний підхід» до пропозицій, натхненний тим, як люди розуміють мови та поняття.

«Зміст мови є глибоко ієрархічним, що відображено в структурі самої мови…» Науковий дослідник Google Брайан Строуп та директор з інженерних питань Рей Курцвейл пояснювати у дописі в блозі. «Подумайте про повідомлення: «Ця цікава людина в кафе, яка нам подобається, кинула на мене погляд». … Пропонуючи відповідну відповідь на це повідомлення, ми могли б розглянути значення слова «погляд», яке потенційно є неоднозначним. Це був позитивний жест? У такому випадку ми можемо відповісти: "Круто!" Або це був негативний жест? Якщо так, то чи суб’єкт говорить щось про те, як письменник ставився до негативного обміну? Для тонкого розрізнення потрібне багато інформації про світ і здатність робити обґрунтовані судження. Маючи достатньо прикладів мови, підхід машинного навчання може виявити багато з цих тонких відмінностей. »

Але, як і у випадку з усіма технологіями, навіть найпотужніші інструменти самонавіювання сприйнятливі до недоліків, які з’являються під час процесу розробки та розгортання.

У грудні 2016 року так і було виявлено що функція автозаповнення в Пошуку Google пропонувала ненависні та образливі закінчення для певних пошукових фраз, наприклад «чи є євреї злими?» для фрази «євреї». За словами компанії, виною була алгоритмічна система, яка оновлює пропозиції на основі того, що нещодавно шукали інші користувачі. Хоча Google зрештою впровадив виправлення, компанії знадобилося ще кілька років, щоб заблокувати пропозиції автозаповнення для суперечливі політичні заяви включно з неправдивими заявами про вимоги до голосування та легітимність виборчих процесів.

Розумна відповідь була знайдений запропонувати емодзі «людина в тюрбані» у відповідь на повідомлення, яке містило емодзі зброї. І автозаповнення від Apple на iOS раніше запропонував лише чоловічі емодзі для керівних посад, включаючи генерального директора, головного операційного директора та технічного директора.

Упереджені дані

Недоліки в системах автозаповнення та самонавіювання часто виникають через упереджені дані. Мільйони чи мільярди прикладів, на яких навчаються системи, можуть бути заплямовані текстом токсичні веб-сайти які асоціюють певні статі, раси, етнічностіі релігії з образливими концепціями. Ілюструючи проблему, Кодекс, модель генерації коду, розроблена дослідницькою лабораторією OpenAI, можна запропонувати написати «терорист», коли дають слово «іслам». Ще одна велика модель мови від стартапу AI Cohere схильний асоціювати чоловіків і жінок із стереотипно «чоловічими» та «жіночими» професіями, як-от «чоловік-науковець» і «жінка-господарка».

Анотації в даних можуть створювати нові проблеми або посилювати існуючі. Оскільки багато моделей вивчають мітки, які повідомляють, чи має слово, речення, абзац чи документ певні характеристики, як-от позитивний чи негативний настрій, компанії та дослідники набирають команди людей-анотаторів, щоб позначати приклади, як правило, з краудсорсингових платформ, таких як Amazon Mechanical Turk. Ці анотатори привносять власні набори перспектив — і упереджень — до столу.

У дослідженні, проведеному Інститутом штучного інтелекту Аллена, Карнегі-Меллона та Університетом Вашингтона, вчені виявили, що етикетки частіше анотують фрази на діалекті афроамериканської англійської (AAE), більш токсичні, ніж загальні еквіваленти американської англійської мови, незважаючи на те, що вони зрозумілі. як нетоксичний динаміками AAE. Jigsaw, організація, яка працює під керівництвом материнської компанії Google Alphabet для боротьби з кіберзалякуванням і дезінформацією, дійшла схожих висновків у своїх експериментах. Дослідники компанії виявили відмінності в анотаціях між авторами етикеток, які ідентифікують себе як афроамериканців, і членами спільноти ЛГБТК+, і анотаторами, які не ідентифікують себе як жодна з цих груп.

Іноді упередження є навмисним — це питання компромісів у народній мові. Наприклад, письменник, стартап, який розробляє помічника зі штучним інтелектом для генерації контенту, каже, що надає пріоритет «діловій англійській» у своїх пропозиціях щодо написання. Генеральний директор Мей Хабіб навів приклад «habitual be» в AAVE, дієслівного часу, який не існує в жодному іншому стилі англійської мови.

«Оскільки [звичний be] традиційно не використовувався в діловій англійській мові, і, отже, не часто зустрічається в наших наборах даних, ми б виправили «Ви всі тут робите якісь дивні речі» на «Y». усі тут роблять якісь дивні речі», — сказав Хабіб VentureBeat електронною поштою. «[Тим не менше] ми вручну переконалися, що вітання та підписи на основі народної мови не будуть позначатися Writer. Деякі народні мови більш гендерно нейтральні, ніж офіційна ділова англійська, [наприклад], тому є більш сучасними та фірмовими для компаній».

Вплив на письменство

Коли упередження — навмисні чи ні — потрапляють у системи автозавершення та автопропозицій, вони можуть змінити спосіб, яким ми пишемо. Величезний масштаб, у якому працюють ці системи, робить їх складним (якщо не неможливим) повністю уникнути. Розумна відповідь була відповідальний на 10% усіх відповідей Gmail, надісланих зі смартфонів у 2016 році.

В одному з більш комплексних аудит Інструментів автозаповнення команда дослідників Microsoft провела інтерв’ю з добровольцями, яким було запропоновано висловити свої думки щодо автоматично згенерованих відповідей у ​​Outlook. Опитані виявили, що деякі відповіді були надмірно позитивними, неправильними у їхніх припущеннях щодо культури та статі та надто неввічливими для певних контекстів, наприклад корпоративного листування. Незважаючи на це, експерименти під час дослідження показали, що користувачі частіше віддають перевагу коротким, позитивним і ввічливим відповідям, запропонованим Outlook.

Окреме Гарвардське дослідження показало, що коли люди, які пишуть про ресторан, отримували «позитивні» пропозиції автозавершення, отримані відгуки, як правило, були більш позитивними, ніж якби вони отримували негативні пропозиції. «Захоплююче думати про те, як передбачувані текстові системи майбутнього можуть допомогти людям стати набагато ефективнішими письменниками, але нам також потрібна прозорість і підзвітність, щоб захистити від пропозицій, які можуть бути упередженими або маніпуляційними», – Кен Арнольд, дослідник Гарвардської школи інженерних та прикладних наук, який брав участь у дослідженні, сказав Бі-бі-сі.

Якщо й існує всеосяжне рішення проблеми шкідливого автозавершення, то воно ще не знайдено. Google вирішив просто заблокувати пропозиції займенників на основі статі в Smart Compose, оскільки система виявилася поганою передбачуваною ознакою статі та гендерної ідентичності одержувачів. LinkedIn від Microsoft також уникає гендерних займенників у Smart Replies, своєму інтелектуальному інструменті обміну повідомленнями, щоб запобігти потенційним помилкам.

Співавтори Microsoft вчитися попереджають, що якщо системні розробники не будуть завчасно усунути недоліки в технологіях автозавершення, вони ризикують не тільки образити користувачів, але й викликати у них недовіру до систем. «Розробникам систем слід вивчити стратегії персоналізації на індивідуальному рівні та на рівні соціальних мереж, розглянути, як культурні цінності та суспільні упередження можуть бути закріплені в їхніх системах, і дослідити моделювання соціальної взаємодії, щоб почати вирішення обмежень і проблем», — написали вони. «[O]наші висновки показують, що поточні системи текстових рекомендацій для електронної пошти та інших [подібних] технологій залишаються недостатньо нюансованими, щоб відобразити тонкощі реальних соціальних відносин і комунікаційних потреб. «

Джерело: https://venturebeat.com/2022/01/11/text-autocompletion-systems-aim-to-ease-our-lives-but-there-are-risks/