テキストオートコンプリートシステムは私たちの生活を楽にすることを目的としていますが、リスクがあります

最近テキスト メッセージや電子メールを書いた場合、AI が別の同義語、フレーズ、または文を終わらせる方法を提案する可能性があります。 Google の Smart Compose のような AI を活用した自動提案ツールの台頭は、企業コミュニケーションのデジタル変革と時を同じくして、現在ではそのほとんどがオンラインで行われています。その 推定 一般的な従業員は毎日約 40 通の電子メールに返信し、 送る 週あたり 200 件を超える Slack メッセージ。

Adobe の影響で、メッセージングが勤務時間の大半を占めるようになる恐れがある 紐付 従業員がメールの返信に費やす時間は週に 15.5 時間です。絶え間ないタスクの切り替えは生産性にとって死の前兆であり、中断されない作業の利点が研究で示されています。 研究 カリフォルニア大学とフンボルト大学の研究結果によると、労働者は作業が中断されるたびに、作業に最大 23 分を費やす可能性があります。 さらに長くする 平日。

自己提案ツールは、メッセージの作成と返信を効率化することで時間を節約することを約束します。たとえば、Google のスマート リプライは、通常は入力するのに数分かかるメールへの素早い応答を提案します。しかし、これらのツールの背後にある AI には、バイアスが生じたり、メッセージングで使用される言語に望ましくない形で影響を与えたりする可能性がある欠点があります。

自己提案とテキスト自動補完の増加

予測テキストは新しいテクノロジーではありません。広く利用可能な最初の例の 1 つは、 T9は、各文字に対して 90 回のキー入力で単語を作成できる機能で、XNUMX 年代後半に多くの携帯電話に標準装備されました。しかし、言語におけるより洗練されたスケーラブルな AI 技術の出現により、自己暗示ツールの品質と幅が飛躍的に向上しました。

2017 年に Google が立ち上げた スマートな返信 同社は後に、チャットやサードパーティ製アプリを含む他の Google サービスにもこれを導入しました。 Google によると、Smart Reply の背後にある AI は、単一のメッセージだけではなく「会話の完全なコンテキストに基づいて」返信の提案を生成し、その結果、表面上はよりタイムリーで関連性の高い提案が得られるとのことです。 Smart Composeは、メール内の完全な文を提案するもので、1 年後には Gmail に登場し、Google ドキュメントにも登場しました。 その後すぐに。と呼ばれる同様の機能 提案された返信 2018 年に Microsoft Outlook に、2020 年に Teams に登場しました。

一部の学界では「AI 媒介コミュニケーション」と呼ばれる、新たな自己暗示ツールの背後にあるテクノロジーは、90 年代に存在していたものをはるかに超えています。たとえば、Smart Compose を支える AI モデルは、数十億の電子メールの例を使用して作成され、カスタム アクセラレータ ハードウェア上のクラウドで実行されます。一方、Smart Compose の基盤となった Smart Reply は、人間が言語や概念を理解する方法にヒントを得て、提案に対して「階層的アプローチ」を採用しています。

「言語の内容は深く階層的であり、言語自体の構造に反映されています…」Googleの研究科学者ブライアン・ストロープ氏とエンジニアリングディレクターのレイ・カーツワイル氏 説明します ブログ投稿で。 「『私たちが好きなカフェにいるあの興味深い人が私に一瞥をくれた』というメッセージを考えてみましょう。…このメッセージに対する適切な応答を提案する際に、潜在的に曖昧な「一瞥」という言葉の意味を考慮するかもしれません。それはポジティブなジェスチャーでしたか？その場合、私たちは「クール！」と反応するかもしれません、それともそれは否定的なジェスチャーでしたか？もしそうなら、被験者は否定的な交換について筆者がどのように感じたかについて何か述べていますか?微妙な区別をするには、世界に関する多くの情報と、合理的な判断を下す能力が必要です。言語の例が十分にあれば、機械学習アプローチでこれらの微妙な違いの多くを発見できます。 」

しかし、すべてのテクノロジーと同様に、最も高性能な自己提案ツールであっても、開発 (および展開) プロセス中に発生する欠陥の影響を受けやすくなります。

2016 年 XNUMX 月には、 明らかになった Google 検索のオートコンプリート機能は、「ユダヤ人は悪ですか?」など、特定の検索フレーズに対して憎しみに満ちた不快な語尾を提案していました。 「ユダヤ人である」というフレーズのために。同社によると、他のユーザーが最近検索した内容に基づいて候補を更新するアルゴリズム システムに問題があったという。 Google は最終的に修正を実装しましたが、同社がオートコンプリートの提案をブロックするまでにさらに数年かかりました。 物議を醸す政治的発言 これには、投票要件や選挙プロセスの正当性に関する虚偽の主張が含まれます。

スマート リプライは、 発見 銃の絵文字を含むメッセージに応答して「ターバンをかぶっている人」の絵文字を提供する。そして iOS 上の Apple のオートコンプリート 前に CEO、COO、CTO などの幹部の役割には男性の絵文字のみを提案しました。

偏ったデータ

オートコンプリートおよび自動提案システムの欠陥は、偏ったデータから発生することがよくあります。システムが学習する数百万から数十億の例は、次のテキストによって汚染される可能性があります。 有害なウェブサイト 特定の性別や人種を連想させるもの、 民族、有害な概念を持つ宗教。問題を図解すると、 古写本研究機関OpenAIが開発したコード生成モデルで、「イスラム」という単語を入力すると「テロリスト」と書くよう促すことができる。 AI スタートアップによるもう 1 つの大規模な言語モデル 密着 男性と女性は、「男性の科学者」と「女性の家政婦」のように、ステレオタイプの「男性」と「女性」の職業を結びつける傾向があります。

データ内の注釈は、新たな問題を引き起こしたり、既存の問題を悪化させたりする可能性があります。多くのモデルは、単語、文、段落、文書がポジティブな感情かネガティブな感情かなど、特定の特徴を持っているかどうかを伝えるラベルから学習するため、企業や研究者は、通常、Amazon Mechanical Turk などのクラウドソーシング プラットフォームから、例にラベルを付けるヒューマン アノテーターのチームを募集します。これらのアノテーターは、独自の視点と偏見をテーブルにもたらします。

アレンAI研究所、カーネギーメロン大学、ワシントン大学の研究によると、科学者らは、アフリカ系アメリカ人英語（AAE）方言のフレーズは理解されているにもかかわらず、一般的なアメリカ英語に相当するものよりも有害な注釈を付ける可能性が高いことを発見した。 AAE 話者にとっては無毒であると考えられます。 ジグソーパズルGoogleの親会社であるAlphabetの下でネットいじめや偽情報対策に取り組んでいる組織も、実験で同様の結論を導き出した。同社の研究者らは、アフリカ系アメリカ人およびLGBTQ+コミュニティのメンバーであると自認するラベラーと、それらのグループのいずれでもないと自認するアノテーターとの間のアノテーションの違いを発見した。

場合によっては、バイアスが意図的に行われることもあります。これは、言語のトレードオフの問題です。例えば、 著者は、コンテンツ生成用の AI アシスタントを開発しているスタートアップで、ライティングの提案では「ビジネス英語」を優先していると述べています。 CEO のメイ・ハビブ氏は、他の英語スタイルには存在しない動詞時制である AAVE の「習慣的 be」の例を挙げました。

「[習慣的な be] は伝統的にビジネス英語では使用されていないため、データセットでは頻繁に表示されないため、「皆さん、ここで奇妙なことをしています」を「Y」に修正します。みんなここで奇妙なことをしているんだ」とハビブ氏は電子メールで VentureBeat に語った。 「[そうは言っても]私たちは、言葉ベースの挨拶や承認が Writer によってフラグが立てられないように手動で確認しました。一部の言語は正式なビジネス英語よりも性別に中立であり、企業にとってはより現代的でブランドに合ったものです。」

執筆に影響を与える

意図的であろうとなかろうと、バイアスがオートコンプリートや自己提案システムに入り込むと、私たちの書き方が変わってしまう可能性があります。これらのシステムは巨大な規模で動作するため、完全に回避することは（不可能ではないにしても）困難になります。以前のスマート リプライ 責任 10 年にスマートフォンから送信されたすべての Gmail 返信の 2016% を占めています。

より包括的なものの 1 つでは、 監査 オートコンプリート ツールの開発に向けて、マイクロソフトの研究者チームは、Outlook で自動生成された返信についての意見を求められたボランティアにインタビューを実施しました。インタビュー対象者は、返信の一部が肯定的すぎる、文化やジェンダーに関する思い込みが間違っている、企業通信などの特定の状況では失礼すぎると感じました。それでも、調査中の実験では、ユーザーは Outlook が提案する短くて前向きで丁寧な返信を好む傾向が高いことが示されました。

ハーバード大学の別の研究では、レストランについて書いている人々に「肯定的な」オートコンプリートの提案が提示された場合、結果として得られるレビューは、否定的な提案が提示された場合よりも肯定的な傾向があることがわかりました。ハーバード大学大学院の研究者、ケン・アーノルド氏は「未来の予測テキストシステムが、人々がより有能なライターになるのにどのように役立つかを考えるのは刺激的だが、偏見や操作の可能性がある提案から身を守るための透明性と説明責任も必要だ」と述べた。研究に携わった工学および応用科学、 言われ BBC

有害なオートコンプリートの問題に対する包括的な解決策があるとしても、それはまだ発見されていません。 Google は、Smart Compose で性別に基づく代名詞の提案を単純にブロックすることを選択しました。これは、このシステムが受信者の性別と性同一性を予測するのに不十分であることが判明したためです。 Microsoft の LinkedIn も、潜在的な失策を防ぐために、予測メッセージング ツールである Smart Reply で性別を表す代名詞を避けています。

Microsoft の共著者 研究 システム設計者がオートコンプリート技術の欠点に積極的に対処しない場合、ユーザーを怒らせるだけでなく、システムに対する不信感を抱かせる危険があると警告しています。 「システム設計者は、個人レベルと社会ネットワークレベルでパーソナライゼーション戦略を検討し、文化的価値観と社会的偏見がシステムによってどのように永続するかを検討し、限界と問題に対処し始めるために社会的相互作用モデリングを検討する必要がある」と彼らは書いている。 「今回の調査結果は、電子メールやその他の技術向けの現在のテキスト推奨システムは、現実世界の社会関係やコミュニケーションのニーズの微妙な点を反映するには不十分なままであることを示しています。 「

出典: https://venturebeat.com/2022/01/11/text-autocompletion-systems-aim-to-ease-our-lives-but-there-are-risks/