Les systèmes d'auto-complétion de texte visent à nous faciliter la vie, mais il y a des risques

Si vous avez récemment écrit un message texte ou un e-mail, il est probable que l'IA vous suggère différents synonymes, expressions ou façons de terminer une phrase. L’essor des outils d’autosuggestion basés sur l’IA, comme Smart Compose de Google, a coïncidé avec la transformation numérique des communications d’entreprise, qui se déroulent désormais principalement en ligne. C'est estimé que le travailleur type répond à environ 40 courriels chaque jour et envoie plus de 200 messages Slack par semaine.

La messagerie menace de prendre une part croissante de la journée de travail, avec Adobe pigeage le temps que les travailleurs passent à répondre aux e-mails à raison de 15.5 heures par semaine. Le changement constant de tâches sonne le glas de la productivité, dont les études montrent les avantages d'un travail ininterrompu. Recherche de l'Université de Californie et de l'Université Humboldt ont découvert que les travailleurs peuvent perdre jusqu'à 23 minutes sur une tâche à chaque fois qu'ils sont interrompus, allongement supplémentaire la journée de travail.

Les outils de suggestion automatique promettent de gagner du temps en rationalisant la rédaction des messages et la réponse. La réponse intelligente de Google, par exemple, suggère des réponses rapides aux e-mails qui prendraient normalement quelques minutes à rédiger. Mais l’IA derrière ces outils présente des lacunes qui pourraient introduire des biais ou influencer de manière indésirable le langage utilisé dans la messagerie.

La croissance de l’autosuggestion et de l’auto-complétion de texte

Le texte prédictif n’est pas une nouvelle technologie. L'un des premiers exemples largement disponibles, T9, qui permet de former des mots à partir d’une seule pression sur une touche pour chaque lettre, est devenu standard sur de nombreux téléphones portables à la fin des années 90. Mais l’avènement de techniques d’IA linguistiques plus sophistiquées et évolutives a permis d’améliorer la qualité – et l’étendue – des outils d’autosuggestion.

En 2017, Google a lancé Réponse intelligente dans Gmail, que la société a ensuite intégré à d'autres services Google, notamment Chat et des applications tierces. Selon Google, l'IA derrière Smart Reply génère des suggestions de réponse « basées sur le contexte complet d'une conversation », et non sur un seul message, ce qui donne apparemment lieu à des suggestions plus opportunes et plus pertinentes. Smart Compose, qui suggère des phrases complètes dans les e-mails, est arrivé dans Gmail un an plus tard et dans Google Docs peu de temps après. Une fonctionnalité similaire appelée réponses suggérées est arrivé sur Microsoft Outlook en 2018 et Teams en 2020.

La technologie derrière la nouvelle génération d’outils d’autosuggestion – que certains cercles universitaires appellent « communication médiée par l’IA » – va bien au-delà de ce qui existait dans les années 90. Par exemple, le modèle d'IA qui sous-tend Smart Compose a été créé à partir de milliards d'exemples d'e-mails et s'exécute dans le cloud sur du matériel accélérateur personnalisé. Pendant ce temps, Smart Reply – qui a servi de base à Smart Compose – adopte une « approche hiérarchique » des suggestions, inspirée par la façon dont les humains comprennent les langages et les concepts.

"Le contenu du langage est profondément hiérarchique, et se reflète dans la structure du langage lui-même..." Brian Strope, chercheur chez Google, et Ray Kurzweil, directeur de l'ingénierie. expliquer dans un article de blog. « Considérez le message : « Cette personne intéressante au café que nous aimons m'a jeté un coup d'œil. » … En proposant une réponse appropriée à ce message, nous pourrions considérer la signification du mot « regard », qui est potentiellement ambigu. Était-ce un geste positif ? Dans ce cas, nous pourrions répondre : « Cool ! » Ou était-ce un geste négatif ? Si oui, le sujet dit-il quelque chose sur ce que l'écrivain a ressenti à propos de l'échange négatif ? De nombreuses informations sur le monde et la capacité de porter des jugements raisonnés sont nécessaires pour établir des distinctions subtiles. Avec suffisamment d’exemples de langage, une approche d’apprentissage automatique peut découvrir bon nombre de ces distinctions subtiles. »

Mais comme pour toutes les technologies, même les outils d’autosuggestion les plus performants sont susceptibles de présenter des défauts qui apparaissent au cours du processus de développement et de déploiement.

En décembre 2016, c'était révélé que la fonction de saisie semi-automatique de la recherche Google suggérait des terminaisons haineuses et offensantes pour des expressions de recherche spécifiques, comme « les Juifs sont-ils mauvais ? pour l'expression «sont juifs». Selon l'entreprise, la faute était un système algorithmique qui met à jour les suggestions en fonction de ce que d'autres utilisateurs ont recherché récemment. Bien que Google ait finalement mis en œuvre un correctif, il a fallu plusieurs années supplémentaires à l'entreprise pour bloquer les suggestions de saisie semi-automatique pour déclarations politiques controversées y compris de fausses déclarations sur les conditions de vote et la légitimité des processus électoraux.

La réponse intelligente a été trouvé pour proposer l’emoji « personne portant un turban » en réponse à un message comprenant un emoji d’arme à feu. Et la saisie semi-automatique d'Apple sur iOS précédemment suggéré uniquement des emoji masculins pour les rôles de direction, notamment PDG, COO et CTO.

Données biaisées

Les failles des systèmes d’auto-complétion et d’autosuggestion proviennent souvent de données biaisées. Les millions, voire les milliards d'exemples à partir desquels les systèmes apprennent peuvent être entachés de textes provenant de sites Web toxiques qui associent certains genres, races, ethnies, et les religions aux concepts blessants. Illustrant le problème, Manuscrit, un modèle de génération de code développé par le laboratoire de recherche OpenAI, peut être invité à écrire « terroriste » lorsqu'il est nourri avec le mot « Islam ». Un autre grand modèle de langage d'une startup d'IA Adhérer a tendance à associer les hommes et les femmes à des professions stéréotypées « masculines » et « féminines », comme « homme scientifique » et « femme de ménage ».

Les annotations dans les données peuvent introduire de nouveaux problèmes ou exacerber ceux existants. Étant donné que de nombreux modèles apprennent à partir d'étiquettes indiquant si un mot, une phrase, un paragraphe ou un document possède certaines caractéristiques, comme un sentiment positif ou négatif, les entreprises et les chercheurs recrutent des équipes d'annotateurs humains pour étiqueter les exemples, généralement à partir de plateformes de crowdsourcing comme Amazon Mechanical Turk. Ces annotateurs apportent leurs propres perspectives – et préjugés – à la table.

Dans une étude de l'Allen Institute for AI, de Carnegie Mellon et de l'Université de Washington, des scientifiques ont découvert que les étiqueteurs sont plus susceptibles d'annoter des phrases dans le dialecte anglais afro-américain (AAE), plus toxiques que leurs équivalents anglais américains généraux, bien qu'ils soient compris. comme non toxique par les haut-parleurs AAE. scie sauteuse, l'organisation travaillant sous la société mère de Google, Alphabet, pour lutter contre la cyberintimidation et la désinformation, a tiré des conclusions similaires dans ses expériences. Les chercheurs de l’entreprise ont découvert des différences dans les annotations entre les étiqueteurs qui s’identifient comme Afro-Américains et membres de la communauté LGBTQ+ et les annotateurs qui ne s’identifient comme aucun de ces groupes.

Parfois, le parti pris est intentionnel – une question de compromis vernaculaire. Par exemple, écrivain, une startup développant un assistant IA pour la génération de contenu, affirme donner la priorité à « l’anglais des affaires » dans ses suggestions de rédaction. Le PDG May Habib a donné l'exemple du « habitual be » dans AAVE, un temps verbal qui n'existe dans aucun autre style d'anglais.

"Étant donné que [l'habituel be] n'est traditionnellement pas utilisé en anglais des affaires et n'apparaît donc pas très fréquemment dans nos ensembles de données, nous corrigerions 'Vous faites tous des choses étranges ici' par 'Y'. tous font des choses étranges ici », a déclaré Habib à VentureBeat par e-mail. « [Cela dit,] nous avons veillé manuellement à ce que les salutations et les signatures vernaculaires ne soient pas signalées par Writer. Certaines langues vernaculaires sont plus neutres en matière de genre que l'anglais formel des affaires, [par exemple] et sont donc plus modernes et plus adaptées à la marque des entreprises.

Influencer l'écriture

Lorsque des préjugés – intentionnels ou non – se retrouvent dans les systèmes d’auto-complétion et d’autosuggestion, ils peuvent changer notre façon d’écrire. L’échelle énorme à laquelle ces systèmes fonctionnent rend difficile (voire impossible) leur évitement complet. La réponse intelligente était responsables pour 10 % de toutes les réponses Gmail envoyées depuis des smartphones en 2016.

Dans l'un des plus complets audits d'outils de saisie semi-automatique, une équipe de chercheurs de Microsoft a mené des entretiens avec des volontaires à qui il a été demandé de donner leur avis sur les réponses générées automatiquement dans Outlook. Les personnes interrogées ont trouvé certaines réponses trop positives, fausses dans leurs hypothèses sur la culture et le genre, et trop impolies pour certains contextes, comme les correspondances d'entreprise. Malgré tout, les expériences menées au cours de l’étude ont montré que les utilisateurs étaient plus susceptibles de privilégier les réponses courtes, positives et polies suggérées par Outlook.

Une étude distincte de Harvard a révélé que lorsque les personnes écrivant sur un restaurant recevaient des suggestions de saisie semi-automatique « positives », les avis qui en résultaient avaient tendance à être plus positifs que s'ils recevaient des suggestions négatives. "Il est passionnant de réfléchir à la façon dont les systèmes de texte prédictifs du futur pourraient aider les gens à devenir des écrivains beaucoup plus efficaces, mais nous avons également besoin de transparence et de responsabilité pour nous protéger contre les suggestions qui pourraient être biaisées ou manipulées", Ken Arnold, chercheur à la School of Harvard. Ingénierie et Sciences Appliquées qui a participé à l'étude, dit la BBC.

S’il existe une solution globale au problème de la saisie semi-automatique nuisible, elle n’a pas encore été découverte. Google a choisi de simplement bloquer les suggestions de pronoms basées sur le genre dans Smart Compose, car le système s'est avéré être un mauvais prédicteur du sexe et de l'identité de genre des destinataires. LinkedIn de Microsoft évite également les pronoms sexués dans Smart Replies, son outil de messagerie prédictive, pour éviter d'éventuelles erreurs.

Les coauteurs du Microsoft étude avertissent que si les concepteurs de systèmes ne remédient pas de manière proactive aux lacunes des technologies d’auto-complétion, ils courront le risque non seulement d’offenser les utilisateurs, mais aussi de les amener à se méfier des systèmes. « Les concepteurs de systèmes devraient explorer des stratégies de personnalisation au niveau individuel et des réseaux sociaux, considérer comment les valeurs culturelles et les préjugés sociétaux peuvent être perpétués par leurs systèmes, et explorer la modélisation des interactions sociales afin de commencer à aborder les limites et les problèmes », ont-ils écrit. «[Nos] résultats indiquent que les systèmes actuels de recommandation de texte pour le courrier électronique et d'autres technologies [similaires] restent insuffisamment nuancés pour refléter les subtilités des relations sociales et des besoins de communication du monde réel. "

Source : https://venturebeat.com/2022/01/11/text-autocompletion-systems-aim-to-ease-our-lives-but-there-are-risks/