Os sistemas de preenchimento automático de texto visam facilitar nossas vidas, mas existem riscos

Se você escreveu uma mensagem de texto ou e-mail recentemente, é provável que a IA sugira diferentes sinônimos, frases ou maneiras de terminar uma frase. A ascensão de ferramentas de sugestão automática baseadas em IA, como o Smart Compose do Google, coincidiu com a transformação digital das comunicações empresariais, que agora vivem principalmente online. Isso é estimado que o trabalhador típico responde a cerca de 40 e-mails por dia e envia mais de 200 mensagens do Slack por semana.

As mensagens ameaçam consumir uma parte cada vez maior do dia de trabalho, com a Adobe pegging a quantidade de tempo que os trabalhadores gastam respondendo e-mails é de 15.5 horas por semana. A constante troca de tarefas é um sinal de morte para a produtividade, cujos estudos mostram benefícios do trabalho ininterrupto. Estudos da Universidade da Califórnia e da Universidade Humboldt descobriram que os trabalhadores podem perder até 23 minutos em uma tarefa cada vez que são interrompidos, alongamento adicional a jornada de trabalho.

As ferramentas de sugestão automática prometem economizar tempo, agilizando a escrita e a resposta de mensagens. A Resposta Inteligente do Google, por exemplo, sugere respostas rápidas a e-mails que normalmente levariam alguns minutos para serem digitados. Mas a IA por detrás destas ferramentas tem deficiências que podem introduzir preconceitos ou influenciar a linguagem utilizada nas mensagens de formas indesejáveis.

O crescimento da sugestão automática e do preenchimento automático de texto

A previsão de texto não é uma tecnologia nova. Um dos primeiros exemplos amplamente disponíveis, T9, que permite a formação de palavras pressionando uma única tecla para cada letra, tornou-se padrão em muitos celulares no final dos anos 90. Mas o advento de técnicas de IA mais sofisticadas e escaláveis ​​na linguagem levou a saltos na qualidade — e amplitude — das ferramentas de autossugestão.

Em 2017, o Google lançou resposta inteligente no Gmail, que a empresa posteriormente trouxe para outros serviços do Google, incluindo bate-papo e aplicativos de terceiros. De acordo com o Google, a IA por trás do Smart Reply gera sugestões de resposta “com base no contexto completo de uma conversa”, e não apenas em uma única mensagem – resultando ostensivamente em sugestões que são mais oportunas e relevantes. Composição Inteligente, que sugere frases completas em e-mails, chegou ao Gmail um ano depois e ao Google Docs logo após. Um recurso semelhante chamado respostas sugeridas chegou ao Microsoft Outlook em 2018 e ao Teams em 2020.

A tecnologia por trás da nova safra de ferramentas de auto-sugestão – que alguns círculos acadêmicos chamam de “comunicação mediada por IA” – está muito além do que existia nos anos 90. Por exemplo, o modelo de IA que sustenta o Smart Compose foi criado usando bilhões de exemplos de e-mails e é executado na nuvem em hardware acelerador personalizado. Enquanto isso, o Smart Reply – que serviu de base para o Smart Compose – adota uma “abordagem hierárquica” para sugestões, inspirada na forma como os humanos entendem linguagens e conceitos.

“O conteúdo da linguagem é profundamente hierárquico, refletido na própria estrutura da linguagem…” Brian Strope, pesquisador do Google, e Ray Kurzweil, diretor de engenharia обяснявам em uma postagem do blog. “Considere a mensagem: ‘Aquela pessoa interessante do café de quem gostamos deu-me um olhar.’… Ao propor uma resposta apropriada a esta mensagem, poderíamos considerar o significado da palavra ‘olhar’, que é potencialmente ambíguo. Foi um gesto positivo? Nesse caso, poderíamos responder: ‘Legal!’ Ou foi um gesto negativo? Em caso afirmativo, o sujeito diz alguma coisa sobre como o escritor se sentiu em relação à troca negativa? Muitas informações sobre o mundo e a capacidade de fazer julgamentos fundamentados são necessárias para fazer distinções sutis. Dados exemplos suficientes de linguagem, uma abordagem de aprendizado de máquina pode descobrir muitas dessas distinções sutis. ”

Mas, como acontece com todas as tecnologias, mesmo as ferramentas de sugestão automática mais capazes são suscetíveis a falhas que surgem durante o processo de desenvolvimento – e implantação.

Em dezembro de 2016, foi revelou que o recurso de preenchimento automático da Pesquisa Google sugeria finais odiosos e ofensivos para frases de pesquisa específicas, como “os judeus são maus?” para a frase “são judeus”. Segundo a empresa, a culpa foi de um sistema algorítmico que atualiza sugestões com base no que outros usuários pesquisaram recentemente. Embora o Google tenha implementado uma correção, a empresa levou vários anos para bloquear sugestões de preenchimento automático para declarações políticas controversas incluindo falsas alegações sobre os requisitos de voto e a legitimidade dos processos eleitorais.

A Resposta Inteligente foi encontrado para oferecer o emoji “pessoa usando turbante” em resposta a uma mensagem que incluía um emoji de arma. E o preenchimento automático da Apple no iOS anteriormente sugeriu apenas emojis masculinos para funções executivas, incluindo CEO, COO e CTO.

Dados tendenciosos

Falhas nos sistemas de preenchimento automático e sugestão automática geralmente surgem de dados tendenciosos. Os milhões a bilhões de exemplos com os quais os sistemas aprendem podem estar contaminados com textos de sites tóxicos que associam determinados gêneros, raças, etniase religiões com conceitos prejudiciais. Ilustrando o problema, Códice, um modelo de geração de código desenvolvido pelo laboratório de pesquisa OpenAI, pode ser solicitado a escrever “terrorista” quando alimentado com a palavra “Islã”. Outro grande modelo de linguagem da startup de IA Coerente tende a associar homens e mulheres a ocupações estereotipadas “masculinas” e “femininas”, como “cientista” e “dona de casa”.

As anotações nos dados podem introduzir novos problemas — ou agravar os existentes. Como muitos modelos aprendem com rótulos que comunicam se uma palavra, frase, parágrafo ou documento tem certas características, como um sentimento positivo ou negativo, empresas e pesquisadores recrutam equipes de anotadores humanos para rotular exemplos, normalmente em plataformas de crowdsourcing como Amazon Mechanical Turk. Esses anotadores trazem seus próprios conjuntos de perspectivas — e preconceitos — para a mesa.

Em um estudo do Allen Institute for AI, Carnegie Mellon e da Universidade de Washington, os cientistas descobriram que os rotuladores são mais propensos a anotar frases no dialeto do inglês afro-americano (AAE) mais tóxicas do que os equivalentes do inglês americano geral - apesar de serem compreendidos. como não tóxico pelos alto-falantes AAE. Serra de vaivém, a organização que trabalha sob a Alphabet, empresa-mãe do Google, para combater o cyberbullying e a desinformação, tirou conclusões semelhantes nas suas experiências. Pesquisadores da empresa descobriram diferenças nas anotações entre rotuladores que se identificam como afro-americanos e membros da comunidade LGBTQ+ e anotadores que não se identificam como nenhum desses grupos.

Às vezes, o preconceito é intencional – uma questão de compensações vernáculas. Por exemplo, Escritor, startup que desenvolve um assistente de IA para geração de conteúdo, afirma que prioriza “inglês para negócios” em suas sugestões de redação. CEO May Habib deu o exemplo do “habitual be” em AAVE, um tempo verbal que não existe em nenhum outro estilo de inglês.

“Como [o habitual be] tradicionalmente não tem sido usado em inglês para negócios e, portanto, não aparece com alta frequência em nossos conjuntos de dados, corrigiríamos 'Vocês estão fazendo algumas coisas estranhas aqui' para 'Y' todos estão fazendo coisas estranhas aqui'”, disse Habib ao VentureBeat por e-mail. “[Dito isso] garantimos manualmente que saudações e aprovações baseadas no vernáculo não seriam sinalizadas pelo Writer. Algum vernáculo é mais neutro em termos de gênero do que o inglês formal para negócios, [por exemplo], então é mais moderno e de marca para as empresas.”

Influenciando a escrita

Quando preconceitos – intencionais ou não – chegam aos sistemas de preenchimento automático e sugestão automática, eles podem mudar a maneira como escrevemos. A enorme escala em que estes sistemas operam torna difícil (se não impossível) evitá-los completamente. A resposta inteligente era responsável por 10% de todas as respostas do Gmail enviadas de smartphones em 2016.

Em um dos mais abrangentes auditorias das ferramentas de preenchimento automático, uma equipe de pesquisadores da Microsoft conduziu entrevistas com voluntários que foram orientados a dar suas opiniões sobre as respostas geradas automaticamente no Outlook. Os entrevistados consideraram que algumas das respostas eram demasiado positivas, erradas nas suas suposições sobre cultura e género, e demasiado indelicadas para certos contextos, como correspondências corporativas. Mesmo assim, os experimentos durante o estudo mostraram que os usuários eram mais propensos a preferir respostas curtas, positivas e educadas sugeridas pelo Outlook.

Um estudo separado de Harvard descobriu que quando as pessoas que escreviam sobre um restaurante recebiam sugestões “positivas” de preenchimento automático, as avaliações resultantes tendiam a ser mais positivas do que se recebessem sugestões negativas. “É emocionante pensar em como os sistemas preditivos de texto do futuro podem ajudar as pessoas a se tornarem escritores muito mais eficazes, mas também precisamos de transparência e responsabilidade para nos proteger contra sugestões que possam ser tendenciosas ou manipuladas”, Ken Arnold, pesquisador da Escola de Harvard de Engenharia e Ciências Aplicadas que esteve envolvido no estudo, disse a BBC.

Se existe uma solução abrangente para o problema do preenchimento automático prejudicial, ela ainda não foi descoberta. O Google optou por simplesmente bloquear sugestões de pronomes baseados em gênero no Smart Compose porque o sistema provou ser um mau preditor dos sexos e identidades de gênero dos destinatários. O LinkedIn da Microsoft também evita pronomes de gênero nas Respostas Inteligentes, sua ferramenta de mensagens preditivas, para evitar possíveis erros.

Os co-autores do Microsoft estudo alertam que se os projetistas de sistemas não abordarem proativamente as deficiências nas tecnologias de preenchimento automático, eles correrão o risco não apenas de ofender os usuários, mas também de fazer com que eles desconfiem dos sistemas. “Os designers de sistemas devem explorar estratégias de personalização ao nível individual e da rede social, considerar como os valores culturais e os preconceitos sociais podem ser perpetuados pelos seus sistemas e explorar a modelação da interacção social para começar a abordar as limitações e problemas”, escreveram. “[Nossas] descobertas indicam que os atuais sistemas de recomendação de texto para e-mail e outras tecnologias semelhantes permanecem insuficientemente matizados para refletir as sutilezas das relações sociais e das necessidades de comunicação do mundo real. “

Fonte: https://venturebeat.com/2022/01/11/text-autocompletion-systems-aim-to-ease-our-lives-but-there-are-risks/