Los sistemas de autocompletado de texto pretenden facilitarnos la vida, pero existen riesgos

Si ha escrito un mensaje de texto o un correo electrónico recientemente, es probable que AI le sugiera diferentes sinónimos, frases o formas de terminar una oración. El auge de las herramientas de autosugestión impulsadas por IA, como Smart Compose de Google, ha coincidido con la transformación digital de las comunicaciones empresariales, que ahora viven principalmente en línea. Es estimado que el trabajador típico responde a unos 40 correos electrónicos cada día y envía más de 200 mensajes de Slack por semana.

La mensajería amenaza con consumir una parte cada vez mayor de la jornada laboral, con Adobe vinculación la cantidad de tiempo que los trabajadores dedican a responder correos electrónicos a las 15.5 horas a la semana. El cambio constante de tareas es una sentencia de muerte para la productividad, cuyos estudios muestran los beneficios del trabajo ininterrumpido. Investigación de la Universidad de California y la Universidad Humboldt descubrieron que los trabajadores pueden perder hasta 23 minutos en una tarea cada vez que son interrumpidos, alargando aún más la jornada laboral

Las herramientas de autosugestión prometen ahorrar tiempo al agilizar la redacción y respuesta de mensajes. Smart Reply de Google, por ejemplo, sugiere respuestas rápidas a correos electrónicos que normalmente tardarían unos minutos en escribirse. Pero la IA detrás de estas herramientas tiene deficiencias que podrían introducir sesgos o influir en el lenguaje utilizado en los mensajes de formas no deseadas.

El crecimiento de la autosugestión y el autocompletado de texto

El texto predictivo no es una tecnología nueva. Uno de los primeros ejemplos ampliamente disponibles, T9, que permite que se formen palabras con una sola pulsación de tecla para cada letra, vino de serie en muchos teléfonos móviles a finales de los 90. Pero el advenimiento de técnicas de IA más sofisticadas y escalables en el lenguaje llevó a saltos en la calidad y amplitud de las herramientas de autosugestión.

En 2017, Google lanzó Respuesta inteligente en Gmail, que la empresa luego llevó a otros servicios de Google, incluidos Chat y aplicaciones de terceros. Según Google, la IA detrás de Smart Reply genera sugerencias de respuesta "basadas en el contexto completo de una conversación", no solo en un solo mensaje, lo que aparentemente resulta en sugerencias que son más oportunas y relevantes. Inteligente componer, que sugiere oraciones completas en correos electrónicos, llegó a Gmail un año después y Google Docs poco después. Una característica similar llamada respuestas sugeridas llegó a Microsoft Outlook en 2018 y Teams en 2020.

La tecnología detrás de la nueva cosecha de herramientas de autosugestión, a la que algunos círculos académicos se refieren como "comunicación mediada por IA", va más allá de lo que existía en los años 90. Por ejemplo, el modelo de IA que sustenta Smart Compose se creó utilizando miles de millones de ejemplos de correos electrónicos y se ejecuta en la nube en hardware acelerador personalizado. Mientras tanto, Smart Reply, que sirvió como base para Smart Compose, adopta un "enfoque jerárquico" para las sugerencias, inspirado en cómo los humanos entienden los idiomas y los conceptos.

“El contenido del lenguaje es profundamente jerárquico, lo que se refleja en la estructura del lenguaje mismo…” Brian Strope, científico investigador de Google, y Ray Kurzweil, director de ingeniería explicar en una entrada de blog. “Considere el mensaje: 'Esa persona interesante en el café que nos gusta me echó un vistazo'. … Al proponer una respuesta adecuada a este mensaje, podríamos considerar el significado de la palabra 'mirada', que es potencialmente ambigua. ¿Fue un gesto positivo? En ese caso, podríamos responder, '¡Genial!' ¿O fue un gesto negativo? Si es así, ¿dice algo el sujeto sobre cómo se sintió el escritor sobre el intercambio negativo? Se necesita mucha información sobre el mundo y la capacidad de hacer juicios razonados para hacer distinciones sutiles. Con suficientes ejemplos de lenguaje, un enfoque de aprendizaje automático puede descubrir muchas de estas distinciones sutiles. ”

Pero como con todas las tecnologías, incluso las herramientas de autosugestión más capaces son susceptibles a fallas que surgen durante el proceso de desarrollo e implementación.

En diciembre de 2016, fue revelado que la función de autocompletar de la Búsqueda de Google sugirió terminaciones odiosas y ofensivas para frases de búsqueda específicas, como "¿son malvados los judíos?" para la frase “son judíos”. Según la compañía, la falla fue un sistema algorítmico que actualiza las sugerencias en función de lo que otros usuarios han buscado recientemente. Si bien Google finalmente implementó una solución, la empresa tardó varios años más en bloquear las sugerencias de autocompletado para declaraciones políticas controvertidas incluidas afirmaciones falsas sobre los requisitos para votar y la legitimidad de los procesos electorales.

Respuesta inteligente ha sido encontrado para ofrecer el emoji de "persona con turbante" en respuesta a un mensaje que incluía un emoji de pistola. Y el autocompletado de Apple en iOS previamente sugirió solo emoji masculinos para roles ejecutivos, incluidos CEO, COO y CTO.

datos sesgados

Las fallas en los sistemas de autocompletado y autosugestión a menudo surgen de datos sesgados. Los millones o miles de millones de ejemplos de los que aprenden los sistemas pueden estar contaminados con texto de sitios web tóxicos que asocian ciertos géneros, razas, etnias, y religiones con conceptos hirientes. Ilustrando el problema, Códice, un modelo de generación de código desarrollado por el laboratorio de investigación OpenAI, se le puede solicitar que escriba "terrorista" cuando se introduce la palabra "Islam". Otro gran modelo de lenguaje de la puesta en marcha de IA Adherirse tiende a asociar a hombres y mujeres con ocupaciones estereotípicamente "masculinas" y "femeninas", como "científico masculino" y "ama de llaves".

Las anotaciones en los datos pueden introducir nuevos problemas o exacerbar los existentes. Debido a que muchos modelos aprenden de etiquetas que comunican si una palabra, oración, párrafo o documento tiene ciertas características, como un sentimiento positivo o negativo, las empresas y los investigadores reclutan equipos de anotadores humanos para etiquetar ejemplos, generalmente de plataformas de crowdsourcing como Amazon Mechanical Turk. Estos anotadores aportan sus propios conjuntos de perspectivas y sesgos a la mesa.

En un estudio del Instituto Allen para IA, Carnegie Mellon y la Universidad de Washington, los científicos descubrieron que es más probable que los rotuladores anoten frases en el dialecto del inglés afroamericano (AAE) más tóxicas que los equivalentes generales del inglés estadounidense, a pesar de que se entienden. como no tóxico por los altavoces AAE. Rompecabezas, la organización que trabaja con la empresa matriz de Google, Alphabet, para abordar el ciberacoso y la desinformación, ha llegado a conclusiones similares en sus experimentos. Los investigadores de la empresa han descubierto diferencias en las anotaciones entre los etiquetadores que se identifican a sí mismos como afroamericanos y miembros de la comunidad LGBTQ+ frente a los anotadores que no se identifican como ninguno de esos grupos.

A veces, el sesgo es intencional, una cuestión de compensaciones vernáculas. Por ejemplo, Escritor, una startup que desarrolla un asistente de inteligencia artificial para la generación de contenido, dice que prioriza el "inglés comercial" en sus sugerencias de escritura. La CEO May Habib puso el ejemplo del “habitual be” en AAVE, un tiempo verbal que no existe en ningún otro estilo de inglés.

“Dado que [el habitual be] tradicionalmente no se ha usado en el inglés de negocios y, por lo tanto, no aparece con mucha frecuencia en nuestros conjuntos de datos, corregiríamos 'Y'all be doing some strange things here' a 'Y' todos están haciendo cosas extrañas aquí'”, dijo Habib a VentureBeat por correo electrónico. “[Dicho esto,] nos aseguramos manualmente de que Writer no marcara los saludos y despedidas basados ​​en la lengua vernácula. Algunas lenguas vernáculas son más neutrales en cuanto al género que el inglés formal de negocios, [por ejemplo,] por lo que son más modernas y de marca para las empresas”.

Influir en la escritura

Cuando los sesgos, intencionales o no, se convierten en sistemas de autocompletado y autosugestión, pueden cambiar la forma en que escribimos. La enorme escala a la que operan estos sistemas hace que sea difícil (si no imposible) evitarlos por completo. Respuesta inteligente fue responsable para el 10% de todas las respuestas de Gmail enviadas desde teléfonos inteligentes en 2016.

En uno de los más completos auditorías de herramientas de autocompletado, un equipo de investigadores de Microsoft realizó entrevistas con voluntarios a quienes se les pidió que dieran su opinión sobre las respuestas generadas automáticamente en Outlook. Los entrevistados encontraron que algunas de las respuestas eran demasiado positivas, erróneas en sus suposiciones sobre la cultura y el género, y demasiado descorteses para ciertos contextos, como la correspondencia corporativa. Aún así, los experimentos durante el estudio mostraron que era más probable que los usuarios favorecieran las respuestas breves, positivas y educadas sugeridas por Outlook.

Otro estudio de Harvard descubrió que cuando a las personas que escribían sobre un restaurante se les presentaban sugerencias de autocompletar "positivas", las reseñas resultantes tendían a ser más positivas que si se les presentaban sugerencias negativas. "Es emocionante pensar en cómo los sistemas de texto predictivo del futuro podrían ayudar a las personas a convertirse en escritores mucho más efectivos, pero también necesitamos transparencia y responsabilidad para protegernos contra las sugerencias que pueden estar sesgadas o manipuladas", Ken Arnold, investigador de la Escuela de Harvard. Ingeniería y Ciencias Aplicadas que participó en el estudio, les dijo a la BBC.

Si existe una solución integral para el problema del autocompletado dañino, aún no se ha descubierto. Google optó por bloquear simplemente las sugerencias de pronombres basadas en el género en Smart Compose porque el sistema resultó ser un predictor deficiente del sexo y la identidad de género de los destinatarios. LinkedIn de Microsoft también evita los pronombres de género en Smart Replies, su herramienta de mensajería predictiva, para evitar posibles errores.

Los coautores de Microsoft estudio advierte que si los diseñadores de sistemas no abordan de manera proactiva las deficiencias en las tecnologías de autocompletado, correrán el riesgo no solo de ofender a los usuarios sino también de hacer que desconfíen de los sistemas. “Los diseñadores de sistemas deben explorar estrategias de personalización a nivel individual y de redes sociales, considerar cómo sus sistemas pueden perpetuar los valores culturales y los sesgos sociales, y explorar el modelado de interacción social para comenzar a abordar las limitaciones y los problemas”, escribieron. “[N]uestros hallazgos indican que los sistemas actuales de recomendación de texto para correo electrónico y otras tecnologías [similares] siguen sin tener los matices suficientes para reflejar las sutilezas de las relaciones sociales y las necesidades de comunicación del mundo real. “

Fuente: https://venturebeat.com/2022/01/11/text-autocompletion-systems-aim-to-ease-our-lives-but-there-are-risks/