Microsoft adquiere la plataforma de moderación impulsada por IA Two Hat

Microsoft anunció hoy que adquirido dos sombrero, un AI-plataforma de moderación de contenido impulsada, por un monto no revelado. Según el CVP de servicios de productos de Xbox, Dave McCarthy, la compra combinará la tecnología, las capacidades de investigación, los equipos y la infraestructura en la nube de ambas compañías para atender a los clientes nuevos y existentes de Two Hat y “múltiples experiencias de productos y servicios: en Microsoft.

“Trabajando con el equipo diverso y experimentado de Two Hat a lo largo de los años, ha quedado claro que estamos totalmente alineados con los valores fundamentales inspirados en la visión del fundador, Chris c, para ofrecer un enfoque holístico para comunidades en línea positivas y prósperas. ”, dijo McCarthy en una publicación de blog. “Durante los últimos años, Microsoft y Two Hat han trabajado juntos para implementar tecnología de moderación proactiva en experiencias de juegos y no juegos para detectar y eliminar contenido dañino antes de que llegue a los miembros de nuestras comunidades”.

Moderación

Según la Pew Research Center, 4 de cada 10 estadounidenses han experimentado personalmente algún tipo de acoso en línea. Además, el 37% de los usuarios de Internet basados ​​en EE. los usuarios dicen han sido objeto de graves ataques, incluido el acoso sexual y el acecho, en función de su orientación sexual, religión, raza, etnia, identidad de género o discapacidad. Los niños, en particular, son objeto de abuso en línea, con una encuesta encontrando un aumento del 70% en el ciberacoso en las redes sociales y plataformas de juegos durante la pandemia.

Priebe fundó Two Hat en 2012 cuando dejó su puesto como especialista sénior en seguridad de aplicaciones en Disney Interactive, la división de desarrollo de juegos de Disney. Priebe, exdesarrollador principal del equipo de seguridad y protección de Club Penguin, estaba motivado por el deseo de abordar los problemas de ciberacoso y acoso en la web social.

Hoy, Two Hat afirma que su plataforma de moderación de contenido, que combina inteligencia artificial, lingüística y "mejores prácticas de gestión líderes en la industria", clasifica, filtra y escala más de un billón de interacciones humanas, incluidos mensajes, nombres de usuario, imágenes y videos al mes. La compañía también trabaja con las fuerzas del orden canadienses para entrenar a la IA para detectar nuevo material de explotación infantil, como contenido que probablemente sea pornográfico.

“Con un énfasis en sacar a la luz los daños en línea, incluidos el ciberacoso, el abuso, la incitación al odio, las amenazas violentas y la explotación infantil, permitimos que los clientes de una variedad de redes sociales de todo el mundo fomenten experiencias de usuario seguras y saludables para todas las edades”, escribe Two Hat. en su sitio web.

Asociación de Microsoft

Hace varios años, Two Hat se asoció con el equipo Xbox de Microsoft para aplicar su tecnología de moderación a las comunidades de Xbox, Minecraft y MSN. La plataforma de Two Hat permite a los usuarios decidir el contenido que se sienten cómodos viendo, y cuál no, lo que Priebe cree que es un diferenciador clave en comparación con las soluciones de moderación impulsadas por IA como Sentropy y la API Perspective de Jigsaw Labs.

"Creamos una de las soluciones de gestión comunitaria más adaptables, receptivas y completas disponibles y encontramos formas emocionantes de combinar la mejor tecnología con conocimientos únicos", dijo Priebe en un comunicado. comunicado de prensa. “Como resultado, ahora se nos confía ayudar en las interacciones en línea para muchas de las comunidades más grandes del mundo”.

Vale la pena señalar que la moderación semiautomática sigue siendo un desafío sin resolver. El año pasado, investigadores mostró que Perceive, una herramienta desarrollada por Google y su subsidiaria Jigsaw, a menudo clasificaba los comentarios en línea escritos en la lengua vernácula afroamericana como tóxicos. Un estudio separado reveló que la mala gramática y la ortografía incómoda, como "Te odio, amo", en lugar de "Te odio", hacen que el contenido tóxico sea mucho más difícil de detectar para la IA y los detectores de máquinas.

Como lo demuestran competencias como Fake News Challenge y Facebook's Odio Memes Challenge, los algoritmos de aprendizaje automático también tienen dificultades para obtener una comprensión holística de las palabras en contexto. De manera reveladora, Facebook admitió que no ha podido entrenar un modelo para encontrar nuevos casos de una categoría específica de desinformación: noticias engañosas sobre COVID-19. Y el sistema de moderación automatizado de Instagram una vez deshabilitó a los miembros negros un 50% más a menudo que a los usuarios blancos.

Pero McCarthy expresó su confianza en el poder del producto de Two Hat, que incluye un sistema de reputación de usuario, admite 20 idiomas y puede suspender, prohibir y silenciar automáticamente a miembros de comunidades potencialmente abusivos.

“Entendemos los complejos desafíos que enfrentan las organizaciones hoy en día cuando se esfuerzan por moderar de manera efectiva las comunidades en línea. En nuestro mundo digital en constante cambio, existe una necesidad urgente de soluciones de moderación que puedan administrar el contenido en línea de manera efectiva y escalable”, dijo. “Hemos sido testigos del impacto que han tenido dentro de Xbox, y estamos encantados de que esta adquisición acelere aún más nuestras soluciones de moderación de contenido de primera mano en los juegos, dentro de una amplia gama de servicios de consumo de Microsoft, y para crear una mayor oportunidad para nuestros socios externos y el uso de estas soluciones por parte de los clientes existentes de Two Hat”.