Microsoft приобретает платформу модерации на базе искусственного интеллекта Two Hat

Microsoft сегодня объявила, что приобретенный Две шляпы, AIПлатформа для модерации контента, стоимость которой не разглашается. По словам главного вице-президента по обслуживанию продуктов Xbox Дэйва Маккарти, эта покупка объединит в себе технологии, исследовательские возможности, команды и облачную инфраструктуру обеих компаний для обслуживания существующих и новых клиентов Two Hat, а также «множества продуктов и услуг: в Microsoft».

«Работая с разнообразной и опытной командой Two Hat на протяжении многих лет, стало ясно, что мы полностью согласны с основными ценностями, вдохновленными видением основателя Криса Си, по обеспечению целостного подхода для позитивных и процветающих онлайн-сообществ. — сказал Маккарти в своем блоге. «В течение последних нескольких лет Microsoft и Two Hat вместе работали над внедрением технологии превентивной модерации в игровые и неигровые процессы, чтобы обнаруживать и удалять вредоносный контент еще до того, как он достигнет членов наших сообществ».

Модерация

Согласно  Pew Research Center4 из 10 американцев лично сталкивались с той или иной формой онлайн-преследований. Более того, 37% интернет-провайдеров в США пользователи говорят они подвергались жестоким нападениям, в том числе сексуальным домогательствам и преследованиям, на основании их сексуальной ориентации, религии, расы, этнической принадлежности, гендерной идентичности или инвалидности. Дети, в частности, являются объектом онлайн-насилия. , обнаружил 70-процентный рост киберзапугивания в социальных сетях и на игровых платформах во время пандемии.

Прибе основал Two Hat в 2012 году, когда оставил должность старшего специалиста по безопасности приложений в Disney Interactive, подразделении Disney по разработке игр. Бывший ведущий разработчик группы безопасности Club Penguin, Прибе руководствовался желанием решить проблемы киберзапугивания и преследования в социальных сетях.

Сегодня Two Hat заявляет, что ее платформа модерации контента, сочетающая в себе искусственный интеллект, лингвистику и «лучшие в отрасли методы управления», классифицирует, фильтрует и эскалирует более триллиона человеческих взаимодействий, включая сообщения, имена пользователей, изображения и видео, в месяц. Компания также сотрудничает с канадскими правоохранительными органами, чтобы обучить ИИ обнаруживать новые материалы, эксплуатирующие детей, например контент, который может быть порнографическим.

«Уделяя особое внимание выявлению вреда в Интернете, включая киберзапугивание, жестокое обращение, разжигание ненависти, угрозы насилия и эксплуатацию детей, мы даем возможность клиентам в различных социальных сетях по всему миру способствовать безопасному и здоровому пользовательскому опыту для всех возрастов», — пишет Two Hat. на своем сайте.

Партнерство с Microsoft

Несколько лет назад Two Hat заключила партнерское соглашение с командой Microsoft Xbox, чтобы применить свою технологию модерации к сообществам Xbox, Minecraft и MSN. Платформа Two Hat позволяет пользователям выбирать, какой контент им удобно видеть, а какой нет, что, по мнению Прибе, является ключевым отличием по сравнению с решениями для модерации на основе искусственного интеллекта, такими как Sentropy и Perspective API от Jigsaw Labs.

«Мы создали одно из самых адаптивных, отзывчивых и комплексных решений для управления сообществом и нашли интересные способы объединить лучшие технологии с уникальными знаниями», — сказал Прибе в своем отчете. пресс-релизе. «В результате нам теперь поручено помогать онлайн-взаимодействию многих крупнейших сообществ мира».

Стоит отметить, что полуавтоматическая модерация остается нерешенной проблемой. Прошлый год, исследователи показали, что Perceive, инструмент, разработанный Google и его дочерней компанией Jigsaw, часто классифицирует онлайн-комментарии, написанные на афроамериканском языке, как токсичные. Отдельное исследование показало, что плохая грамматика и неуклюжее написание (например, «Я ненавижу тебя, любовь» вместо «Я ненавижу тебя») значительно затрудняют обнаружение токсичного контента для ИИ и машинных детекторов.

О чем свидетельствуют такие соревнования, как Fake News Challenge и Facebook Вызов ненавистных мемовАлгоритмы машинного обучения также до сих пор не могут получить целостное понимание слов в контексте. Примечательно, что Facebook признал, что ему не удалось обучить модель находить новые случаи определенной категории дезинформации: вводящие в заблуждение новости о COVID-19. А автоматизированная система модерации Instagram когда-то отключала чернокожих пользователей на 50% чаще, чем белых пользователей.

Но Маккарти выразил уверенность в возможностях продукта Two Hat, который включает в себя систему репутации пользователей, поддерживает 20 языков и может автоматически приостанавливать, блокировать и отключать потенциально оскорбительных членов сообществ.

«Мы понимаем, с какими сложными проблемами сегодня сталкиваются организации, стремясь эффективно модерировать онлайн-сообщества. В нашем постоянно меняющемся цифровом мире существует острая потребность в решениях для модерации, которые смогут эффективно и масштабируемо управлять онлайн-контентом», — сказал он. «Мы стали свидетелями того влияния, которое они оказали на Xbox, и мы очень рады, что это приобретение еще больше ускорит наши собственные решения для модерации контента в играх, в рамках широкого спектра потребительских услуг Microsoft, а также создаст больше возможностей для наших использование этих решений сторонними партнерами и существующими клиентами Two Hat».