Microsoft придбала платформу модерації Two Hat на базі ШІ

Microsoft сьогодні оголосила про це придбаний Два капелюхи, AI-модерована платформа для модерування вмісту за нерозголошену суму. За словами CVP служби продуктів Xbox Дейва Маккарті, покупка об’єднає технологію, дослідницькі можливості, команди та хмарну інфраструктуру обох компаній для обслуговування існуючих і нових клієнтів Two Hat, а також «багато продуктів і послуг: Microsoft.

«Працюючи з різноманітною та досвідченою командою Two Hat протягом багатьох років, стало зрозуміло, що ми повністю узгоджуємося з основними цінностями, натхненними баченням засновника, Кріса Сі, щодо забезпечення цілісного підходу для позитивних та процвітаючих онлайн-спільнот, ", - сказав Маккарті в своєму блозі. «Протягом останніх кількох років Microsoft і Two Hat працювали разом, щоб запровадити технологію проактивної модерації в іграх і неіграх, щоб виявляти та видаляти шкідливий вміст до того, як він потрапить до членів наших спільнот».

презентація

Згідно зі Pew Research Center4 з 10 американців особисто стикалися з тією чи іншою формою агресивних дій в Інтернеті. Крім того, 37% Інтернету в США кажуть користувачі вони були об’єктами жорстоких атак — у тому числі сексуальних домагань і переслідування — на основі їх сексуальної орієнтації, релігії, раси, етнічного походження, гендерної ідентичності чи інвалідності. Діти, зокрема, є об’єктом жорстокого поводження в Інтернеті огляд під час пандемії кількість кіберзалякування в соціальних мережах та на ігрових платформах зросла на 70%.

Прібе заснував Two Hat у 2012 році, коли залишив посаду старшого спеціаліста з безпеки додатків у Disney Interactive, відділі розробки ігор Disney. Колишній провідний розробник у групі безпеки та безпеки для Club Penguin, Прібе керував бажанням вирішити проблеми кіберзалякування та агресивних дій у соціальній мережі.

Сьогодні Two Hat стверджує, що її платформа модерації вмісту, яка поєднує штучний інтелект, лінгвістику та «найкращі в галузі практики управління», класифікує, фільтрує та посилює понад трильйон людських взаємодій, включаючи повідомлення, імена користувачів, зображення та відео на місяць. Компанія також співпрацює з канадськими правоохоронними органами, щоб навчити штучний інтелект виявляти нові матеріали для експлуатації дітей, наприклад вміст, який може бути порнографічним.

«З наголосом на виявленні шкоди в Інтернеті, включаючи кіберзалякування, образи, ворожнечу, насильницькі погрози та експлуатацію дітей, ми даємо клієнтам у різноманітних соціальних мережах по всьому світу сприяти безпечному та здоровому користуванню для будь-якого віку», — пише Two Hat. на своєму веб-сайті.

Партнерство Microsoft

Кілька років тому Two Hat співпрацювала з командою Microsoft Xbox, щоб застосувати свою технологію модерації до спільнот Xbox, Minecraft і MSN. Платформа Two Hat дозволяє користувачам вирішувати, який контент їм зручно переглядати, а який – ні, що, на думку Прібе, є ключовою відмінністю порівняно з рішеннями модерації на основі ШІ, такими як Sentropy та Perspective API від Jigsaw Labs.

«Ми створили одне з найбільш адаптивних, чуйних, комплексних рішень для управління спільнотою з доступних і знайшли захоплюючі способи поєднати найкращі технології з унікальними знаннями», — сказав Прібе в прес-реліз. «Як результат, тепер нам доручено допомагати онлайн-взаємодіям багатьох найбільших спільнот світу».

Варто зазначити, що напівавтоматичне модерування залишається невирішеною проблемою. Минулого року, Дослідники показали, що Perceive, інструмент, розроблений Google та його дочірньою компанією Jigsaw, часто класифікував онлайн-коментарі, написані афроамериканською мовою, як токсичні. Окреме дослідження показало, що погана граматика та незручне написання — як-от «Я ненавиджу, ти любиш» замість «Я ненавиджу тебе» — значно ускладнюють виявлення токсичного вмісту ШІ та детекторам машин.

Про що свідчать такі конкурси, як Fake News Challenge та Facebook Виклик ненависних мемів, алгоритмам машинного навчання також досі важко отримати цілісне розуміння слів у контексті. Показово, що Facebook визнав, що не зміг навчити модель знаходити нові випадки певної категорії дезінформації: оманливі новини про COVID-19. А автоматизована система модерації Instagram колись відключала чорношкірих членів на 50% частіше, ніж білих.

Але Маккарті висловив упевненість у потужності продукту Two Hat, який включає систему репутації користувачів, підтримує 20 мов і може автоматично призупиняти, банити та ігнорувати потенційно образливих учасників спільнот.

«Ми розуміємо складні проблеми, з якими сьогодні стикаються організації, намагаючись ефективно модерувати онлайн-спільноти. У нашому постійно мінливому цифровому світі існує нагальна потреба в рішеннях для модерації, які могли б ефективно та масштабовано керувати онлайн-контентом», – сказав він. «Ми були свідками впливу, який вони мали на Xbox, і ми раді, що це придбання ще більше прискорить наші рішення для модерації вмісту першої сторони в іграх, у широкому спектрі споживчих послуг Microsoft, а також створить більше можливостей для наших використання цих рішень сторонніми партнерами та наявними клієнтами Two Hat».