Почему модели машинного обучения умирают молча?

By Туваракеш Муралли, Специалист по анализу данных в Stax, Inc.

Смысл жизни различается от человека к человеку, от дня к дню и от часа к часу.
- Виктор Э. Франкл, Человек в поисках смысла.

Франкл был прав не только в отношении смысла жизни. Его высказывание было правильным и в отношении моделей машинного обучения в производстве.

Модели машинного обучения хорошо работают при развертывании их в рабочей среде. Тем не менее, их производительность ухудшается по пути. Качество предсказаний ухудшается и вскоре становится менее ценным.

В этом основное отличие развертывания программного обеспечения от машинного обучения. Программа каждый раз выполняет задачи одинаково. Даже после десятилетий их создания они остаются полезными, если только новые технологии не заменят их или цель, для которой они были изначально созданы, не устарела.

Большинство компаний безуспешно пытаются использовать машинное обучение в своих бизнес-операциях, не зная об этой разнице. Они увольняются, не успев воспользоваться преимуществами, которые может предложить эта технология.

Все меньше компаний используют машинное обучение и искусственный интеллект для обеспечения эффективности своих бизнес-операций. - Изображение Автор.

 

По данным Бюро переписи населения США , из 583,000 2018 компаний США в 2.8 году только XNUMX% используют машинное обучение, чтобы использовать преимущества в своей деятельности. О 8.9% опрошенных используют ту или иную форму ИИ например, распознавание голоса.

Почему производительность модели машинного обучения снижается в производственной среде?

 
 
Вы потратили недели, если не месяцы, на обучение модели машинного обучения, и, наконец, она запущена в производство. Теперь вы должны увидеть результаты своего тяжелого труда.

Но вместо этого вы замечаете, что производительность модели со временем медленно ухудшается. Что может быть причиной этого?

Если не осуществлять постоянный мониторинг и адекватную оценку прогнозируемого ухудшения качества, дрейф концепций может убить модель машинного обучения до ожидаемой даты выхода из эксплуатации.

Что такое концептуальный дрейф?

 
 
Дрейф концепций происходит, когда происходят изменения в распределении примеров обучающей выборки.

На самом базовом уровне дрейф концепции приводит к тому, что точки данных, которые когда-то считались примером одной концепции, со временем полностью рассматриваются как другая концепция.

Например, модели обнаружения мошенничества подвержены риску смещения концепции, когда концепция мошенничества постоянно меняется.

Это может привести к ухудшению производительности модели, особенно в течение длительных периодов времени, когда происходит дрейф концепции, который не обнаруживается вашими системами мониторинга.

Что вызывает дрейф понятий?

 
 
Основная причина дрейфа концепций заключается в том, что базовое распределение данных в приложении постоянно меняется.

Когда распределения меняются, старые модели машинного обучения больше не могут делать точные прогнозы и должны быть полностью переопределены или переобучены, чтобы адаптироваться к этим изменениям.

Хотя это звучит так, как будто вы никогда не хотели бы, чтобы это происходило в приложении, целью многих моделей машинного обучения является как можно более частое обновление.

Это связано с тем, что новые данные, собранные в производственной среде, содержат ценную информацию, которая может помочь повысить точность прогнозов, сделанных вашей моделью.

Распределение входных данных могло измениться либо по внешним причинам, либо из-за самих прогнозов. Покупательское поведение клиентов, например, зависит от макроэкономических тенденций. Тем не менее, их поведение на вашей платформе также может быть прямым следствием вашей системы рекомендаций.

Как решить проблему сдвига концепции для моделей в производстве?

 
 
Хотя дрейф концепций выглядит довольно пугающе, есть способы справиться с этим. Это распространенная проблема, с которой рано или поздно сталкиваются все разработчики машинного обучения.

Концепция со временем меняется, и данные изменяются по сравнению с теми, которые использовались для обучения вашей модели. Если у вас нет способа отслеживать этот дрейф, ваша точность будет медленно ухудшаться, пока, в конце концов, никто больше не будет доверять вашим прогнозам.

Контролируйте входы и выходы модели с течением времени.

 
 
Отслеживая распределение входных и выходных данных, мы могли определить, является ли утечка производительности проблемой данных или проблемой модели.

Если это проблема с данными, вы можете посмотреть, какие изменения вызывают этот сдвиг. Это может быть метод сбора данных или подлинный сдвиг в тренде.

Если это проблема модели, вы должны посмотреть, какая функция вашей модели может вызывать это изменение в распределении. Это может быть вызвано такими вещами, как предвзятость, проникающая в модель, или даже изменениями окружающей среды, из-за которых обучающая выборка не совпадает с фактическими данными.

Отслеживание качества прогнозирования модели с течением времени

 
 
Мониторинг различных показателей производительности с течением времени имеет решающее значение, потому что мы можем узнать о любом отклонении, внимательно изучив их. Некоторые из критических матриц производительности модели включают точность, полноту, F-меру и ROC.

Точность насколько точен прогноз, когда истинные положительные результаты делятся на все сделанные прогнозы. Если вы посмотрите на точность с течением времени, это показывает, насколько наша модель отклонилась от фактического распределения данных к тому, что она предсказывает сейчас.

Вспоминать говорит нам, достаточно ли мы улавливаем положительных примеров.

Если отзыв со временем падает, это указывает на то, что наша модель отклонилась от истинных положительных результатов к ложноотрицательным, что не подходит для принятия бизнес-решений.

F-мера объединяет точность и полноту в одно число, используя среднее гармоническое их значений. Если F-мера меняется вместе с точностью, то это также указывает на дрейф модели.

РПЦ дает нам возможность сравнить один истинно положительный результат со всеми другими сделанными прогнозами, что помогает выявить любые проблемы смещения классификатора или изменения в функциях, вызывающие ложные срабатывания. Его можно рассматривать как расширение точности и отзыва, но он содержит больше информации.

Регулярно переобучайте свои модели, используя новые данные, чтобы поддерживать точность и надежность.

 
 
В то время как отслеживание матриц производительности позволяет выявить дрейф концепции как можно раньше, регулярная переподготовка активно пытается устранить такую ​​ситуацию.

Постоянное переобучение моделей может занять много времени и ресурсов, но это инвестиции, которые окупаются в долгосрочной перспективе.

Частота переобучения во многом зависит от предметной области. В электронной коммерции еженедельное переобучение моделей, вероятно, имеет смысл. Но для систем обнаружения мошенничества, где поведение пользователей-мошенников постоянно меняется, вам может потребоваться ежедневное переобучение модели.

Используйте ансамбль моделей.

 
 
Все это отличные стратегии для предотвращения или устранения дрейфа машинного обучения в производственной среде. Однако другой способ решения этой проблемы — использование ансамблевых моделей.

Модели ансамбля используют несколько алгоритмов одновременно и объединяют их прогнозы в один окончательный прогноз, который может быть более точным, чем любой отдельный алгоритм.

Это может быть отличным способом повысить точность и предотвратить возникновение дрейфа с течением времени.

Заключение

 
 
Дрейф концепций приводит к тому, что модели машинного обучения в производственной среде работают иначе, чем во время обучения. Это большая проблема, которая может привести к плохому взаимодействию с пользователем или даже к сбою моделей, если дрейф прогнозируется неправильно.

Наиболее распространенный случай смещения концепций в рабочей среде — это когда ваши данные меняются с течением времени (например, добавляются новые функции, а некоторые существующие удаляются). Очень важно отслеживать ваши данные и обнаруживать дрейф как можно скорее.

Вы также должны использовать такие методы, как регулярная переподготовка или сборка, чтобы в первую очередь предотвратить дрейф.

Вы должны устранить дрейф машинного обучения, прежде чем пользователи начнут сообщать о неудачном опыте работы с вашим продуктом. Если это произойдет, это быстро приведет к потере доверия и очень высоким затратам на исправление ситуации позже. Быть инициативным!

 
Bio: Туваракеш Муралли (@Туваракеш) - специалист по анализу данных в Stax, Inc. и ведущий автор Medium for Analytics. Муралли каждый день делится тем, что он исследует в области науки о данных.

Источник: https://www.kdnuggets.com/2022/01/machine-learning-models-die-silence.html.