<p><strong>Согласно отчету исследовательской компании IDC за 2021 г., при разработке систем на базе искусственного интеллекта (Artificial Intelligence, AI) и машинного обучения (Machine Learning, ML) компании тратят большую часть времени на обработку данных, а времени на создание, обучение и развертывание AI/ML-моделей бизнесу уже не хватает. В результате это препятствует успешному завершению проекта. Эту проблему, в том числе, призвана решать концепция MLOps. Александр Азаров, генеральный директор компании WaveAccess, расскажет о преимуществах и функциональности этого подхода, а также об отраслях, в которых MLOps показывает наибольшую эффективность.</strong></p> <h3>Что собой представляет MLOps</h3> <p>Каждая ML-модель со временем неизбежно теряет точность, потому что данные, на которых она была обучена, устаревают и перестают отражать рыночную ситуацию. В результате бизнес получает неверные аналитические выводы, что мешает должным образом реагировать на изменения. Чтобы избежать этого, необходимо регулярно собирать новые данные, обновлять модель, повторно ее развертывать и интегрировать с инфраструктурой. Проблема усугубляется, если компании требуется поддерживать несколько таких моделей. Именно MLOps-подход помогает оптимизировать и автоматизировать обслуживание AI/ML-инфраструктуры, экономя ресурсы на ее поддержание.</p> <p>MLOps – это набор инструментов и практик для непрерывного совершенствования моделей машинного обучения. В рамках этой концепции регулярно генерируемые пользователями данные автоматически используются для дообучения имеющихся моделей. В основе подхода лежат принципы DevOps – методики выстраивания бизнес-процесса непрерывной поставки решения конечному потребителю, которая предполагает сочетание разработки, запуска и эксплуатации программного обеспечения. Особенность, характерная для обеих концепций, – непрерывность процессов, а именно сокращение ожидания между операциями за счет автоматизации и агрегации множества потоков данных.</p> <p>MLOps автоматизирует ручные процессы во время сбора данных, обучения и построения моделей. Благодаря этому специалисты не тратят много времени на повторяющиеся действия для поддержания актуальности ML-модели, а быстро приступают к внедрению машинного обучения в бизнес-процессы. Это помогает экономить усилия рабочей команды и дает возможность сконцентрироваться на качестве модели.</p> <p>Затраты на внедрение MLOps рассчитываются для каждого бизнеса индивидуально. Если случай стандартный, то можно воспользоваться специальными решениями, которые упростят организацию и этим снизят стоимость. Но для высоконагруженных систем внедрение подобных инструментов (при условии соблюдения всех правил) может потребовать тысяч часов рабочего времени.</p> <p>Проект по внедрению и применению MLOps в среднем окупается за 10 циклов обновления моделей и данных. Но сроки сильно зависят от сложности моделей, инфраструктуры и данных.</p> <p>Одно из обязательных условий при реализации концепции MLOps – это работа гибридных команд. В реализации таких проектов задействованы дата-инженеры (Data Engineers), специалисты по работе с данными (Data Scientists), ML-инженеры, ML-архитекторы, DevOps-инженеры, а также эксперты в области искусственного интеллекта. Предпочтительно, чтобы все участники проекта одинаково хорошо владели компетенциями на стыке Big Data, Data Science и DevOps. Однако такие кадры – редкость на рынке. Насколько сильно будут разграничены роли у специалистов, зависит от размера компании и масштабов задачи.</p> <p>Согласно<a href="https://www2.deloitte.com/us/en/insights/focus/tech-trends/2021/mlops-industrialized-ai.html"> </a>отчету Deloitte, к 2025 году объем мирового рынка MLOps вырастет почти до 4 млрд долларов.</p> <h3>Какие задачи решает MLOps</h3> <p>Автоматизация жизненного цикла ML-моделей. В процессе реализации MLOps-концепции DS-команда (Data Scientists, аналитики данных) разрабатывает конвейер (pipeline), который представляет собой отдельный внутренний программный продукт. С его помощью модели машинного обучения создаются в автоматическом режиме на основе новой информации. На этом этапе происходит валидация данных, их предварительная обработка, обучение модели, а также проверка эффективности ее работы. Таким образом обеспечивается автоматический контроль всего жизненного цикла моделей машинного обучения.</p> <p>Непрерывность обновления ПО. Практика CI/CD (continuous integration/continuous deployment) – фундаментальная рекомендация в рамках DevOps – обеспечивает непрерывную интеграцию и развертывание обновлений ПО с определенной периодичностью. За счет этого процесс переобучения ML-модели становится автоматическим – перезапуск ML-конвейера осуществляется каждый раз при обновлении кода или изменениях в данных, что запускает новые процессы сборки и тестирования.</p> <p>Регулярное переобучение и дообучение модели. При реализации MLOps-концепции происходит непрерывное обучение модели без участия человека. Оно позволяет обновлять алгоритм при первых признаках устаревания модели или изменениях внешней среды. Потребность в автоматизации этого процесса связана с тем, что в некоторых областях информация актуализируется постоянно. Примером могут служить рост средней стоимости недвижимости на рынке или изменение среднего рейтинга фильмов в конкретной категории.</p> <p>При этом важно понимать, что такая автоматизация не применима к случаям, когда появляются новые признаки в данных или меняется их формат. В таких случаях DS-команде приходится полностью обновлять конвейеры машинного обучения.</p> <p>Масштабирование ML-приложений. С ростом используемой информации и увеличением количества управляемых ML-моделей каждая система должна продолжать эффективно функционировать и поддерживать прежний уровень производительности. С помощью методики MLOps процесс масштабирования осуществляется с минимальным вмешательством человека. При этом рост объема данных улучшает прогностические возможности ML-моделей.</p> <p>Контроль производительности модели. Специалисты используют набор инструментов для управления эффективностью ML-моделей, среди которых логирование, аудит и снимки состояния пайплайна. Они помогают контролировать функционирование конвейера машинного обучения, отслеживать работу модели и сбор аналитики при внедрении в бизнес-процессы. Это дает возможность своевременно получать сведения для устранения неисправностей и точной настройки производительности модели.</p> <h3>Где MLOps особенно актуален</h3> <p>MLOps-концепция наиболее востребована среди компаний из динамично развивающихся отраслей, которые генерируют множество постоянно меняющихся данных. Среди таких индустрий в том числе – розничная торговля и e-commerce, здравоохранение и страхование. Коротко расскажем, почему автоматизация обслуживания ML-инфраструктуры особенно важна для этих сфер.</p> <p>Ритейл и e-commerce. Ритейлеры обрабатывают большое количество данных, касающихся поведения, предпочтений и интересов покупателей, покупательского трафика, рыночных трендов и других факторов. В результате бизнес в частности получает возможность прогнозировать спрос, управлять клиентским опытом, оптимизировать складскую и транспортную логистику.</p> <p>Здравоохранение. В области здравоохранения ML используется в том числе для анализа данных о пациентах и результатов медицинских исследований. Например, нейронные сети обучаются на основе большого количества изображений, получаемых с помощью рентгена, УЗИ, МРТ, КТ и других исследований. В дальнейшем ML-модель распознает и сегментирует типы заболеваний, признаки которых были уже изучены на снимках ранее. Таким образом, применение машинного обучения помогает снизить риски летальных исходов за счет ранней диагностики и правильного выбора лечения. Очевидно, что в данном случае критически важно иметь возможность быстро и эффективно адаптировать используемые ML-модели.</p> <p>Страхование. Страховые службы анализируют множество переменных при подсчете возможных рисков, потенциальных расходов и доходов. Технология машинного обучения помогает прогнозировать риск дефолта клиента, предсказывать затраты по страховому случаю, автоматизировать согласование направлений на лечение, персонифицировать предложения и повышать качество сервиса.</p> <p>Концепция MLOps направлена на ускоренную реализацию проектов по искусственному интеллекту и машинному обучению. Этот подход позволяет управлять жизненным циклом AI/ML-моделей. MLOps обеспечивает бесшовную интеграцию обучения моделей и интеграцию уже обученных моделей в программные продукты. Благодаря такой практике бизнес получает наиболее актуальную информацию о пользователях и состоянии рынка, что дает возможность принимать эффективные управленческие решения.</p>