В X5 Group запускают AI-RUN Business Platform – платформу, позволяющую внутренним командам быстро внедрять решения на основе искусственного интеллекта. Она предоставляет доступ к широкому спектру ИИ-сервисов, и ее помощью можно создавать, тестировать и масштабировать ИИ-приложения, не тратя время и ресурсы на разработку с нуля. Также пользователи в рамках платформы получают поддержку экспертов в области искусственного интеллекта. О реализации и первых результатах проекта рассказывает Артем Ерохин, ведущий менеджер по работе с большими данными X5 Group и номинант на премию Data Award.

- Как пришла идея создания AI-RUN Business Platform?

Мы давно работаем с продуктами и сервисами, основанными на данных. В X5 Group уже большая экспертиза по различным ML-решениям, создано множество сервисов, построенных на данных. Однако пару лет назад мы стали наблюдать новый взрыв интереса к передовым технологиям, и, в частности, к большим языковым моделям (Large Language Model, LLM).

Сначала мы экспериментировали отдельными командами, но быстро поняли, что для того, чтобы централизованно накапливать экспертизу и помогать компании работать с наиболее современными достижениями в сфере анализа данных, нужна единая точка входа, одно общее решение. Так и родилась идея создания платформы, которая позволила бы работать с самыми актуальными алгоритмами и моделями.

- В чем заключаются основные проблемы, связанные с внедрением ИИ-решений?

Конечно, это зависит от области применения и типов алгоритмов. В компании уже пройден большой путь, и есть экспертиза внедрения решений на основе классического машинного обучения. Но для тех же LLM есть особенности. Например, для самых крупных открытых моделей подойдет не каждая машина. Плюс, есть особенности работы с этими моделями, отдельные «фишки», которые не всегда работают в классическом ML.

Если же брать в целом, то основные проблемы внедрения достаточно типичные. Первое – человека на месте нужно убедить, что ИИ-решение будет лучше, чем «ручной привод». Второе – внедрение новых подходов меняет процессы. Соответственно, появляются новые сущности, новые запросы и новые вызовы, которые нужно решать именно на процессном уровне. И третье – нужна реализация и отслеживание процесса разработки моделей от начала и до конца. В отличие от четко заложенной программистом бизнес-логики, у ИИ-решений все полагается на накопленный опыт и статистику. Оттого возможны предсказания, которые человеку покажутся как минимум необычными. Но модели пока не обладают здравым смыслом в человеческом понимании и не могут сами исправить возможные недочеты.

- Как платформа должна помочь их решать?

Работа ведется по нескольким фронтам. Во-первых, чем проще человеку что-то «пощупать», тем легче для него будет понять, что за инструмент ему предлагают и проще показать преимущества нового подхода. Кроме того, платформенное решение предполагает не только техническую сторону вопроса. Одновременно с разработкой создаются новые и меняются существующие процессы в компании. Люди могут понять, как работают наиболее современные технологии на своем опыте, предложить изменения процессов и подсказать, как именно ИИ будет полезен в их повседневной работе. Наконец, если мы делаем платформенное решение, то сразу охватываем весь процесс разом и, значит, можем его лучше контролировать. Ну, и иметь максимальную скорость реакции и адаптивность, конечно.

- Какой подход был выбран при создании платформы?

Мы решили пойти от частного к общему. Кажется, что именно так мы сможем получить более полную картинку, а не навязывать инструмент сверху. Провели несколько воркшопов, выделили целевые области, в которых можем принести как можно больше пользы компании. Тогда же начали проявляться повторяющиеся запросы. А это как раз одна из целей такого платформенного решения – удовлетворение повторяющихся запросов от совершенно различных бизнес-функций неким автоматизированным решением.

Как только появились первые идеи, мы начали их проработку в техническом плане. При этом, прорабатывали в двух плоскостях: как мы можем сделать это сейчас и как мы видим это в идеальном будущем. Так получилось заниматься и разработкой, и формулировать видение. И даже больше – проложить мостик между тем, что мы делаем сейчас, и куда мы придем в итоге.

- Что представляет собой платформа, в чем ее суть? Какие элементы она включает?

Сейчас это набор сервисов, процессов и экспертизы, которые позволяют создать конкретное решение для заказчика. Пока это только решения, которые требуют LLM, – например, вопрос-ответные системы или системы помощи в создании и редактуре тех или иных документов. Но мы активно работаем над добавлением составляющей, связанной с компьютерным зрением, так как это может дать сильный синергетический эффект.

Ключевыми элементами являются сервис-шина доступа, сервис с моделями, база данных и соединяющие их потоки данных.

- Какие ИТ-инструменты использовались при создании решения?

Сервисы мы реализуем на языке Python, который можно считать своеобразным lingua franca в мире машинного обучения и работы с ИИ. Кроме того, используем достаточно большое множество разнообразных библиотек из области работы с ML. Общаются сервисы между собой с помощью Kafka.

Если рассматривать именно работу с LLM, то для базы данных мы пока выбрали Quadrant, но, возможно, изучим и альтернативы. В качестве моделей используем открытые Llama и Mixtral, а также проприетарные модели от внешних компаний.

- Как фактически изменяются благодаря платформе процессы работы с новыми решениями на базе ИИ?

Если говорить коротко, то сокращается цепочка от автора до итогового решения и упрощается процесс взаимодействия с ИИ-решениями. Например, инициатору уже не нужно пытаться поднимать свою LLM на собственных мощностях, он пользуется готовым решением. Кроме того, единая точка входа позволяет не только создать некое техническое решение, но и получить достаточно редкую и ценную экспертизу специалистов в области ИИ. Ведь не всегда для решения бизнес-задачи требуется самое современное решение, а если и требуется, то вариантов использования такого решения может быть немало. Неспециалисту в этом, конечно, будет сложно разобраться.

- Какие категории сотрудников являются основными пользователями? Это все-таки айтишники или бизнес-заказчики?

Мы стремимся к тому, чтобы пользоваться решением могли не только айтишники, но и люди от бизнеса. Конечно, это скорее целевое состояние, и сейчас некая техническая экспертиза все же требуется. Но мы вкладываем много усилий в обучение бизнес-пользователей, просвещение и упрощение понимания современных инструментов, их особенностей работы и областей применения.

- С охвата каких ИИ-решений решили начать и почему?

LLM в какой-то момент «взорвали» информационное поле, более того, они реально могут быть полезными. При этом решения, которые создаются на базе LLM, для простого пользователя будут восприниматься как магия. Получается, мы решаем сразу несколько целей: не отстаем от рынка (и даже пытаемся идти среди первопроходцев), исследуем новую перспективную технологию и приобщаем пользователей к современным инструментам.

Но работа с данными не ограничивается только LLM. Очевидно, что если привнести и достижения в других доменах (обработка изображений, звука и т.д.), то можно получить синергетический эффект. Например, записанные от руки данные можно будет распознать, обработать и выдать ответ. Или делать гораздо более «живых» виртуальных операторов, которые будут общаться неотличимо от человека. А там, глядишь, и мультимодальные модели еще раз «взорвут» рынок.

- Каких результатов уже достигли? А что ожидается в перспективе?

Думаю, что хорошим результатом можно считать настроенный процесс получения идей от бизнеса и их приоритизации. Если говорить о технических аспектах, то, например, мы весьма неплохо ищем нужную информацию. Например, среди трех верхних найденных документов с вероятностью 95% окажется именно тот, который искал пользователь.

Тем не менее, нам все еще нужно улучшать работу наших моделей. Те же LLM имеют одну неприятную особенность: они очень хорошо пишут абсолютный бред. Соответственно, под это нужно дорабатывать методы детекции некорректных ответов и способы справляться с такими проблемами. Как вариант, запустить так называемый процесс Human-in-the-Loop, где люди участвуют как в обучении, так и в тестировании алгоритма. Его суть заключается в том, что в постоянном циклическом процессе человек корректирует работу моделей, привнося свет человеческого знания в те области, где модель блуждает в потемках.

На данный момент нами обрабатывается 150 входящих идей, из которых 20-30 получили первичную проработку со специалистами. Уже на этапе пилотов находятся 10 идей, которые запускались с конца лета до нынешних времен – то есть находятся в работе около четырех-шести месяцев. Запуск первой версии платформы намечен на конец 2024 года.

- Чем можно гордиться, а над чем еще предстоит поработать?

Думаю, что основные поводы для гордости – это наша команда X5 Tech, а также возникшие новые процессы и, конечно же, скорость получения первых результатов. Идеал недостижим, но, чтобы максимально к нему приблизиться, нам нужно будет улучшить визуальную составляющую платформы. И, конечно же, продолжать доносить до новых пользователей преимущества новейших достижений инженерной мысли.

- Какие первые ИИ-продукты уже родились благодаря новой платформе?

Сейчас мы работаем над вопрос-ответными системами по накопленным в X5 базам знаний, а также сервисами генерации документов и помощи в работе над документами. Мы называем это «умной редактурой».

Но развитие идет динамично. К нам каждый месяц поступает множество идей о применении ИИ в наших процессах. Так что, думаю, продуктов станет кратно больше.

- Каковы перспективы развития AI-RUN Business Platform?

Самые позитивные. Сейчас сфера ИИ развивается очень быстро. Чуть ли не каждую неделю выходят все более «умные» модели, появляются новые подходы, упрощается техническая реализация существующих подходов. И я думаю, что такое платформенное решение позволит как можно быстрее доносить эти достижения до обычных бизнес-пользователей. И, конечно же, чем больше разных доменных областей будет в платформе, тем лучше будет проявляться синергетический эффект от разных источников данных и их объединения для решения единой бизнес-задачи.