Искусственный интеллект сегодня активно используют в бизнесе. Одни организации только начинают внедрять большие языковые модели (LLM) в свои процессы, другие уже создают платформы на основе AI.
Cloud.ru изучил опыт лидеров рынка, чтобы рассказать, как они применяют ML и LLM.
Как LLM помогает в бизнес-задачах
В этом пункте — о сценариях применения LLM, которые используются в крупных российских компаниях.
Генеративный поиск и анализ большого объема информации
Современный бизнес ценит актуальные данные — это важный компонент лидерства. Благодаря LLM компании могут анализировать публикации, выявлять новости и тренды. В ПАО «Аэрофлот» с помощью LLM извлеченные данные преобразуются в унифицированные отчеты — так сотрудники оперативно оценивают большие объемы информации, быстрее генерируют и тестируют гипотезы.
Составление описаний товаров и услуг
На Авито внедрили AI-генерацию описаний товаров. Это важное поле, которое обеспечивает поисковую индексацию. После настройки модели, генерирующей описания на основе фото и параметров товара, количество заказов с доставкой увеличилось на 1,7%.
Суммаризация отзывов
На Авито много отзывов в некоторых разделах. Например, в категории «Услуги» отзывов бывает сотни и даже тысячи. LLM помогает собирать самое важное из мнений покупателей или клиентов воедино, чтобы пользователям не приходилось вычленять важную информацию из полотен текста.
Внутренние ассистенты (CoPilot)
CoPilot — это веб-ассистент на базе AI, который помогает сотрудникам в работе. В X5 Group сервис ежемесячно используют 2,5 тысячи сотрудников. Из задач, которые поручают ассистенту, — генерация изображений и текстов, написание кода, систематизация данных и подбор формул в Excel. А чтобы не допустить утечки коммерческой тайны и персональных данных (ПДн), ввели маскирование данных.
AI-помощники используются и в крупных банках: помогают с текстами, суммаризируют информацию, дают пояснения по коду или помогают с его написанием. Еще одна интересная задача — анализ информационного поля, чтобы выявить положительные, нейтральные или негативные упоминания компании.
AI-агенты
В отличие от ассистентов, которые делают что-то, если пользователь дает им конкретное указание, AI-агенты действуют автономно. Например, агента можно отправить разрабатывать виртуальные машины, базы данных, развертывать серверы или интернет-магазины в облаке.
Для работы агентов нужна большая LLM-платформа. На ней выстраивается система агентов, где они решают свои доменные задачи и автоматизируют внутренние процессы компании.
Что нужно для внедрения LLM
Для работы с LLM в бизнесе понадобится надежная инфраструктура и специалисты, чтобы эту инфраструктуру обслуживать. Cloud.ru как облачный провайдер предоставляет бизнесу сервисы для обучения ML- и DL-моделей и опытную команду, которая будет поддерживать работу сервисов, отвечать на вопросы, помогать в случае затруднений.
Инфраструктура и мощная команда
LLM требуют использования мощных кластеров с GPU. Такие ресурсы проще арендовать, нежели купить, и Cloud.ru предлагает такие ресурсы. Бизнесу это упрощает обучение модели, что позволяет быстрее получить нужные результаты.
Если арендовать мощности, ускорится инференс — процесс, при котором уже обученная модель делает прогнозы или принимает решения на основе поступающих данных. Это полезно, так как для новых задач модель не нужно дообучать, она способна обрабатывать информацию, на которой не натренирована.
Для такой сложной работы нужна команда профессионалов: разработчиков LLM, дата-сайентистов, ML-инженеров. Команду тоже можно нанять на стороне, на аутсорсе, а не привлекать людей в штат. У облачных провайдеров, у которых бизнес арендует мощности для работы модели, есть такие специалисты — в том числе у Cloud.ru.
Готовые облачные решения
Использовать готовые решения для запуска ML-моделей — это выгодно для бизнеса. Облачный провайдер уже разработал инструменты под разные задачи: распределение видеопамяти GPU на одну большую или сразу несколько небольших моделей, подготовка образа для обучения или запуска ML- и DL-модели. За счет того, что все уже готово, бизнес может быстрее вывести модель в продакшн.
К примеру, если модель не использует полностью память карты или чипа, при покупке решения у провайдера можно не брать целый GPU — есть возможность оплаты только по факту использования. А при развертывании собственной системы придется закупать полный комплект, часть из которого не будет использоваться.
Еще один вариант — Маркетплейс Cloud.ru с решениями по AI & ML. Там можно найти и использовать LLM по разным тарифам, стоимость которых зависит от использованных токенов. Пользователю не нужно обучать или даже настраивать языковую модель, на маркетплейсе каждая из них готова к использованию. Остается только выбрать LLM под свой запрос, и можно начинать работу.
Надежность
Облачные провайдеры обеспечивают безопасность, обновления и отказоустойчивость систем. Это освобождает компанию от технических забот, позволяет ей сосредоточиться на инновациях и развитии.
Как использовать LLM этично и безопасно
При работе с большими языковыми моделями надо следить за обработкой ПДн, конфиденциальной и чувствительной информации. Cloud.ru перечисляет действия, которые минимизируют риски и защитят сведения компании.
Развернуть отдельный инстанс
Один из способов надежно обрабатывать ПДн — создать отдельный экземпляр LLM в облаке с использованием отдельного канала связи. Закрытый канал и шифрование данных обеспечивают большую безопасность в соответствие со стандартами конфиденциальности.
Маскировать данные — Data masking
Этот метод позволяет моделям обрабатывать сведения без прямого доступа к исходным данным, предотвращая утечку конфиденциальной информации. При таком методе чувствительные данные — например, ключевые метрики, ПДн, важные наименования — заменяются на псевдонимы или эквиваленты.
По контексту пользователь поймет, какие операции и выводы модель сделала исходя из имеющихся данных. При этом метод снизит риск утечек, повысит уровень конфиденциальности.
Развертывать LLM в собственной инфраструктуре
Если разворачивать модель в своем контуре, компании смогут контролировать доступ и обработку данных. Это снижает риски, связанные с внешними факторами, и обеспечивает полный контроль над работой LLM.
Этика работы с LLM требует внимания. AI может решать задачи, но результаты часто надо проверять из-за возможных ошибок, галлюцинаций. Поэтому многие компании смотрят в сторону разработки собственных полномасштабных LLM-платформ — так модель можно дообучать, причем на собственных данных, которые могут быть специфичными и узконаправленными. Это позволяет минимизировать количество ошибок.
Скорее всего, участие человека в решении бизнес-задач понадобится еще долго. При этом LLM открывают новые горизонты: автоматизируют рутину, помогают в анализе и прогнозировании, уменьшают время работы над задачами. Чтобы быстрее внедрить в работу LLM, можно воспользоваться услугами облачного провайдера — он предоставит мощности для развертывания и обучения, а также надежную техподдержку.
