Как «прикрутить» нейросети к бизнес-процессам?

Нейросети сегодня находятся на вершине своей популярности, и бизнес активно ищет способы их интеграции в свои процессы. На практике часто возникают ситуации, когда компании выражают живой интерес к этим технологиям, но не понимают, как их можно применить. Как правило, от представителей бизнеса звучат такие комментарии: «У нас есть масса задач, и мы понимаем, что нейросети могут предложить решения, но наши специалисты не обладают необходимыми знаниями для работы с этими технологиями». Проблема усугубляется острейшей нехваткой квалифицированного персонала, актуальной на фоне текущей ситуации в России. Несмотря на наличие сильной ИТ-команды, которая умеет разрабатывать и внедрять сложные системы, зачастую компании не могут использовать возможности современных нейросетей. В этой статье мы расскажем о новой профессии промпт-инженера, а также о типовом порядке встраивания языковых моделей в бизнес-процессы и об особенностях работы с ними.

Современные технологии больших языковых моделей (о том, что это такое мы писали в статье «Где эффективно использовать нейросети? Часть 1. Управление персоналом») создают уникальные возможности для трансформации бизнеса. Нейросети предоставляют широкий спектр возможностей – от автоматизации рутинных задач до более сложных решений, таких как анализ данных или создание интерактивного контента. Уже сегодня использование этого варианта технологий искусственного интеллекта становится не просто трендом, а критическим условием для сохранения конкурентоспособности.

Эта тенденция подтверждается данными компании OpenAI, которые заявили, что 92% компаний из списка Fortune 500 используют их технологии. Это яркий сигнал: внедрение ИИ – не гипотетический тренд, а текущая реальность, отстаивать в которой можно лишь через проактивные действия.

И здесь встает вопрос: какие специалисты нужны компании, чтобы эффективно внедрять и использовать большие языковые модели. И какие работы необходимо провести?

Есть такая профессия: промпт-инженер

Промпт-инженер (prompt engineer) — это ключевой специалист в сфере интеграции больших языковых моделей в бизнес-процессы компании. Его задача заключается в управлении всей экосистемой, необходимой для работы языковых моделей, включающей инфраструктуру, определение подходящих моделей, создание промптов для решения актуальных бизнес-задач и инструменты их интеграции в бизнес-процессы.

Понятие «промпт-инженерия» появилось совсем недавно, в 2017 году, когда исследователи из Carnegie Mellon University и National University of Singapore создали большие языковые модели, которые выполняют разные задачи используя команду, полученную текстом на естественном языке. Для решения сложных сложных задач, с помощью больших языковых моделей, нужен точный запрос — промпт (prompt). Если он составлен неправильно, нейросеть не справится с задачей и даст неверный результат. Первоначально запрос на профессию промпт-инженера возник в связи с тем, что количество бесплатных попыток сгенерировать что-то в открытых нейросетях, а также количество символов в одном запросе, не должно выходить за рамки лимита. Но за последние несколько лет понимание кто такой промпт-инженер сильно изменилось.

Сегодняшний промпт-инженер — это специалист, который знает, как правильно говорить с нейросетями на основе больших языковых моделей. Но он не просто знает, как составить текстовые запросы для того, чтобы получить от модели максимально точный ответ. Промпт-инженер понимает, как применять языковые модели в различных контекстах, откуда брать данные, какие модели выбирать для конкретных случаев, а также разрабатывает документацию, которая помогает пользователям эффективно взаимодействовать с нейросетями.

Важной частью работы является обеспечение соответствия этим решениям требованиям безопасности и конфиденциальности, особенно в условиях, когда продуктами разработанными в других юрисдикциях, вроде ChatGPT, российские компании часто не могут официально пользоваться. Он также решает вопросы защиты персональных данных, актуальность которых требует отдельного внимания.

Важно подчеркнуть, что промпт-инженеры не являются разработчиками ИИ в классическом понимании. Они не создают сами большие языковые модеи, не строят алгоритмы и не занимаются исследованием данных. Основной фокус их работы не в области разработки технологий, а в практическом применении уже существующих больших языковых моделей. Промпт-инженер исследует возможности этих моделей, адаптирует их под задачи компании и настраивает таким образом, чтобы они максимально эффективно решали задачи бизнеса.

Рисунок. Типовой порядок работ по встраиванию языковых моделей в бизнес-процессы.

Типовой порядок работ по встраиванию языковых моделей в бизнес-процессы

На рисунке показано, что необходимо сделать, чтобы встроить большие языковые модели в бизнес-процессы. Давайте разберем подробнее.

1. Анализ потребностей бизнеса и бизнес-процессов. Вряд ли удивительно, что работа начинается с глубокого понимания бизнес-процессов компании. Сначала необходимо проанализировать текущие процессы, определить узкие места и оценить, где большие языковые модели могут заменить ручной труд или оптимизировать операционную деятельность. В каких местах процессов и каким образом могут помочь большие языковые модели? Например, если сотрудник тратит значительное время на обработку стандартных писем, промпт-инженер может предложить заменить эту рутину внедрением языковой модели, которая автоматически создаёт ответы.
2. Создание инфраструктуры и выбор языковой модели. Затем происходит выбор наиболее эффективных языковых моделей и режимов работы с ними, включая затраты. Промпт-инженер несёт ответственность построение необходимой инфраструктуры, развертывание большой языковой модели, поддержку её работоспособности и внедрение улучшений по мере необходимости.
3. Дообучение универсальных больших языковых моделей. После того, как выбрана языковая модель, она настраивается и, при необходимости, дообучается с использованием специфических данных компании. В реальной практике часто нужно дообучить универсальную модель и добавить в нее уникальные и специфические данные компании. Например, какие-то данные по направлениям и особенности деятельности или по продуктам. Или нужно интегрировать в модель какие-либо внешние данные. Однако, языковую модель нельзя обучить на чем угодно. Необходим анализ и оптимизация данных компании, на которых дообучается модель, для повышения качества ее ответов. Сбор, очистка и подготовка данных для дообучения модели — это необходимый и важнейший этап.
4. Создание нейросетевых ассистентов. Создание нейросетевых ассистентов, которые будут помогать работать с моделью, разработка персонализированных ассистентов чат-ботов, разработка формата и особенностей персонализированных ответов.
5. Разработка системных промптов и качественных запросов. На этом этапе необходимо четко продумать, какие ответы необходимо получить от большой языковой модели, что и в каком формате нужно выдавать. Например, чтобы имя выдавалось только на русском и так далее.
6. Тестирование и доработка всей системы. После дообучения универсальных языковых моделей и разработки промптов, промпт-инженер тестирует её на качество и точность выходных данных. Очень важный момент, разработка промптов – это итерационный процесс. На сегодня очень трудно написать промпт который работал бы идеально. Как правило, это итерационная операция: написали, проверяем на тестовых данных, фиксируем ошибки, исправляем промпт и так далее. Иногда промпт получается размером на целую страницу, где детально написано все, что надо делать, что нельзя делать, все возможные ситуации максимально учитываются.

Наконец, если результаты удовлетворительны, решение запускается в опытно-промышленную эксплуатацию. Ниже мы приведем несколько реальный кейсов внедрения больших языковых моделей в бизнес-процессы.

Повышение качества ответов языковых моделей

Что делать, если качество ответов от одной модели не удовлетворительно? Здесь существуют два подхода.

1. Использование нескольких больших языковых моделей, работающих в тандеме. Все больше компаний рассматривают комбинированное использование различных больших языковых моделей для повышения качества работы. Например, системы на основе нескольких платформ позволяют минимизировать так называемые «галлюцинации» (явно ошибочные ответы, содержащие информацию, которая придумана нейросетью) и выдавать более качественные и точные результаты.
2. Использование одной языковой модели, но с разными запросами. Различные запросы дают различные ответы от языковой модели и потом, они объединяются или выбирается наиболее качественный ответ.

Комбинированный подход не только уменьшает операционные издержки, но и открывает возможности для гибкости, устойчивости и технологического лидерства в долгосрочной перспективе. Это дает возможность не только повысить надежность ответов, но и улучшить взаимодействие между различными бизнес-процессами. Это усиливает эффективность ИИ-инструментов, включая их способность быстро адаптироваться под задачи компании.

Все это хорошо, но сегодня две серьезные проблемы, о которых нельзя не сказать: Конфиденциальность данных и ограничения использования зарубежных систем, а также стоимость использования больших языковых моделей.

Конфиденциальность данных и ограничения использования зарубежных систем

Критически важным аспектом при выборе ИИ-инструментов становится поиск решений, которые соответствуют требованиям конфиденциальности, защиты данных и устойчивости бизнеса. Однако ограничения, связанные с доступом к иностранным сервисам и необходимость соблюдения локальной безопасности данных, делают ситуацию в нашей стране особенной.

Сегодня на глобальном рынке существует множество мощных больших языковых моделей, таких как GPT от OpenAI, Claude от Anthropic, Gemini от Google, а также китайские и европейские разработки. Компания OpenAI блокирует доступ российских пользователей, они официально не могут пользоваться сервисами компании. Работа с ChatGPT из России требует использования специальных средств обхода блокировки. Однако, на момент написания статьи (конец ноября 2024 года) нет никаких ограничений на использование OpenAI со стороны России, наши контролирующие органы не имеют ничего против использования GPT.

В России появились собственные альтернативы GPT, например GigaChat, YandexGPT, которые могут использовать российские компании. Однако, вопросы защиты данных все-равно стоят и в этом случае. Даже если это российские языковые модели, ответственность за утечку конфиденциальных или персональных данных никто не отменял. Поэтому, в условиях ограниченного доступа из-за блокировок и требований защиты информации, компании оказываются перед необходимостью построения локальных решений.

К счастью, существуют решения open-source, такие как Mistral AI или Stable Diffusion. Французская языковая модель Mistral AI демонстрирует высокий уровень производительности, который, по заявлениям экспертов, значительно превосходит GPT 3.5 и сопоставима с GPT 4.

Например, Whisper — инструмент для транскрибации, который можно использовать внутри защищенного периметра компании без риска утечек данных. В задачи промпт-инженера входит анализ структуры компании и помощь в интеграции таких технологий в зависимости от потребностей. Для крупных компаний открывается возможность разрабатывать сложные решения, используя API российских языковых моделей (GigaChat и YandexGPT), совмещая их моделями, построенными на технологиях с открытым исходным кодом.

Так что существует масса нюансов, которые и должны знать промпт-инженеры. Можно ли использовать западные технологии? Велики ли требования к защите и конфиденциальности данных и нужно ли строить систему внутри корпоративного периметра безопасности? Велики ли риски использования облачных языковых моделей? Промпт-инженер анализирует процессы и выбирает наиболее эффективный стек языковых моделей и технологий для решения конкретной задачи.

Экономика: сколько стоит использование больших языковых моделей?

Расходы на использование современных больших языковых моделей, таких как GPT 4o, становятся значительной статьей затрат, особенно если речь идет о масштабных проектах с высокой персонализацией, например, массовых рассылках или автоматизированной обработке данных. При цене подписки на GPT 4o в 20 долларов в месяц кажется, что это доступное решение, особенно для индивидуальных пользователей. И, в корпоративных условиях, когда, благодаря использованию ИИ, эффективность сотрудника может повыситься на 10–15% обоснованность таких затрат очевидна. Однако при переходе от индивидуального использования к масштабной автоматизации вопросы себестоимости приобретают совершенно другой вес.

Давайте проведем простой расчет. Представьте, что компания с большой клиентской базой в 500 тыс. пользователей хочет организовать персонализированную email-рассылку. Для каждой рассылки нужно создать уникальное письмо объемом до 3000 символов (это примерно 2000 токенов). Примерная стоимость обработки одного письма с использованием GPT 4o составит около 0,1 доллара. То есть, полная рассылка обойдётся компании в 50 тыс. долл. Для большинства бизнесов, даже высокодоходных, это высокая стоимость, особенно если эти рассылки повторяются регулярно.

Здесь на помощь приходят модели с открытым исходным кодом (например, Mistral AI) или более дешёвые версии закрытых моделей, такие как GPT 3.5, которые могут быть в 20–30 раз экономичнее по сравнению с GPT 4 o. Эти решения, несмотря на несколько меньшее качество, способны эффективно закрыть часть задач. Например, по оценкам экспертов, уровня GPT 3.5 достаточно для предварительной обработки текстов и создания черновиков.

Внимательное и тщательное тестирование может показать, что, в зависимости от задач, такие решения, как Mistral или российские GigaChat и YandexGPT могут полностью заменить GPT 4o. Это кардинально снижает расходы, сохраняя при этом качество результата. Например, для сложных разовых запросов, где важна точность и глубина анализа, идеальным вариантом может быть работа с GPT 4 o. Однако для массовых и рутинных процессов, таких как автоматизация корпоративных рассылок, целесообразно собирать индивидуальный стек моделей, используя в том числе решения open-source внутри корпоративного периметра безопасности. Это позволяет минимизировать риски и управлять затратами.

Например, GPT 3.5 или Mistral AI, используются для первоначальной подготовки черновиков писем или краткого содержания, а финальная доводка писем производится c помощью GPT 4o. Это позволяет снизить затраты вдвое, экономя на крупных проектах десятки тысяч долларов.

Ключевую роль в выборе и реализации таких подходов играют промпт-инженеры. Их задача — на основе понимания бизнес-задачи подобрать оптимальную комбинацию инструментов, минимизируя издержки и сохраняя высокое качество выполнения задач.

***

Организация эффективного использования больших языковых моделей требует профессионального подхода. И роль промпт-инженера становится ключевой, поскольку именно они формируют решения, адаптированные под конкретные нужды бизнеса. Эти специалисты помогают интегрировать ИИ таким образом, чтобы он не просто становился модным инструментом, а кардинально менял рабочие процессы – начиная от автоматизации и заканчивая стратегической аналитикой.

Конечно, российские компании сталкиваются с ограничениями в использовании западных технологий, например, OpenAI, на корпоративном уровне. Однако это не значит, что использование больших языковых моделей невозможно. В России активно развиваются собственные нейросети и платформы, такие как решения от Сбербанка или Яндекса, которые способны решать бизнес-задачи на уровне мировых аналогов.

Комментарии 0