Генеративный ИИ в компании

Идем итерациями и наощупь 

Руководители привыкли мыслить дорожными картами и большими проектами с фиксированным бюджетом, сроками и понятными результатами, которые можно защитить приоритеты перед инвестиционным комитетом. Так, как мы десятилетиями внедряли ERP-системы. И их можно понять, так проще. 

Но как можно дать обоснованный прогноз окупаемости технологии, которая меняет свои свойства каждый квартал? Технологическая неопределенность велика, но на нее накладывается еще организационная и человеческая неопределенности. То, как необходимо будет изменить наши процессы и организации еще непонятно даже самым ранним приверженцам. То, как будет работать связка «человек и ИИ» пока еще трудно прогнозируемо, кроме каких-то тривиальных случаев. В результате внедрение генеративного ИИ в компании идет не по законам классического проектного менеджмента (где есть фиксированный бюджет, сроки и ожидаемый результат).

Мы идем наощупь, донастраиваем ИИ-решения итерациями, добиваясь точности ответов, а не следуем строгому ТЗ. И на этом пути неизбежны ошибки, о которых мы и поговорим.

Автоматизация хаоса усилит хаос 

Самая распространённая ошибка — попытка внедрить генеративный ИИ не в четкие процессы, а в какую-то беспорядочную последовательность действий. Если процессы в компании работают с перебоями, внедрение интеллектуальной системы не исправит ситуацию, а лишь ускорит воспроизводство ошибок и создаст иллюзию эффективности. Об этом мы уже писали в Части 7. «Чек-лист готовы ли вы к пилоту?».

Парадокс заключается в том, что компании часто пытаются автоматизировать именно те участки, где больше всего проблем, надеясь, что технология их исправит. Но это ошибка, причем так было всегда, еще со времен внедрения больших корпоративных систем. Если вы точно знаете, что в определённой области есть системные проблемы, сначала необходимо навести порядок: устранить неопределенность, описать регламенты и зафиксировать процедуры. Искусственный интеллект может подсказать, как это сделать, но он не способен автоматизировать то, что изначально находится в состоянии хаоса.

Плохие данные испортят любую модель 

По оценкам экспертов, примерно 60–70% проблем при внедрении систем на основе генеративного ИИ связаны не с моделями, а с данными, которые в эти модели загружаются. Галлюцинации, неправильные настройки и устаревшие знания самих моделей составляют лишь 30–40% источников проблем (мы вовсе не отрицаем, что у нейросетей есть галлюцинации, об этом ниже). Всё остальное — это качество, актуальность и репрезентативность данных, которые компания предоставляет для обучения и работы ИИ-решений. 

Один пример: компания передала ИИ-специалистам по автоматизации 500 тыс. строк товарной номенклатуры, заверив, что это полный каталог. Но через два месяца выяснилось, что один важный кластер товаров просто отсутствовал. Модель не знала о существовании целой категории продуктов, и все результаты работы оказались искажёнными. На поиск этой проблемы ушло два месяца, и всё это время проект стоял на месте. Подобные ситуации возникают потому, что ИИ-специалисты доверяют бизнесу, а бизнес ее осознаёт, важность полноты и качества данных.

Особую сложность представляет контроль версий данных. Компании часто не отслеживают, какие именно датасеты использовались для обучения модели, когда они были обновлены и насколько они актуальны на текущий момент. Без такого контроля модель может оперировать устаревшей или неполной информацией, и её решения перестают соответствовать реальности 

Недооценка важности бизнес-экспертизы 

Многие руководители привыкли к подходу, который хорошо работал с классическими ИТ-решениями: найти систему, адаптированную под индустрию, и внедрить её. Такой подход давал хороший эффект, потому что коробочные решения уже содержали в себе типовые бизнес-логики. Но искусственный интеллект устроен иначе. Это не готовая система, а универсальный инструмент, который требует глубокой кастомизации под бизнес-процессы, данные и задачи конкретной компании. Какую бы модель вы бы ни использовали, результат будет определяться тем, как вы адаптируете свои процессы и какие возьмете данные. 

Универсальная ИИ-модель может создать вау-эффект на небольшой доле запросов, но если вы посмотрите на полную картину, качество будет значительно хуже. Без кастомизации и доработок под конкретную бизнес-задачу результат становится неудовлетворительным.

ИТ-компаниям крайне сложно внедрять такие решения, потому что требуется одновременно сильная экспертиза в технологиях и в предметной области. Собрать команду, которая одинаково хорошо разбирается и в агентах, и в металлургии или страховании, крайне трудно. Поэтому успешные проекты возникают только в синергии ИТ-команды, которая понимает, как работают модели, и бизнеса, который глубоко знает свой процесс. 

Недооценка сопротивления сотрудников 

Бизнес всегда хочет много и быстро, и это естественно. Но внедрение ИИ — это не только технологический проект, но и глубокая трансформация работы людей. Компания способна переварить лишь определённый объём нововведений за единицу времени, если перегрузить сотрудников сложными инновациями, они будут сопротивляться. 

Особенно остро стоит вопрос с людьми, чьи процессы автоматизируются. Представьте сотрудника, который знает, что внедряется система, полностью заменяющая его рекрутинговую функцию. Что он будет делать дальше? Для многих этот сценарий выглядит как угроза, и они начинают сопротивляться, не делятся знаниями, не помогают обучать агентов.

Важно объяснять сотрудникам, что генеративный ИИ забирает операционную работу, но оставляет контроль, развитие и улучшение процессов. Роль сотрудников маркетинга, HR и продаж видоизменяется, но не исчезает. Более того, сотрудник, который берёт на себя ответственность за внедрение генеративного ИИ в свой процесс, становится уникальным специалистом с рыночным преимуществом. Он перестаёт заниматься текучкой и начинает думать о том, как улучшать качество ответов модели и как интегрировать новые данные. Умение работать с ИИ-агентами и методологией данных существенно повышает капитализацию человека на рынке труда. 

Культура отношения к генеративному ИИ становится критическим фактором успеха. Добиться этого помогают несколько действий. 

1. Коммуникация — нужно легализовать практику использования ИИ, донести до сотрудников, что это нормально и безопасно, предоставить централизованный ИИ-сервис.
   
2. Личный пример руководителя, когда топ-менеджеры сами демонстрируют использование инструментов, это снимает барьеры.
   
3. Выявление продвинутых сотрудников, которые уже активно применяют нейросети, их надо хвалить, ставить в пример, запускать дайджест их кейсов.
   
4. Обучение работе с генеративным ИИ за счет компании, но не общее, а под конкретные роли: для маркетинга, HR, продаж, разработки и т.д.

И только после этого можно переходить к назначению ответственных за ИИ-трансформацию и формированию кросс-функциональных команд.

Недооценка масштаба обучения 

Многие руководители недооценивают масштаб переобучения, который требует внедрение генеративного ИИ. Им кажется, что достаточно провести легкий тренинг, показать несколько кейсов и дать доступ к инструменту. Но новая технология меняет не интерфейс, а саму логику интеллектуального труда. Чтобы использовать генеративный ИИ эффективно, сотрудник должен уметь формулировать задачу, разбивать её на части, оценивать качество ответа, отличать убедительность от точности и понимать, где нейросеть помогает, а где создаёт иллюзию компетентности. Руководителям нужно понимать, как меняются процессы, роли и метрики, когда в системе появляется интеллектуальный усилитель. Компаниям нужны новые навыки, которые включают понимание возможностей и ограничений моделей, прикладные сценарии по использованию в различных бизнес-функциях.

Всему этому придется учиться. Без такого обучения возникает парадоксальная ситуация: формально доступ к ИИ есть у всех, а реальную пользу извлекают немногие. Одни сотрудники ускоряются, другие теряются, третьи начинают доверять модели больше, чем стоит. В результате, компания получает не скачок производительности, а новые проблемы с качеством работы. 

Скрытая стоимость поддержки и экономика пилота 

Одна из самых незаметных ловушек при внедрении генеративного ИИ — это недооценка совокупной стоимости владения. Руководитель получает коммерческое предложение от интегратора, который обещает «волшебного ассистента», к примеру, за 500 тыс. рублей. Он сравнивает эту сумму с зарплатой штатного сотрудника за год и легко принимает решение о внедрении. А потом начинаются неприятные сюрпризы. 

Оказывается, что в смету не включена поддержка созданного решения: модели нужно обновлять, алгоритмы корректировать, а промпты переписывать при юстировании качества или изменении бизнес-логики. Появляются новые регуляторные требования, меняются контрагенты, обновляются данные. Всё это требует постоянного внимания команды пилота, либо оплаты внешних услуг. В результате оказывается, что поддержка обходится в 50-100 тыс. рублей в месяц, и экономика проекта кардинально меняется.

Лидер пилотного проекта должен заранее ответить на вопросы: 

• Какой минимальный объём задач окупит внедрение и поддержку?
  
• Какой процент операций агент сможет выполнять самостоятельно, и сойдется ли экономика пилота? 

При планировании любого ИИ-проекта необходимо закладывать бюджет на долгосрочное сопровождение и регулярное обновление системы, иначе через полгода вы получите «дыру» в финансах. Если вы понимаете, что до целевого показателя не добираетесь или он нереалистичен, — закрывайте пилот и пробуйте в другой области. 

Галлюцинации и «услужливость» моделей 

Главная техническая проблема больших языковых моделей — это галлюцинации, то есть генерация правдоподобной, но фактически неверной информации. Как показывают исследования c ними хоть раз сталкивались все пользователи (96%), а 46% процентов сталкиваются регулярно. Разработчики ИИ-моделей тратят основное время именно на то, чтобы избежать галлюцинаций или минимизировать их последствия. 

Опасность галлюцинаций заключается в том, что искусственный интеллект подсаживает пользователя на свою уверенность. Человек привыкает к уверенному ответу и перестаёт проверять результаты.

Основной метод борьбы с галлюцинациями — это подход RAG (Retrieval Augmented Generation). Суть его в том, чтобы загружать в модель конкретный документ с проверенными данными и запрещать ей генерировать что-либо от себя. Например, если нужно работать с регламентом документооборота в министерстве, вы загружаете этот регламент в модель и просите объяснить правила на его основе, без добавления внешней информации. Тогда модель выдаёт только то, что содержится в документе, и галлюцинация исключена. Однако здесь есть техническое ограничение: контекстное окно большой языковой модели конечно поэтому важно следить за размером загружаемых документов и структурой знаний. 

Еще один аспект качества – «услужливость» генеративных моделей, они очень хотят понравится нам и склонны давать социально ожидаемые ответы, то есть те, которые чаще всего встречаются в обучающих данных. Это похоже на собеседование, где кандидат всегда даёт социально одобряемые ответы. Но для точного бизнес-решения нужны не усреднённые, а точные ответы, которые могут лежать далеко за пределами нормального распределения. Ещё одна проблема заключается в том, что модели не глубоко погружаются в задачу и не оценивают ее корректность, они решают ту задачу, которую им поставили, даже если она сформулирована неверно.

То, что модель не умела в прошлой версии, может появиться в новой, и наоборот, какие-то старые паттерны могут сломаться. Поэтому работа с генеративным ИИ требует постоянного тестирования и валидации на конкретных бизнес-сценариях. 

*** 

Несмотря на эти ошибки, тем, кто не хочет отстать надо двигаться. На данном этапе развития технологии генеративного ИИ скорость их внедрения очень важна. Ваш главный KPI при запуске пилотного проекта — это не экономия затрат, а скорость подтверждения или опровержения гипотез. Тогда и экономический эффект будет.

Комментарии 0