Проблемы использования генеративного ИИ в компаниях.

Искусственный интеллект ворвался в бизнес

Прошло менее трех лет с момента, как в ноябре 2022 года OpenAI представил широкому миру модель GPT 3.5. Это был не просто очередной шаг в развитии искусственного интеллекта – это был скачок. Внезапно перед нами оказался инструмент, способный делать то, что ранее казалось невозможным. Модель GPT 3.5 могла сочинять стихи, объяснять квантовую физику, решать задачи по математике, генерировать юридические заключения и программный код – и все это с легкостью преподавателя, способного адаптироваться к любому уровню знаний. Первым искусственный интеллект приходит в личную жизнь пользователей: кто-то генерирует текст для поздравлений, кто-то ищет в нем помощь в обучении. А затем наступает логичный и закономерный момент – его применение в рабочих процессах компаний. И сейчас, спустя чуть более чем 2,5 года, порядка 67% компаний в США уже используют генеративные языковые модели для оптимизации процессов. Для в России распространение нейросетей идет медленнее, но уже давно не стоит вопрос «стоит ли», стоит вопрос «когда». Однако пользователи столкнулись с пугающим побочным эффектом: иллюзией компетентности и галлюцинациями моделей.

Пять ключевых проблем использования ИИ в компаниях

Галлюцинации – это не единственная проблема, которая отделяет нас от системного корпоративного применения нейросетей. Эксперты выделяют пять главных проблем, с которыми сталкивается бизнес при использовании технологий искусственного интеллекта (рис. 1).

1. Безопасность: корпоративные данные под угрозой. Внедряя ИИ в бизнес-процессы, компании сталкиваются с вопросом сохранности данных. Как только конфиденциальная информация — коммерческая тайна, государственные документы или данные ограниченного использования — попадает в облачные нейросетевые модели, утечки – это уже не риск, а факт. В 2023 году случаи утечки чувствительных данных через ИИ-инструменты вызвали большой резонанс. Например, сотрудники компании Samsung загружали данные своих проектов в облачные модели для улучшения кода или автоматической генерации отчетов. Результат? Эти данные «всплывали» у других пользователей, когда те запрашивали помощь у той же модели. То, что ранее выглядело как научная фантастика, стало неприятной реальностью.
   Сегодня компании вводят ограничения на использование облачных моделей в рабочих процессах или ищут решения на уровне законодательства.
   
   Например, разрабатываются корпоративные нейросетевые модели с жесткими ограничениями по доступу к данным. Однако этот уровень защиты влечет за собой новый барьер – стоимость.
2. Этические и юридические риски: предвзятость генеративных моделей. ИИ — это продукт, созданный другими людьми, с их субъективностью. Любая языковая модель обучается на прошлых данных, которые могут содержать откровенные ошибки, предвзятость или нарушение этических норм. И эти изъяны мгновенно становятся проблемой компании, которая начинает использовать эту технологию. Вот несколько примеров:
   • Amazon отказался от использования ИИ-рекрутера, когда выяснилось, что он дискриминировал женщин, нейросетевая модель отказывалась предлагать им вакансии в ряде категорий, опираясь на то, чему она обучалась.
   • В одном из крупных американских банков ИИ отказал в выдаче кредитов определенным этническим группам, считая их более рискованными заемщиками и возмущение клиентов вылилось в публичный скандал.
   • В некоторых моделях простой промпт с указанием этнической принадлежности пользователя приводил к ухудшению качества ответов – модель давала менее детализированные, более общие рекомендации, чем для других этнических групп.
   
   Компании, стремясь избежать подобных ситуаций, начали нанимать новых специалистов — экспертов по этике ИИ. Их задача — проверять, насколько модели соответствуют корпоративным ценностям, нормам законодательства и этическим ожиданиям.
   Нейросети быстро меняются и этические и юридические риски требуют постоянного мониторинга.
3. Зависимость от технологий: риск утраты экспертизы. Человеческий капитал — это основа любого бизнеса. Все руководители привыкли работать с экспертами: их можно обучить, проверить, привлечь к обсуждению нестандартных ситуаций. Именно люди передают неявные знания — те, что не формализуются в инструкциях и правилах. Но что происходит, когда ключевые компетенции организации постепенно переходят к ИИ? Когда компания начинает полагается исключительно на ИИ?
   Такой сценарий особенно бурно обсуждается среди специалистов по прогнозированию. Они задаются вопросом: что произойдет через 20–30 лет, когда поколение нынешних экспертов уйдет из профессии? Сможем ли мы сохранить и передать человеческие знания будущим поколениям? Ведь обучить нового специалиста, когда все решения принимает модель, будет куда сложнее.
   Чрезмерная зависимость от технологий грозит потерей экспертизы и начинает угрожать будущему.
4. Высокие затраты: корпоративное внедрение требует ресурсов и времени. ИИ-инструменты для личного использования кажутся доступными, подписка на облачные сервисы с языковыми моделями стоит недорого. Но корпоративное внедрение нейросетевых моделей куда более сложная и затратная история. Во-первых, инфраструктура для развертывания генеративных моделей на мощностях компании дорогостоящая. А если учитывать, что корпоративное решение должно одновременно обрабатывать запросы сотен пользователей, придется обеспечить масштабируемость системы, что потребует дополнительных вложений.
   Во-вторых, нужен обученный персонал: от промпт-инженеров до экспертов по безопасности данных. Сегодня мы видим рост числа специализированных вакансий при нехватке специалистов, что увеличивает расходы компании.
   Многие компании сталкиваются с выбором: строить ИИ-сервисы на собственной инфраструктуре – это затратно, но безопасно, или использовать сторонние облачные решения – это дешевле, но рискованно с точки зрения конфиденциальности.
   
   Сбалансированного решения пока нет и сегодня компании вынуждены идти по одному из этих путей.
5. Галлюцинации и доверие к результатам. Галлюцинации генеративных моделей — это метафора, которой описывают случаи, когда модель выдает убедительные, но абсолютно недостоверные ответы. Это настолько важно, что подробнее об этом ниже.

Рис. 1. Пять ключевых проблем использования ИИ в компаниях

Галлюцинации и иллюзия компетентности

Первое, что поражает в современных языковых генеративных моделях – это их уверенность. Они отвечают так, будто владеют истиной в последней инстанции. Когда мы видим, насколько уверенно модель отвечает на вопросы, трудно не впечатлиться. Она формулирует мысли четко, связно и убедительно. Иногда кажется, что перед вами настоящий эксперт, анализирующий и обрабатывающий огромные потоки данных за доли секунды. Создается иллюзия компетентности и именно здесь кроется опасность – галлюцинации нейросетевых моделей.

Главная проблема современных генеративных моделей — их склонность выдавать галлюцинации. Все начинается безобидно: большая языковая модель старается сгенерировать лучший возможный ответ, исходя из своего обучения. Она честно пытается что-то собрать из тех знаний, на которых она была обучена. Но если знаний недостаточно, она не признает их нехватку – модель фантазирует и придумывает что-то, что звучит убедительно, но не соответствует действительности. Так уж устроены генеративные языковые модели. Это, во-первых, связано с тем, как они обучаются: они поглощают огромные массивы данных и, если информация была изначально искажена, потом воспроизводят эти ошибки. А во-вторых, модель не умеет говорить «я не знаю» и всегда старается дать полный ответ, допридумывая что-то, если ее знаний недостаточно. Например, при подборках новостей модели могут ссылаться на несуществующие источники, что неоднократно проверено на практике.

Это критическая проблема, особенно если речь идет о важных данных. Представьте, что модель генерирует отчет для финансового подразделения компании. Технически он выглядит отлично: таблицы, сводки, понятная логика — все это внушает доверие. Но затем выясняется, что ключевая метрика вычислена с ошибкой, потому что данные изначально были некорректны, а модель их некритично проанализировала и немного подправила по своему усмотрению. Примеров подобных ошибок становится всё больше. Поэтому бизнесу требуется более строгий контроль качества результатов, с последующей проверкой каждого этапа обучения. Как часто случается подобное? Увы, весьма часто.

Этот процент слишком велик, чтобы его игнорировать. Если инструмент дает неверный результат в одном из пяти случаев, на руководителях ложится дополнительная ответственность: понимать, где ИИ помогает, а где может подставить.

Более того, согласно данным 2025 года, процент ошибок неожиданно начал расти, несмотря на общий тренд их снижения в 2023–2024 годах.

Технологически проблема галлюцинаций пока не разрешена, бороться с этим эффектом сложно. Ведь галлюцинации появляются именно потому, что модель пытается соответствовать контексту вопроса и сессии, а не своим данным. Это, несомненно, важно, но именно это и приводит к галлюцинациям. Слишком большое доверие к генеративным нейросетям особенно опасно в узкоспециализированных областях, где контекст вопроса очень узок и специфичен.

***

Галлюцинации – это не просто технологическая странность, а фактор риска, который может повлиять на принятие решений. Пока нельзя слепо полагаться на ИИ, даже если его ответы кажутся безупречными. Ошибка в информации – это не просто ошибка модели, это потенциальные потери. Именно поэтому компаниям нужны процессы контроля, эксперты и четкие стандарты работы с ИИ. Умение работать с галлюцинациями – важнейший элемент менеджмента будущего. Как можно проверять ответы нейросетевых моделей и подходить критично к результатам – об этом мы расскажем в следующей статье.

Комментарии 0