Проблемы использования ИИ в компаниях.

Как выявить галлюцинации нейросети?

Языковые модели – не волшебная серебряная пуля, решающая все проблемы компании раз и навсегда. Но это инструмент, который позволяет автоматизировать повседневные задачи, ускорять принятие решений и повышать продуктивность. Однако ошибки нередки, и компании, внедряя ИИ, сталкиваются с двумя основными вопросами:

• Как распознать, что модель выдала ошибку?
• Как минимизировать такие ошибки?

Вот несколько подходов, которые помогут снизить риски и поймать ИИ на том, что он фантазирует (рис. 2).

1. Проверка экспертом. Когда языковые модели были менее развиты, выявить их ошибки было легко – они были очевидны. Модель могла выдать сообщение настолько нелепое, что его сразу было видно. Но сегодня ситуация изменилась: модели вроде GPT 4 научились звучать убедительно даже там, где дают неправильные ответы. Чтобы отслеживать ошибки, теперь требуется привлечение узких специалистов. Эксперты могут оценить правильность ответов модели, например, финансовый аналитик может проверить расчеты, юрист – текст договора, а программист – код. Это не всегда удобно и не всегда быстро. Но пока модели галлюцинируют, такой подход остается актуальным.
2. «Красные флажки». Модели можно поймать на ошибках, если обращать внимание на особенности их ответов. Вот признаки, вызывающие сомнения:
   • обтекаемость формулировок, выражения вроде «некоторые ученые считают», «по мнению экспертов» или «известно, что» – это сигналы о том, что модель пытается спрятаться за общими словами;
   • отсутствие конкретики – нет ссылок, дат, имен или других доказательств, это индикатор, что модель могла сгенерировать ответ из воздуха.
   Менеджеры не должны игнорировать «красные флажки» и такие ответы нейросети всегда требуют проверки.
   
   Ведь принимать важные решения, полагаясь на недостоверную информацию, – это бизнес-риск, который нельзя допустить.
3. Перекрестная проверка. Как в сложных корпоративных спорах важно услышать всех участников процесса, так и в работе с ИИ результаты от разных моделей позволяют выявить ошибки. Ключевой подход: задайте один и тот же вопрос нескольким моделям и сравните их ответы.
   Если три независимые модели ответили одинаково – высока вероятность, что информация достоверна.
   
   Но если одна из них противоречит остальным или прибегает к обобщениям («красные флажки»), задайте уточняющие вопросы.
4. Регулярные «экзамены». Компании, стремящиеся выжать максимум из ИИ, разрабатывают собственные инструменты проверки качества. Например, они задают модели набор вопросов, ответы на которые заранее известны, и оценивают, насколько она справляется с задачами. Это своего рода «экзамен», который помогает определить, есть ли деградация в качестве ее работы. Некоторые компании даже автоматизируют подобную переэкзаменовку генеративных моделей. Это позволяет оперативно выявлять слабые места в работе генеративных моделей и корректировать их.

Рис. 2. Приемы проверки ответов нейросетевых моделей на ошибки.

MCP-протокол: стандарт расширения «знаний» модели

Контроль и регулярные проверки – это очень важно, но есть и способы повысить качество ответов генеративной модели. И важнейший из них – это использование моделью MCP-протокола.

В 2024 году компания Anthropic представила MCP-протокол (Model Context Protocol) – своего рода «USB-C» для больших языковых моделей. Основная цель MCP — создание унифицированного протокола связи между большими языковыми моделями и внешними источниками данных и инструментами. Этот открытый стандарт позволяет моделям «выйти за пределы своих знаний» и интегрироваться с внешними источниками данных.

Как это работает? Представьте, что модель обучалась на данных до 2023 года и не знает, что произошло дальше. Если ответ требует более актуальных данных, то через протокол MCP модель может обратиться к актуальным интернет-источникам, загрузить в себя новые данные и выдать более релевантный ответ. Это похоже на навигатор, который уточняет маршрут в реальном времени, вместо того чтобы полагаться на старую карту.

Это особенно актуально для тех сфер, где время и точность имеют решающее значение – например, маркетинга, логистики или управления рисками. Но и здесь требуется контроль и проверка: модель может «вытащить» из интернета информацию, которая тоже окажется недостоверной.

Специалисты также активно работают над технологией «контролируемых галлюцинаций». Она предполагает, что модель будет предупреждать пользователя: «Я не знаю точный ответ». Это спасет от галлюцинаций, однако такая прямолинейность вскрывает другой риск: доверие к инструменту может снизиться. Бизнес-пользователь, как правило, ставит практическую ценность выше прозрачности.

Взгляд «под капот» нейросетей: что нужно знать об обучении моделей

В поисках методов повышения качества работы генеративных моделей стоит повнимательнее рассмотреть, как же происходит их обучение. В первой части статьи мы уже писали, что нейросеть честно пытается собрать ответ из тех знаний, на которых она была обучена и именно тут и возникают галлюцинации.

Обучение нейросетей сегодня похоже на строительство дома на песке: фундамент можно заложить, но насколько он прочен — неизвестно. Компании, создавая свои генеративные модели, «скармливают» им необъятное количество данных, зачастую без полной уверенности в их чистоте, актуальности или релевантности.

История демонстрирует, как менялись подходы к обучению нейросетей. Первые модели, такие как GPT-2 и GPT-3, обучались буквально на копии интернета: терабайты данных, включающих все от научных статей до мемов и блогов из социальных сетей. Но вскоре стало ясно: «объем» не равен «качеству». Проблема заключалась не только в устаревающих и противоречивых данных, но и в том, что модели некритично воспроизводили любое содержание — серьезный научный факт или шутку из форума.

С переходом к GPT-3.5 подход стал более зрелым: разработчики начали учитывать важность качества данных и их достоверности. Основное внимание сосредоточилось на создании специально выверенных датасетов, где каждая пара «вопрос-ответ» проверялась вручную. Сегодня за каждой нейросетью стоят данные, а также работа экспертов по обработке информации и специалистов по корректировке ошибок. Очень важно понимать, на каких данных обучалась модель и можно ли ее применять именно для конкретной области и тематики, чтобы получить безошибочный результат.

Например, использование искусственного интеллекта в медицинской практике или судебных разбирательствах требует, чтобы данные, на которых обучена нейросеть, были юридически и научно выверенными — здесь ставки слишком высоки, ошибка может стоить здоровья или даже жизни пациента, или привести к юридическим казусам. Этот подход сократил ошибки, но не решил главной проблемы — полного доверия данным, на которых базируется знаний модели.

Есть и другая проблема – высокие затраты. При дообучении моделей – самое сложное это собрать и подготовить датасет. Подготовка таких данных требует невероятных усилий, чтобы создать корректный и полезный датасет, требуются месяцы работы и десятки тысяч человеко-часов квалифицированного труда. Здесь нужен штат экспертов, способных интерпретировать данные в правильном ключе, учитывая их значимость. Учитывая огромные вычислительные ресурсы и высокие затраты, о которых мы писали в первой части статьи, полный цикл дообучения модели доступен лишь немногим компаниям.

Метод RAG: давайте подскажем модели

Один из путей решения проблемы дообучения — метод RAG (Retrieval-Augmented Generation). RAG — это метод работы с языковыми моделями, когда к вопросу пользователя добавляется дополнительная информация из каких?то внешних источников. При помощи формирования так называемых «векторов», вместе с вопросом пользователя система ищет наиболее правильные кусочки документов, которые могут содержать ответ или относиться к этому вопросу. И на вход языковой модели, в контекст запроса, добавляется дополнительная информация, на основе которой языковая модель может дать пользователю более полный и точный ответ. Как это выглядит на практике? Представьте, что у нас есть большой архив тщательно отобранных документов, в котором есть ответы на конкретные запросы. Сначала вопрос пользователя проходит через систему поиска, чтобы извлечь релевантные фрагменты документации, после чего модель формирует ответ, учитывая эти найденные данные.

Современные системы могут обрабатывать контексты до 100 000 токенов (примерно размер средней книги), а Claude и Gemini уже работают с «окном» в 1 млн токенов — объем, сравнимый с небольшой корпоративной библиотекой. И модель буквально может держать в своей «памяти» все эти книги, пока дает ответ. Но скорость и стоимость при этом остаются критическим барьером — за миллион токенов еще заплатить надо и возникает весьма ощутимый счет за вычислительные ресурсы.

Нейросеть как изменчивый «черный ящик»

Но и метод RAG не решает проблему полностью. Вы можете инвестировать в создание идеального датасета, добиться высокого качества работы модели, но что случится завтра, если ваша модель в облаке, а поставщик изменит ее параметры? Даже если мы выверили весь датасет нужной тематики, то облачные модели находятся за пределами нашего влияния, мы их не контролируем. Было несколько случаев, когда уже работающие нейропомощники, вдруг, без смены версии модели, стали отвечать хуже. То есть с моделью что-то произошло, при этом никакой информации об изменении модели не было. Изменения облачных моделей сегодня могут происходить без уведомлений, нарушая стабильность и снижая доверие пользователей.

Датасеты устаревают и модели изменяются, это одна из проблем, которая постоянно должна быть в голове. Да, не успеешь подстроиться, уже что-то новое происходит. Поэтому в дальнейшем уже модель придется корректировать вручную, обучая ее отличать критически важные данные от второстепенных.

Кроме того, использование метода RAG, гарантированно улучшит ответ по узкой специфике новых данных, но как будет отвечать на вопросы по другим темам — это непонятно. Может быть лучше, а может быть и хуже. Предсказать это невозможно, поскольку эффекты дообучения влияют на весь массив данных.

Поэтому только периодические проверки, периодический контроль на выверенных данных, которым мы можем доверять, и перекрестные проверки нескольких моделей – это единственный выход на сегодня.

***

ИИ – мощный инструмент, но, как и любая сложная технология, требует тщательного контроля и адаптации к корпоративным реалиям. ИИ – это не лекарство, которое решит ваши проблемы раз и навсегда. Это надежный, но требующий контроля посредник. Проблема галлюцинаций показывает, что менеджерам важно не только внедрять технологии, но и понимать их ограничения. Будущее работы с нейросетями за теми, кто научится балансировать между доверием и проверкой. Ставить под сомнение выпадающие из системы ответы – не просто защитная мера, а залог успеха в эпоху искусственного интеллекта. В конце концов, ИИ не заменит менеджеров. Но менеджеры, владеющие ИИ, заменят тех, кто не умеет с ним работать.

Комментарии 0