Нейросети для бизнеса

Ограничения нейросетей

Несмотря на значительные плюсы, у текущей реализации технологии нейросетей (или больших языковых моделей) есть и свои ограничения.

1. Нейросети требуют больших вычислительных ресурсов и времени для обучения, это непростой процесс, требующий высококвалифицированных специалистов.
2. Предвзятость или смещение нейросетей, а также «галлюцинации» нейросетей.
3. Правовые ограничения, вопросы конфиденциальности данных, защиты персональной информации и потенциального злоупотребления нейросетями.
4. Этические ограничения – почти всегда сложно понять, как именно нейросети принимают решения, они непрозрачны и непонятны. А в целом ряде задач, прежде всего связанных с людьми, прослеживаемость логики – это очень важный момент.

Понимание этих ограничений позволяет более рационально использовать нейросети и учитывать их возможные ограничения при разработке решений на базе таких инструментов. Разберем их чуть более подробно.

Неподъемные затраты на обучение

Нейросети требуют больших вычислительных ресурсов и времени для обучения по нескольким причинам.

Во-первых, нейросети обычно имеют большое количество параметров, которые нужно настроить в процессе обучения. Чем больше параметров, тем больше вычислительных ресурсов требуется для обработки и вычисления. Комплексные нейросети со множеством слоев и нейронов могут обладать миллиардами параметров (в части 2 мы писали, что еще модель GPT-3 имела 175 миллиардов параметров), что требует значительных вычислительных мощностей.

Во-вторых, для обучения нейросетей требуется большой объем данных. До 2018 года нейросети обучались на основе примеров, так называемом «обучении с учителем». Нейросети получают наборы входных данных, называемых тренировочными примерами, и для каждого примера им предоставляется соответствующий выходной сигнал или метка. Их задача состоит в том, чтобы связать входные данные с соответствующими выходными сигналами путем настройки своих внутренних параметров.

Одним из ключевых алгоритмов, используемых для обучения нейросетей, является обратное распространение ошибки. В этом алгоритме нейросеть вычисляет градиент, который показывает, как изменение ее параметров влияет на ошибку предсказания. Затем градиент используется для обновления параметров нейросети в направлении, которое уменьшает ошибку. Сбор и подготовка достаточного количества данных, чтобы научиться распознавать образы или понимать естественный язык, занимают много времени и усилий.

При этом, как мы писали в части 2, в июне 2018 года компания OpenAI предложила так называемое слабонадзорное (weak supervision) обучение, тем самым удалось сделать серьезный прорыв и кардинально упростить сбор и подготовку данных.

Очень важным аспектом обучения нейросетей является выбор хорошего и разнообразного набора данных. Нейросеть должна быть обучена на различных примерах, чтобы она могла обобщить свои знания и правильно предсказывать на новых данных. Так, как мы писали в части 2, модель ChatGPT не сильно отличалась от базовой модели GPT-3.5, ее лишь немного дообучили на дополнительном наборе данных, состоящих из диалогов. Затем, благодаря тому, что ChatGPT был открыт и миллионы людей вносили туда свои данные, он учился быстрее. Так что нас ждет взрывной спрос на обучающие данные. Прогноз компании ARK Investment Management (2023):

В-третьих, процесс обучения нейросетей – итеративный, он включает несколько итераций, называемых эпохами. В каждой эпохе нейросеть принимает входные данные и создает предсказания, которые оцениваются в соответствии с ожидаемыми выходами. Эти предсказания сравниваются с фактическими метками, и на основе разницы между ними нейросеть корректирует свои внутренние параметры. На протяжении множества эпох процесс обратного распространения ошибки и коррекции параметров нейросети повторяется до тех пор, пока ошибка предсказания не достигнет достаточно низкого уровня или пока нейросеть не достигнет желаемого качества предсказаний. Такой процесс обучения требует множества повторений с применением различных методов оптимизации, чтобы нейросеть достигла желаемой производительности.

Все это делало обучение своих моделей уделом лишь немногих очень крупных игроков. Однако, как мы писали в части 1, стоимость обучения модели будет радикально сокращаться.

А до этого можно использовать уже обученные открытые модели типа GPT-3.5 и GPT-4, к которым есть API (отметим, что этот путь закрыт для российских компаний, по политическим причинам).

На выходе чушь: предвзятость и смещение нейросетей

Важно отметить, что результат работы нейросетей не гарантирован. Даже после длительного обучения нейросети могут выдавать совершенную чушь.

Ошибки нейросетей деликатно называются «предвзятостью» или «смещением». Причина их возникновения – неправильные или несбалансированные наборы данных обучения. Это происходит из-за особенностей генеративных нейросетей и их способности адаптироваться к различным ситуациям. Когда нейросеть обучается на неправильных или ошибочных данных, она может выучить неверные шаблоны и связи между входными данными и выходными метками. Например, если нейросеть обучается на данных, содержащих ошибки или неточности, она может принять их за верные и усилить эти неправильные связи.

Кроме того, если набор данных для обучения нейросети не сбалансирован, то есть присутствует диспропорция между количеством примеров разных классов или категорий, нейросеть «сместится» в сторону наиболее представленных классов. Например, если нейросеть обучается на наборе данных, где животные встречаются гораздо чаще, чем насекомые, то она может склоняться к выбору животных в ответе даже в случаях, когда ответ «насекомые» более релевантен.

Итак, важно обратить внимание на качество данных и стремиться к обучению нейросетей на сбалансированных наборах данных. Более широкие и качественные данные позволяют нейронным сетям эффективнее работать и принимать более обоснованные решения. И при выборе провайдера нейронных сетей, а также базовой модели (например, GPT-3.5) важно учитывать данные, на которых она была обучена и их качество.

«Галлюцинации» нейросетей и людей

Одной из ключевых особенностей нейросетей, которую важно понимать, являются так называемые «галлюцинации». Иногда нейросеть выдает явно глупый ответ или очевидно неверную информацию, например, утверждая то, чего никогда не было. Простыми словами, «галлюцинациями» называются ситуации, когда, например, чат-бот нейросети, отвечает на поставленный вопрос с очевидными ошибками. Например, если ChatGPT не знает ответ, он его придумает и может подделывать источники и давать правдоподобные, но неправильные или бессмысленные ответы.

Бросается в глаза противоречие: с одной стороны, есть ожидание, что нейросеть всегда должна работать с безупречной точностью, поскольку подобна вычислительной машине. Однако это не совсем так, нейросеть во многом ближе к человеческому мозгу, который постоянно подвержен ошибкам и может «галлюцинировать».

Стоит заметить, что галлюцинации в нейросетях и человеческом мышлении фундаментально схожи. Люди постоянно ошибаются и галлюцинируют. Когда два человека смотрят на одно и то же событие, но интерпретируют или «видят» его по-разному – это можно трактовать как «галлюцинации» у людей. Аналогичным образом галлюцинируют нейросети.

К сожалению, надежного рецепта как избежать галлюцинаций нейросетей, сегодня не существует. Но сильно помогают сложные запросы (промпты) и повторные уточнения.

Именно поэтому появилась профессия промпт-инженер, хотя в текущем виде профессией это назвать трудно, скорее некоторым набором навыков. Но кто знает, во что общение с нейросетями разовьется в будущем.

Правовые ограничения

Кроме того, нейросети также сталкиваются с правовыми ограничениями. Вопросы конфиденциальности данных, защиты персональной информации и потенциального злоупотребления нейросетей создают сложности в их использовании и требуют соответствующей этической оценки.

В области конфиденциальности данных одной из основных сложностей является риск несанкционированного доступа к конфиденциальной информации. Нейронные сети часто используют большие объемы данных для обучения, включая личные или конфиденциальные данные. Нейронные сети могут обрабатывать огромные объемы личных данных, таких как имена, адреса и контактная информация. Соблюдение законов о защите персональных данных, с одной стороны, становится проблематичным, с другой, совершенно необходимо. Чтобы защитить право людей на частную жизнь и неприкосновенность персональной информации, по всей видимости, потребуется модификация законодательства, а также его практики применения.

Есть несколько возможных форм злоупотребления нейронными сетями, которые необходимо учитывать всем руководителям. Вот некоторые из них:

1. Создание обманного (фейкового) контента. Нейронные сети могут быть использованы для создания и распространения фальшивых новостей, ложной информации или поддельных изображений. Фактически это целенаправленная дезинформация. Для борьбы с этим менеджерам следует реализовывать механизмы проверки контента, а также усиливать цифровую грамотность и навыки в распознавании фейк-новостей.

2. Усиление предубеждений. Как мы писали выше, если нейронные сети обучаются на данных, содержащих некоторые недостоверные, но частые утверждения, они могут усиливать и распространять эти предубеждения в своих решениях. Например, в системах автоматического принятия решений о приеме на работу или предоставлении кредитов, нейронные сети могут учитывать неправильные параметры и связи, что приведет к некачественным решениям. Менеджеры должны тщательно следить за процессом обучения таких систем и принимать меры для устранения предубеждения и неправильной обработки данных.

3. Социальная манипуляция. Нейронные сети могут использоваться для воздействия на поведение людей, включая манипуляцию эмоциями, убеждениями или выбором. Например, в сетях социальных медиа, алгоритмы могут анализировать поведение пользователей и предлагать содержание, которое стимулирует специфические реакции или воздействует на их взгляды. Для предотвращения таких манипуляций, менеджерам следует обеспечивать прозрачность алгоритмов рекомендаций и предоставления разнообразного и объективного контента.

Нейросеть должна быть этичной?

Еще одной важной проблемой является этика – в идеале, нейронные сети должны быть прозрачными и объяснимыми, чтобы мы могли понять, почему они приняли определенное решение. Это особенно важно, когда речь идет о решениях, которые могут иметь юридические последствия, например, при приеме на работу или повышении заработной платы. Чтобы избежать обвинений в дискриминации, нам необходимо иметь возможность объяснить причины, почему было принято то или иное решение. Однако сегодня это возможно только для узкого класса задач. Именно поэтому, при принятии этически важных решений, нейросети пока используются как советчики, но не как финальная точка принятия решения.

Итак, при использовании нейронных сетей в менеджменте важно учитывать доступность и качество данных, а также обеспечивать прозрачность и объяснимость принимаемых решений. Потенциальные риски требуют тщательного контроля и стратегий смягчения и предотвращения негативных последствий от использования нейронных сетей. Это поможет нам использовать искусственный интеллект эффективно и этично. Однако, оставаясь всегда внимательными к этическим и юридическим аспектам, мы должны постоянно развивать наши знания и навыки в этой области.

***

В целом, несмотря на все преимущества, нейросети имеют ограничения, связанные с требованиями к вычислительным ресурсам и времени для обучения, смещениями и «галлюцинациями», а также этическими и правовыми вопросами. И если расходы на обучение будут радикально сокращаться, то правовые и этические вопросы пока еще далеки от своего решения.

Комментарии 0