Модель GPT-5 – шаг вперед или на месте?

Качество ответов модели и галлюцинации

Что многие ждали от новой модели? Прежде всего – улучшения качества ответов. Связано это с тем, что сама OpenAI приучила нас так думать. Регулярно с выходом новой модели, начиная с GPT-2 и далее к GPT-3, GPT-3.5 и потом к GPT-4 качество ответов модели очень существенно повышалось. Но с GPT-5 качественного роста не произошло, она отвечает примерно на том же уровне, что и модели лучшие предыдущего поколения, например GPT-4.5 или GPT-4о. Хотя некоторые улучшения все же есть.

Также OpenAI заявила о снижении уровня галлюцинаций модели. Напомним, что в мире искусственного интеллекта галлюцинацией называют случаи, когда модель придумывает факты, которых ей не хватает, вместо того, чтобы честно признать незнание (об этом мы писали в статье «Проблемы использования генеративного ИИ в компаниях». Хотя уже модели семейства GPT-4 генерировали такие ошибки не слишком часто, тестовые данные, представленные OpenAI, показывают, что GPT-5 меньше фантазирует. Для управленца это значит, что теперь можно смелее доверять результатам работы и GPT-5 становится более надёжным помощником. Тем не менее, реальные пользователи этого улучшения практически не заметили. Почему так произошло?

В научных работах типа Scaling Laws for Neural Language Models (исследование OpenAI 2020 года) была показана устойчивая зависимость — ошибка модели убывает степенным образом при увеличении размера модели, количества данных и вычислительных затрат. Однако, похоже, этот путь исчерпан. Эксперты полагают, что главную роль сыграло достижение «потолка данных». Модели GPT-3 и GPT-4 обучались практически на всех доступных массивах доступных текстов от книг до блогов в интернете. А при создании модели GPT-5 специалисты, вероятно, столкнулись с ситуацией, когда свежих и разнообразных данных уже не хватает для модели такого масштаба. Интернет и другие источники не дают больше новых текстов нужного объема. Кроме того, для повышения качества LLM нужно не только больше данных, но и принципиально новое качество этих данных, и, похоже, сложность их сбора стала непосильной даже для OpenAI. При этом, архитектурно GPT-5 остаётся по-прежнему такой же, как и предыдущие модели (если верить OpenAI).

Модели GPT-5 и зачем менеджерам понимать их назначение?

Видимо, видя это, специалисты OpenAI пошли другим путем: GPT-5 – это не одна модель, а набор моделей для различных задач.

1. PT-5 Fast — самая быстрая модель, которая отлично справляется с простыми задачами. Например, переводы, проверка орфографии, простенькие тексты и простая обработка данных. Но скорость — не равно качество, ответы могут быть поверхностными и шаблонными. GPT-5 Fast хороша экономией времени на простых задачах, но не подходит, если вам нужен аналитический и «умный» взгляд. Эту модель надо использовать только там, где скорость важнее глубины. Если вы видите, что GPT-5 Fast отвечает «не очень», выбирайте модели Thinking. 
2. GPT-5 Thinking – модель рассуждений (reasoning model, RM). Модель рассуждений — это тип большой языковой модели (LLM), которая может выполнять сложные рассуждения. Вместо того, чтобы быстро генерировать результат, основываясь исключительно на статистической догадке о том, каким должно быть следующее слово в ответе (как это обычно делает классическая LLM), модель рассуждений разбивает вопрос на отдельные элементы и продумывает шаги, таким образом организуя «цепочку мыслей», для более точного ответа. Она обучена с применением технологии Chain-of-Thoughts, при которой модель анализирует сразу несколько «веток» размышлений... По мнению специалистов OpenAI по сравнению с более ранними языковыми моделями, модели рассуждений решают задачи способом, более похожим на человеческий. Отметим, что модель рассуждений — это не новость, OpenAI представила свою первую модель рассуждений, получившую название GPT o1, еще в сентябре 2024 г. «Подобно тому, как человек может долго думать, прежде чем ответить на сложный вопрос, o1 использует цепочку мыслей при попытке решить задачу, — поясняла тогда OpenAI. — Благодаря обучению с подкреплением o1 учится оттачивать свою цепочку мыслей и совершенствовать используемые стратегии. Учится распознавать и исправлять свои ошибки. Учится разбивать сложные шаги на более простые. Учится пробовать другой подход, когда текущий не работает». Эту модель лучше всего использовать для сложных или многоэтапных задач, таких как большой и сложный текст, планирование, масштабное кодирование и продвинутая математика. 
3. GPT-5 Thinking-mini — это компромисс между скоростью и глубиной рассуждений. Дело в том, что модель GPT-5 Thinking работает не быстро (она может думать 2-3 минуты) и если вы работаете в режиме итераций и уточнений, каждый раз ждать ответа 3 минуты — это выглядит странновато. Кроме того, модель GPT-5 Thinking тратит много ресурсов системы. Поэтому инженеры OpenAI постарались найти разумный компромисс между скоростью, стоимостью и глубиной ответа. Модель GPT-5 Thinking-mini глубоко анализирует запрос, но всё же склонна к упрощению, простые запросы она обрабатывает умно, а со сложными может дать достойный, но возможно, недостаточно глубокий, ответ. 
4. GPT-5 Pro — это модель для работы с максимальной интеллектуальной и исследовательской нагрузкой. Она используется для ответа на сложные и неоднозначные вопросы, которые требуют серьезного исследования, широкого обзора и понимания контекста. Примерно так отвечал бы опытный консультант с 20-летним стажем на вопрос, с которым он никогда не сталкивался на практике, но который лежит в области его экспертизы. Эта модель думает довольно долго, иногда 10 минут и более и это может вызывать раздражение, но ее ответы могут стать драгоценными находками. Качественное мышление всегда требует времени.

Понятно, что критически важно выбрать подходящую модель для решения своей задачи и в интерфейсе ChatGPT у пользователей есть такая возможность. Допустим, вы руководитель крупного подразделения, вам нужно сделать презентацию для совета директоров и ваша цель — удивить коллег не только свежестью данных, но и глубиной анализа. Если вместо выбора моделей GPT-5 Thinking или Pro, вы используете модель Fast, система выдаст банальные рекомендации в стиле «где-то я это уже слышал», все будет выглядеть простенько и не слишком интересно.

С другой стороны, бывает и обратная ошибка: вы используете модель GPT-5 Thinking для простого запроса — скажем, проверки текста на орфографию. Модель думает минуты, а потом вместо простой коррекции предлагает сложные рекомендации, как улучшить текст. Неэффективно, долго, и к тому же раздражает.

Автоматический режим выбора модели: помогает или мешает?

Но всегда ли мы, как пользователи, должны разбираться в особенностях различных моделей GPT-5? Нет. Ключевым нововведением в GPT-5 стал гибкий выбор моделей обработки запросов. В отличие от предыдущих версий, GPT-5 способна действовать автоматически, как роутер, распределяющий трафик по идеальным каналам. Это режим Auto и, выбирая его, пользователь позволяет системе решать, какую модель использовать. Казалось бы, это логично, и такая технология должна была упростить нашу работу. Идея хороша: не всем пользователям хочется разбираться в нюансах выбора моделей и система берет на себя эту задачу. Если вопрос лёгкий, она использует модель Fast и ответ будет быстрым. Если сложный, то система включит модели Thinking или Pro. Однако вместо восторга, OpenAI получила массу критики. Почему?

Как показывает практика, проблема в том, что GPT-5 не всегда верно оценивает сложность задачи. Пользователь хочет получить стратегический совет, а алгоритм, видя в вопросе ключевые слова, которые ассоциируются с чем-то простым, выбирает Fast, и выдаёт поверхностный ответ. Разочарование гарантировано. С другой стороны, иногда ситуация прямо противоположная: простая задача, вроде генерации письма на стандартную тему, превращается в сложный процесс, поскольку система без необходимости включает модели Thinking и Pro, вызывая перегрузку ресурсов ради «ненужного изящества».

Огромная часть критики, обрушившаяся на работу GPT-5 – это следствие именно того, что пользователи не хотят или не знают, какую модель выбирать, а система слишком часто ошибается. Разумная логика при использовании GPT-5 — это не использовать режим Auto и самому выбирать модель для обработки запроса. Если задача действительно требует сложного анализа — выбирайте модели Thinking и Pro. Для простых ежедневных задач лучше подходит модель Fast. Если вы выбираете модель, в которой система должна думать, то результат получается хороший, слегка лучше, чем модели GPT-4o или GPT-4o-mini. Но надо понимать необходимость гибкого подхода. Разумеется, и вина инженеров OpenAI велика —улучшение автоматического выбора модели должно быть одним из ключевых направлений их работы.

Но даже недоработанная, эта функциональность — серьезный шаг по направлению к созданию общего искусственного интеллекта (Artificial General Intelligence, AGI). Однако лишь шаг, сам гендиректор OpenAI Сэм Альтман подчеркивает, что GPT-5 все еще не способен непрерывно учиться во время использования, что является главным признаком общего искусственного интеллекта.

***

GPT-5 предоставляет мощные возможности, но ключевая идея, которая должна быть понятна любому, заключается в том, что пока нейросетевые модели — это помощники, а не автономные творцы. Выбор правильной модели становится вопросом квалификации пользователя. GPT-5 — это не «панацея» для любой задачи, это инструмент для тех, кто умеет держать «штурвал в руках». О других нововведениях и особенностях новой модели и ChatGPT-5 мы расскажем во второй части статьи.

Комментарии 0