Гипотеза, идея, прогноз – в чем разница? Как уменьшить ошибки в экспериментах?

Часто можно слышать от менеджеров: «У меня есть гипотеза, давайте ее проверим…» и дальше следует какое-то предложение, что надо делать. Не удивительно, что потом говорят: «я проверил 5 гипотез, которые должны улучшить UX продукта, но они все не сработали». Давайте попробуем понять, в чем дело? И можно ли с этим что-то сделать? Можно один из путей – разобраться с терминами «гипотеза» и «идея». Оказывается, мы подменили научное понимание гипотезы более простым и легким и это приводит к ошибкам и проблемам¹.

В этой статье мы найдем один из ответов на вопрос:

Что такое «гипотеза» и в чем суть этого понятия?

В продуктовых командах, у продакт-менеджеров и в менеджменте в целом термин «гипотеза» зачастую трактуется неверно. Повсеместно распространено такое мнение: 

Например, в русской версии Википедии прямо указано, что под гипотезой подразумевается предположение или догадка, утверждение, которое, в отличие от аксиом, постулатов, требует доказательства. Мы привыкли так считать и даже не замечаем, что это искажение понятия. И именно оно, далее по цепочке искажает наше мышление и, как следствие, приводит к неверным действиям и ложным целям.

Дело в том, что изначально, в научном методе, слово «гипотеза» обладало совсем другим смыслом.

Именно такое понимание можно прочитать, например, а английской Википедии: «A hypothesis is a proposed explanation for a phenomenon». Английское слово hypothesis происходит от древнегреческого слова ὑπόθεσις, чей буквальный или этимологический смысл – «подкладывание или помещение под», в расширенном употреблении это слово имеет множество других значений, включая «предположение». В платоновском диалоге «Менон» Сократ препарирует добродетель с помощью «исследования гипотез». В этом смысле «гипотеза» обозначает умную и обоснованную идею. Пример такого использования термина «гипотеза» мы видим замечании, которое Кардинал Беллармин сделал Галилею в начале XVII века: не нужно рассматривать движение Земли вокруг солнца как реальность, а лишь как гипотезу.

Она опирается на реальные феномены и стремится дать логическое объяснение, основанное на доступных данных. Любая полезная гипотеза позволяет делать предсказания с помощью рассуждений. На ее базе можно предсказать результат эксперимента. Научный метод предполагает проведение экспериментов для проверки способности той или иной гипотезы адекватно ответить на исследуемый вопрос. Карл Поппер, вслед за другими, утверждал, что гипотеза должна быть фальсифицируемой, и что нельзя считать предложение или теорию научной, если она не допускает возможности быть доказанной как ложная.

Подмена гипотез идеями и предположениями

Однако в разработке продуктов мы изменили научное понимание гипотезы более простым и легким. Ведь если гипотеза – это любое предположение, то гипотезами можно назвать любые идеи и предположения, которые пришли кому-то в голову и не основаны ни на чем. Так ведь проще! Например, утверждение «если мы сделаем определенное действие, то достигнем такого-то результата» уже не соответствует классическому пониманию гипотезы. Эта идея или предположение не объясняет ничего, это просто прогноз результата. Его тоже можно проверить, что мы и делаем с помощью экспериментов. Но тогда, эксперименты – это не инструменты проверки гипотез, мы стали называться гипотезами сами эти эксперименты.

Надо сказать, что в точных науках, таких как физика, химия или биология, гипотезы продолжают формулироваться корректно, в соответствии с изначальным смыслом. Исследователи рассматривают их в рамках нулевой и альтернативной гипотез, стремясь объяснить наблюдаемые явления. Например, ученый может предположить: «Мы считаем, что явление происходит по такой-то причине (нулевая гипотеза), но есть и альтернативное объяснение, что это происходит иначе». Сначала формулируется объяснение феномена, а затем проверяется его соответствие реальности.

Подмена смысла термина «гипотеза» наблюдается не только в прикладных областях, таких как ИТ, но и в социальных науках. В социальных науках, напротив, нередко наблюдаются ошибки в трактовке гипотез. Пример из практики: в статистическом исследовании исследователь сформулировал так называемую «нулевую гипотезу» следующим образом – «Если мы уменьшим шрифт, то скорость чтения снизится». Очевидно, что это не гипотеза, а всего лишь прогноз, описывающий результат изменения. Это не соответствует научному подходу, поскольку не никакой объяснительной модели или теории. Настоящей гипотезой было бы предположение об истинной причине наблюдаемого явления, например: «Скорость чтения зависит от способности человека распознавать символы, а эта способность, в свою очередь, зависит от характеристик используемого шрифта». Это уже полноценная гипотеза, потому что она объясняет, как именно шрифт влияет на процесс чтения.

Так ли это важно и к чему приводит такая подмена? На наш взгляд, это принципиально важный момент далее мы обсудим его последствия.

Смысл гипотез: получение знаний с прогностической ценностью

Зачем нам нужны гипотезы и их подтверждение или опровержение? Их основная цель – уточнить представление о реальном мире, соотнося нашу теорию, модель или «ментальную карту» с фактической реальностью.

То есть наша задача далеко не только в проверке гипотезы, этот взгляд ограничивает возможность получения принципиально нового и полезного знания. Если упустить из виду, что гипотеза предназначена для улучшения понимания реальности, мы рискуем сосредоточиться лишь на оценке поверхностных фактов — и теряем знания, которые нам необходимы. Если любые предположения считать гипотезами, то основной задачей становится не понимание глубинной природы явлений, а сбор доказательств ради самих доказательств.

Дело в том, что успешная проверка отдельного предположения вовсе не гарантирует получения значимых выводов. Она может дать не значимые объяснения, а всего лишь рабочие данные, не раскрывающие истинной природы явления. Например, мы тестируем новое предложение клиентам на сайте и фиксируем рост метрик по продажам. На первый взгляд результат очевиден, предположение подтверждено, и задача выполнена. Однако, не проводя глубокое наблюдение за поведением посетителей на всех этапах воронки, мы оставляем без внимания механики, которые меняют метрики. Успех одного эксперимента не гарантирует обогащения новыми знаниями.

В этом ловушка упрощенного понимания зачем нам нужны гипотезы. Мы получаем значимые данные, подтверждающие или опровергающие то, что мы называем гипотезой, но так и не понимаем, как работает сам механизм. Без объяснения причины явления мы ограничиваемся простыми выводами и не приходим к пониманию глубинных процессов. А это необходимо, так как условия работы обязательно изменятся.

Почему знания с прогностической ценностью так важны?

Потому, что условия работы обязательно изменяться. Настоящая ценность гипотез заключается в её способности давать знания, которые становятся платформой для долгосрочных прогнозов и принимаемых решений.

В бытовой жизни это часть нашего мышления: мы учимся, используя серию наблюдений и экспериментов, и корректируем своё понимание реальности. Точно так же в бизнес-ситуациях гипотезы позволяют понять природу тех или иных явлений.

Проведение последовательных экспериментов требует предварительного наблюдения за поведением пользователей и четкой формулировки гипотез о причинах увиденного. Например, если на сайте низкий коэффициент конверсии, гипотеза может предполагать, что посетители не замечают важных элементов (например, отзывов от реальных покупателей) и поэтому конверсия маленькая. Проведение тестов может подтвердить эту гипотезу. На основе нового знания компания сможет убедиться, что отзывы действительно имеют статистически значимое влияние на поведение потребителей, и тогда необходимы инвестиции в систему рекомендаций.

Похожий процесс в разработке продукта: если поведение пользователей указывает на снижение их интереса к функциональности, гипотеза может фокусироваться на отсутствии конкретной ценности. Проверяя эту гипотезу, мы можем подтвердить, чего именно не хватает аудитории. Затем, основываясь на этих данных, создаются конкретные изменения, которые учитывают не только текущее понимание контекста, но и потенциальные изменения будущих условий – например, новых пользователей или сезонные эффекты.

Например, если в продукте реализовать новую функцию или провести одно улучшение, а затем зафиксировать рост удовлетворённости пользователей или конверсии, возникает ложное чувство понимания. При этом забывается, что основная задача – получение долговременных знаний о человеческом поведении, о продукте или об изменяющейся среде. Эти знания могли бы стать основой для будущих решений, когда наступят перемены – изменится поведение аудитории или рыночные условия.

Ключ к пониманию зачем нам нужны гипотезы в научном смысле этого слова – в формировании платформы знаний, которая позволяет уверенно принимать решения на разных этапах развития продукта или бизнеса. Научный подход требует:

1. Выдвижения гипотез, которые объясняют причины, а не только предполагают эффекты.
2. Проведения ряда экспериментов для подтверждения гипотезы и углубления понимания явления.
3. Фокусирования на извлечении знаний, которые можно масштабировать и применять в условиях перемен.

Знания, подтверждённые гипотезами, становятся опорой в будущем. Они обладают не только краткосрочной ценностью для локальных экспериментов, но и создают основу для развития, адаптации к новым условиям или реализации инновационных решений.

К чему ведет непонимание смысла гипотезы?

Как мы уже писали, сегодня в продуктовой разработке сложилось мнение, что любая идея — это гипотеза, которую немедленно нужно проверить. Восприятие гипотезы исключительно как любого предположения, требующего проверки, привело к формированию в индустрии шаблона так называемой продуктовой гипотезы. Этот шаблон, как правило, выглядит следующим образом: «Если мы сделаем X, то получим Y, [потому что Z]» (рис .1). При этом логическое пояснение, заключенное в скобки, порой недооценивается или вовсе игнорируется, хотя именно оно раскрывает суть предпосылок для нашего предположения и, по сути, и является элементом гипотезы в настоящем смысле.

Рис. 1. Распространенный, но неверный шаблон продуктовой гипотезы.

Такой шаблон продуктовой гипотезы имеет свои плюсы и полезен как минимум по четырём причинам.

1. Критический подход. Шаблон помогает не бросаться немедленно проверять идею, а дает возможность задуматься, проанализировать предпосылки и разобраться в причинах, на основе которых должны быть сделаны прогнозы.
2. Научный подход. Этот шаблон ориентирует менеджеров на научные методы, позволяющие получать статистически значимые данные, которые заслуживают доверия и используются для дальнейших выводов.
3. Ориентация на метрики. Такой шаблон способствует включению объективных показателей в процесс оценки. Метрики помогают доказательно оценивать, насколько предположение совпадает с фактами, и избежать субъективных решений.
4. Сокращение цикла обратной связи. Быстрая проверка предположений позволяет немедленно получать результаты от реальности, выявлять расхождения между ожиданиями и действительностью, чтобы оперативно корректировать идеи и предположения.

Разработка такого шаблона была важным этапом, структурировала подход к разработке инноваций и привела к значительному прогрессу. Однако у неправильного понимания термина «гипотеза» есть и последствия, приводящие к ограничениям и проблемам.

1. Ненужная трата ресурсов. Проверка всех предположений подряд без анализа их обоснованности приводит к непроизводительным расходам — трате времени, денег, усилий и мотивации на эксперименты, которые не имеют под собой твёрдой основы. Такие проверки часто превращаются в гонку доказательств, лишённую какого-либо смысла. Сама фраза «давайте проверим гипотезу» становится банальным прикрытием для поспешных действий, которые не всегда связаны с глубоким смыслом.
2. Непонимание научного подхода. Продуктовым менеджерам и командам кажется, что они следуют научному методу, но при этом используют его неправильно. Это вызывать недоверие коллег, которые понимают научный метод, скептицизм со стороны бизнеса и вредить репутации.

Различие между гипотезами, идеями и прогнозами

Давайте посмотрим, в чем же различие, между гипотезами и просто идеями и прогнозами? Разница между этими понятиями показано на рисунке 2.

Рис. 2. Различие между гипотезами и идеями и прогнозами

Есть настоящее, то, где мы находимся сейчас, есть прошлое и будущее. Все, что происходило в прошлом, описывается как раз как феномены. Мы видим, что происходило в прошлом, какой феномен мы наблюдаем и как мы можем это объяснить, сформулировав гипотезу, основанную на моделях, теориях и наблюдениях. Например, если мы видим, что пользователи продукта покидают его на третьей сессии, гипотеза может звучать так: «Это происходит потому, что пользователи не видят для себя достаточной ценности на данном этапе». Такой подход позволяет не только фиксировать проблему, но и объяснять её причины.

Все, что происходит в будущем, описывается такими словами: идея (мы хотим сделать что-то), прогноз или предположение (мы считаем, что будет происходить так-то), или эксперимент (давайте сделаем вот так и посмотрим, что будет).

Правильный шаблон гипотезы выглядит на показано на рисунке 3. Сформулировав гипотезу, мы можем сравнивать наши наблюдения о реальности с альтернативными точками зрения и обсуждать с командой модели поведения пользователей. Например, задавая вопросы: почему, по вашей гипотезе, пользователи уходят? Или почему, по наблюдениям, они не трансформируются в продажи? После этого гипотезу можно подтверждать или опровергать с помощью корректных экспериментов, достоверность которых станет основой для принятия решений. Такой процесс позволяет вытянуть из гипотезы знания, необходимые для улучшения ситуации.

Рис. 3. Правильный шаблон гипотезы.

Идея – это не гипотеза. Идея, как правило, представляет собой шаблон с прогнозом: «Если сделать определённое действие, то метрика изменится таким-то образом» (рис. 4). Такой шаблон полностью сосредоточен на будущем и не обязательно включает элементы гипотезы, объяснение «потому, что …». Например: «Если внедрить новый функционал продукта, то удержание пользователей на третьей сессии возрастёт на 10%» — это прогноз будущего, а не анализ реальности.

Рис. 4. Шаблон идеи, предположения и прогноза.

Такие шаблоны идей и прогнозов не стимулируют к глубокому анализу существующей ситуации. Они часто фокусируются на упрощённой интерпретации причины и предлагают действия, которые, наверно, логичны и обоснованы, но на чей-то субъективный взгляд. И не более того.

Итак, что делать?

Как эффективно использовать все это?

1. Во-первых, разделять идеи и гипотезы. И те и другие важны и могут быть полезны, но это разные вещи. К идеям нужно отнестись критически.
2. Прекратить тестировать идеи, не имеющие обоснований. Идеи не должны появляться случайно или без конкретных предпосылок. Каждая идея, которую мы стремимся внедрить в наш продукт, должна основываться на четких наблюдениях и анализе реальных данных. Эти наблюдения должны подкрепляться объяснением причин происходящего.
3. Проверять идеи с хорошими основаниями. Нужно продолжать проверять идеи, у которых есть некоторые основания, но нужно относиться к ним именно как недостаточно обоснованным и рискованным идеям. Нужно проанализировать риски, понимать стоимость идей, адекватно оценивая, стоит ли инвестировать в них усилия. Перед действием всегда нужно задавать себе базовый вопрос: «Почему мы собираемся это сделать?» Такой осознанный подход поможет избежать необоснованных затрат времени и ресурсов.
4. Тестировать гипотезы. Правильное использование научного подхода и корректного термина «гипотеза» позволяет улучшить процесс тестирования. Мы тестируем не просто идеи, а именно гипотезы, то есть предположения о реальных процессах, которые мы наблюдаем. Для эффективного тестирования важно:
   • научиться формулировать гипотезы, чтобы они были проверяемыми, то есть соответствовали критериям фальсифицируемости;
   • сосредоточиться на конкретных механизмах и моделях, определении закономерностей и причин наблюдаемых явлений;
   • четко структурировать гипотезу, что мы наблюдаем, что за этим стоит, и почему мы считаем это значимым.

***

Наша ошибка заключается в подмене научного подхода к гипотезам поверхностными экспериментами. В долгосрочной перспективе это может не только повредить разработке, но и привести к репутационным рискам. Настоящая гипотеза должна объяснять, а не просто прогнозировать, и эту логику важно сохранять, чтобы обеспечивать устойчивые инновации и строить на них долгосрочную стратегию. И если, у нас будет более точное представление, что мы делаем, то это будет улучшать наши результаты.

¹Автор благодарит Антона Куликова, Senior Product Manager компании MindMeister, на идеях которого основана эта статья.

Комментарии 0