Ошибки прогноза продаж: как проверить завышение и точность

Отделите ошибку от систематического смещения

Один сорвавшийся крупный договор ещё не показывает, что руководитель всегда оптимистичен. Систематическое смещение ищут в серии сопоставимых прогнозов. Сохраните оценку на заранее определённую дату и сравните её с фактом по тому же событию и горизонту. Прогноз подписаний и факт оплат не подходят для такой проверки. Не заменяйте исходную оценку последней версией перед закрытием периода: тогда из истории исчезнет именно ошибка, которую нужно исследовать.

Используйте два разных вопроса. Первый: в какую сторону в среднем ошибались? Для принятого соглашения «прогноз минус факт» положительное среднее означает завышение. Второй: насколько велики ошибки независимо от направления? Для этого можно отдельно смотреть среднюю абсолютную ошибку в денежных единицах. Малое среднее со знаком не означает точности: большие плюсы и минусы могут взаимно сократиться. Это базовые способы описания истории, не готовая модель будущих продаж.

Что известно о ручных корректировках

Fildes, Goodwin, Lawrence и Nikolopoulos в работе 2009 года изучили более 60 тысяч прогнозов и исходов четырёх компаний цепей поставок. Проверенный abstract сообщает: в трёх компаниях экспертные корректировки в среднем повышали точность, но небольшие правки часто её ухудшали; повышения прогноза реже помогали, чем понижения. Следовательно, вывод не «людей надо убрать», а «пользу вмешательства надо измерять».

Это прогнозирование спроса, а не эксперимент с прогнозами российских B2B-отделов. Нельзя переносить эффект или частоту ошибок напрямую. Практическая интерпретация — хранить расчёт до вмешательства, итог после вмешательства и основание изменения. Тогда проверяется отдельное решение руководителя. Без исходной версии нельзя узнать, улучшил ли он прогноз, даже если итог оказался близок к факту.

Проверьте основания, а не убедительность рассказа

Для каждой существенной правки запишите, какая новая информация отсутствовала в исходном расчёте. «Клиент настроен позитивно» — оценка; «комитет согласовал бюджет и назначил подписание» — проверяемые события, хотя и они не гарантируют исход. Следующий вопрос: не учтена ли эта новость уже в вероятности или сумме? Повторное использование одного сигнала в нескольких поправках создаёт видимость независимых оснований там, где основание одно.

Полезно попросить отдельную оценку до коллективного обсуждения. Затем участники сравнивают не авторитеты, а причины расхождений: кто знает новое условие, кто использует другую группу аналогов, кто считает иной срок. Это предложенная процедура защиты от некритичного согласия, а не обещание устранить когнитивные искажения. Если для оценки нет новых данных, стоит прямо решить, зачем нужна корректировка и почему исходное правило недостаточно.

Калибровка: что означают ваши «80 процентов»

В работе Mellers и соавторов 2014 года о двухлетнем геополитическом турнире авторы исследовали обучение вероятностным суждениям, командную работу и отслеживание качества. В проверенном тексте показаны улучшения калибровки и способности различать исходы. Это другой тип задач, поэтому прямой эффект на выручку отсюда не следует. Но различие между уверенностью и соответствием частоте исходов полезно и при проверке коммерческих оценок.

Если многим сопоставимым событиям заранее присваивали вероятность около 80%, в длинной истории частота их наступления должна быть близка к этой оценке. Одна несостоявшаяся сделка с такой вероятностью не является противоречием: 80% не значит «обязательно». Для анализа объединяйте сопоставимые события по диапазонам вероятностей и показывайте размер группы. Малое число наблюдений не позволяет уверенно измерить отклонение и тем более назначить виновного.

Учебный пример: правка приблизила прогноз не во всех периодах

Это вымышленный расчёт, не клиентский кейс и не результат исследования. В трёх условных периодах исходный прогноз равен 10, 12 и 9 единицам. После ручной корректировки он стал 13, 14 и 11. Факт составил 11, 11 и 10. Исходные ошибки «прогноз минус факт»: −1, +1, −1; абсолютные ошибки: 1, 1, 1. Средняя абсолютная ошибка равна 1.

После корректировок ошибки стали +2, +3, +1. Средняя абсолютная ошибка — (2 + 3 + 1) / 3 = 2. Среднее смещение — также +2. На этих трёх периодах вмешательство ухудшило выбранную метрику и сдвинуло прогноз вверх. Но трёх наблюдений недостаточно для общего вывода о руководителе или для автоматического запрета всех поправок. Нужно проверить причины и собрать более длинную сопоставимую историю.

Отдельный учебный расчёт касается вероятностей: из 20 разных сопоставимых событий с заранее записанной оценкой 80% наступили 10. Наблюдаемая частота — 50%. Это сигнал проверить калибровку, но не доказательство, что истинная вероятность равна ровно 50%: группа мала, а события могут зависеть от общего покупателя или рыночного шока. Из этих чисел нельзя просто вычитать 30 процентных пунктов из всех будущих оценок.

Сравните с простым ориентиром и защититесь от подгонки

Полезность сложного прогноза оценивают относительно заранее выбранного простого ориентира. Для одной задачи это может быть сохранение прежнего уровня, для другой — собственная историческая частота сопоставимых событий. Выбор зависит от сезонности, изменения продукта и доступных данных. Ориентир не должен быть специально слабым, чтобы новый метод выглядел лучше. Если подходящие аналоги отсутствуют, это ограничение нужно показать, а не скрыть дополнительными коэффициентами.

Не подбирайте коэффициенты и не оценивайте их качество на одних и тех же периодах без оговорки. Решение, идеально описывающее историю, может не работать дальше. Можно заранее зафиксировать правило и проверить его на следующих доступных периодах, не переписывая задним числом. До проверки новая формула остаётся гипотезой. Также не меняйте метрику после того, как увидели неудобный результат: разные виды ошибок действительно важны, но их значение следует обсудить до сравнения.

Не наказывайте за честное описание неопределённости

Если руководителю запрещено показывать ожидание ниже плана, прогноз становится переговорами о лояльности, а не оценкой будущего. Разведите цель и прогноз: план задаёт желаемый результат, прогноз описывает ожидаемый при известных условиях. Обсуждать действия для сокращения разрыва нужно отдельно. Эта рекомендация не означает отказ от ответственности; она позволяет отличить ошибку оценки от невыполненного действия и осознанно принять коммерческий риск.

Итог проверки — не один рейтинг точности. Нужны история со знаком ошибки, абсолютные отклонения, результат ручных вмешательств, размер групп калибровки и объяснимые ограничения. Резкая смена рынка может сделать прежние аналоги непригодными. Честная система сохраняет это различие и помогает менять правило по основаниям. Ни одно исследование не обещает безошибочный прогноз; цель — обнаруживать повторяющиеся искажения и принимать решения с видимой неопределённостью.

Источники и ограничения

1. Fildes, Goodwin, Lawrence, Nikolopoulos (2009). Effective forecasting and judgmental adjustments: an empirical evaluation and strategies for improvement in supply-chain planning

   На данных более 60 тысяч прогнозов четырёх компаний результат ручных корректировок неоднороден; небольшие и повышающие правки не гарантируют улучшения.

   Проверен abstract и доступные фрагменты первичного издателя через поисковую выдачу, прямое открытие страницы вернуло ошибку. Полный текст не изучен. SKU-прогнозы спроса не равны B2B-прогнозам сделок; причинный эффект на продажи не заявлен.

2. Mellers et al. (2014). Psychological Strategies for Winning a Geopolitical Forecasting Tournament

   Различие калибровки и разрешающей способности; в исследовании геополитических оценок обучение, командная работа и отслеживание качества улучшали результаты.

   Прочитаны abstract и раздел Decomposition of skill в авторском университетском PDF. Перенос процедуры на коммерческие прогнозы — методическая интерпретация; эффект на выручку и универсальный размер обучающей выборки не выводятся.