Управление рисками

Отслеживайте результативность и давайте свои комментарии

Как показывает наша работа в рамках Good Judgment Project, а также сотрудничество с отдельными компаниями, для повышения точности прогнозирования крайне важно отслеживать результаты прогнозов и своевременно давать обратную связь. Вот, например, американские синоптики: как бы их ни критиковали, они демонстрируют отличные результаты. Если они говорят, что вероятность дождя составляет 30 %, то в предсказанные дни дождь идет в среднем примерно в 30 % случаев. Основная причина их успеха – в том, что они получают своевременную, постоянную и непротиворечивую обратную связь по поводу точности своих прогнозов, и это часто имеет прямое отношение к оценке их работы. Игроки в бридж, внутренние аудиторы и геологи-нефтяники также выдают точные прогнозы, во многом благодаря надежной обратной связи и стимулам для дальнейшего развития.

Самый надежный способ отслеживать прогнозы и оценивать их точность – показатель Бриера. Он позволяет компаниям производить прямые, статистически достоверные сравнения прогнозистов по серии прогнозов. С течением времени количество набранных баллов выявляет лучших, будь то команды, их отдельные представители или специалисты, работающие индивидуально (см. врезку «Показатель Бриера выявит ваших лучших (и худших) прогнозистов»).

Однако для повышения точности прогнозов недостаточно просто подсчитать, сколько очков набрала команда, – необходимо также оценить процедуру, которой она пользовалась. Чтобы извлечь пользу из полученных результатов – и хороших, и плохих, – важно выяснить, как они были достигнуты. Одна проверка, например, покажет, что к прогнозу, как точному, так и ошибочному, привели определенные этапы процедуры. Другая установит, что прогноз оказался верен, несмотря на ошибочное обоснование (просто повезло), – или что причиной ошибки стали какие-то особые обстоятельства, а не плохо проведенный анализ. Например, ритейлер может очень точно спрогнозировать, сколько покупателей посетит магазин в тот или иной день, но если произойдет событие из разряда «черных лебедей» – скажем, угроза взрыва, – то магазин закроется, а прогноз окажется неверным. Показатель Бриера будет низким, но анализ процедуры покажет, что дело не в ней: причина ошибки будет определена как неудачное стечение обстоятельств.

Показатель Бриера выявит ваших лучших (и худших) прогнозистов

КРАЙНЕ ВАЖНО, ЧТОБЫ ПРОГНОЗИСТЫ давали точные оценки вероятности. Например: вероятность того, что компания в первом квартале продаст от 9000 до 11 000 единиц нового продукта, составит 80 %. Тогда прогнозы можно анализировать и сравнивать между собой при помощи особого инструмента – показателя Бриера, который позволяет оценить работу прогнозистов и ранжировать их в соответствии с умениями и навыками.

Показатель Бриера рассчитывается как квадрат разницы между вероятностью прогноза и фактическим результатом, который оценивается как 1, если событие произошло, и 0, если нет. Например, если прогнозист делает заключение, что компания перевыполнит план продаж с вероятностью 0,9 (т. е. он уверен в этом на 90 %), и прогноз сбывается, то показатель Бриера в этом случае вычисляется так:

(0,9–1)² = 0,01.

Если же прогноз окажется ошибочным, то его показатель будет таким:

(0,9–0)²

= 0,81.

Чем ближе к нулю показатель Бриера, тем меньше погрешностей в прогнозе, тем он точнее.

Показатель Бриера наглядно показывает, кто хорош в прогнозировании, а кто нет. Он позволяет напрямую сравнивать прогнозистов, что поощряет вдумчивый анализ и разоблачает как «выстрелы наугад», так и тенденциозность.