Как измерить все, что угодно

Поборник простых, неоптимизированных линейных моделей Робин Доуз согласен с тем, что Брунсвик добился значительного улучшения по сравнению с обычными суждениями экспертов. Вместе с тем он утверждает, что такой результат вовсе не связан с определением «оптимальных» весов при помощи регрессии. В своей статье Доуз на четырех конкретных примерах показал, что модель линзы дает лишь небольшое улучшение по сравнению с моделями, которые он назвал «неправильными», где веса факторов не выводятся из регрессии, а считаются одинаковыми или, как это ни странно, приписываются случайным образом[45].

Доуз пришел к выводу, что главная ценность экспертов заключается в том, что они определяют подлежащие учету факторы и относят их к «хорошим» или «плохим» (то есть решают, будут ли их веса иметь знак «плюс» или «минус») и что рассчитывать точные значения этих весов с помощью регрессии вовсе не обязательно.

Приведенные Доузом примеры, возможно, и не позволяют судить об эффективности модели линзы как инструмента решения задач, возникающих в бизнесе[46], но его выводы все равно полезны. Во-первых, собственные данные Доуза доказывают определенное преимущество, пусть и небольшое, оптимальных линейных моделей над «неправильными» моделями. Во-вторых, его выводы подтверждают ту мысль, что некая непротиворечивая модель (с оптимизированными весами или без них) лучше, чем единственно человеческое суждение эксперта. И все же я думаю, что усилия по созданию оптимальных моделей, особенно когда нужно принять действительно важное решение, вполне оправдывают даже то небольшое улучшение, которое они обеспечивают по сравнению с более простыми моделями.

Однако я убежден, что мы часто добиваемся лучших результатов, чем даже «оптимальные» линейные модели. Регрессионные модели, используемые мной для бизнеса, обычно подчиняются нескольким правилам, например такому: «Продолжительность реализации проекта является фактором дифференциации, только если она превышает год. Все проекты, реализуемые в течение года и менее, одинаково рискованны». В этом смысле такие модели не вполне линейны, но позволяют выявлять более тесную корреляцию, чем строго линейные модели линзы. Все модели, о которых Доуз упоминает в своей статье, строго линейны, но, как правило, дают более низкие значения корреляции, чем те, что я получаю с помощью нелинейных моделей.

Одним правилам меня научили эксперты, другие я сформулировал сам, проанализировав их оценки. Например, если специалист, анализирующий вероятность существенного расширения содержания разрабатываемого программного обеспечения, говорит мне, что не проводит грань между проектами, продолжительность которых составит менее года, то я просто не использую в качестве переменной исходную «продолжительность проекта». Взамен я так изменяю эту функцию, чтобы любое значение продолжительности до 12 месяцев было равно 1, 13 месяцев — 2, 14 месяцев — 3 и т. д. Но если эксперт мне этого и не скажет, то я догадаюсь обо всем по его оценкам. Предположим, что мы нанесли экспертные оценки на график зависимости вероятности значительного (требующего, скажем, увеличения объема работ более чем на 25 %) изменения спецификаций от продолжительности реализации проекта (в месяцах). Получим следующую картину (см. рис. 12.4).

Если вам кажется, что геометрическим местом этих точек служит, скорее, пунктир, то вы не одиноки в своем мнении. Оценивая проект, на реализацию которого уйдет больше года, придется учесть другой набор факторов. Возможно, с точки зрения эксперта, одни переменные больше или меньше зависят от продолжительности проекта. Модель линзы, учитывающая эти нелинейные зависимости, не только лучше соответствует мнениям специалистов; еще важнее, что она лучше коррелирует с фактическими результатами.

Бывает также, что удачный выбор переменной требует использования еще более сложных правил. Иногда существует тесная корреляция зависимой переменной не с самой независимой функцией, а с ее логарифмом, с обратной к ней величиной или с ее отношением к произведению других независимых переменных. Эксперименты в этой области только приветствуются. Как правило, я пробую несколько вариантов линейных переменных для одних и тех же исходных данных и обычно обнаруживаю, что один из них явно выигрывает на фоне других.

Оказывается, что вы можете пользоваться моделями взвешенных оценок разной степени сложности. Если не боитесь экспериментировать с нелинейными методами, то вам подойдут именно они. Если это для вас слишком сложно, но вы разбираетесь в линейной регрессии, то применяйте ее. Если вы не знакомы с регрессионным анализом, то в вашем распоряжении z-показатели Доуза с одинаковыми весами. Каждый из этих методов эффективнее другого, более простого, и все они эффективнее, чем обычная оценка эксперта.

Панацея или плацебо? Сомнительные методы измерения

ВАЖНЕЙШЕЕ ПРАВИЛО ИЗМЕРЕНИЯ

Самое главное — никогда не используйте метод, способный увеличить ошибку первоначальной оценки.