Как измерить все, что угодно

По мнению исследователя в области науки о принятии решений и автора ряда работ Джея Эдварда Руссо, эффективность метода взвешенных коэффициентов «зависит от того, что вы делаете. Людям обычно нужно зайти слишком далеко в своих усилиях, чтобы понять: и простые методы дают хорошие результаты». На самом деле, даже расчет простейших взвешенных коэффициентов, похоже, облегчает процесс принятия решений. В 1979 г. Робин Доуз из Мичиганского университета опубликовал статью под названием «Robust Beauty of Improper Linear Models» («Строгая красота неправильных линейных моделей»)[42], в которой писал: «Весовые параметры в этих моделях нередко не имеют значения. Главное — знать, что измерить, а затем сложить».

Здесь необходимо сделать два уточнения. Во-первых, опыт доктора Рама в области оценки эффективности преподавателей вполне согласуется с тем, что говорят Руссо и Доуз. Ранее использовавшиеся в университете методы давали такую погрешность, что одна только систематизация исходных данных уже способствовала улучшению измерений. Кроме того, когда Доуз говорит о коэффициенте, он на самом деле говорит о нормированном z-показателе, а не о балле какой-то условной шкалы. Он берет значения одного параметра для всех оцениваемых вариантов и строит их нормированное распределение так, что его среднее значение равно нулю, а каждая величина преобразовывается в ряд средних квадратичных отклонений от среднего в ту или иную сторону (например, — 1,7, +0,5 и т. д.). Доуз может, например, взять из матрицы доктора Рама число публикаций преподавателя и проделать с этими данными следующие процедуры:

1. Всем значениям столбцов в матрице оцениваемых альтернатив присвоить баллы по какой-либо порядковой или количественной (метрической) шкале. Заметьте, что предпочтительнее использовать количественные шкалы с вещественными единицами измерения (например, доллары, месяцы).

2. Рассчитать среднее значение для всех величин каждого столбца.

3. Использовать формулу Excel =stdevp(.) расчета среднего квадратичного отклонения для генеральной совокупности каждого столбца.

4. Рассчитать z-показатель, соответствующий каждому значению в столбце, по формуле:

5. В результате получаем средний балл, равный 0, нижнюю границу в пределах —2 или —3, а верхнюю границу — +2 или +3.

Причиной работоспособности данного подхода является то, что он следит за правильностью выбора весовых коэффициентов. Если не пересчитывать присваемый балл в z-показатель, то вы можете использовать для одного фактора более высокое значение, чем для другого, а это окажет такой же эффект, как если бы вы изменили их относительные веса. Предположим, например, что вы оцениваете проекты инвестирования в недвижимость и оцениваете каждый фактор по десятибалльной условной шкале. Однако один из оцениваемых факторов (желаемое местонахождение) довольно сильно варьирует и вы склонны присвоить ему 7 или 8 баллов, в то время как критерию возможного роста спроса на недвижимость дали 4 или 5 баллов. В результате, даже если вы считаете, что рост спроса важнее, желательное местонахождение перевесит. Предложенное Доузом преобразование баллов в z-показателе решает проблему неизбежного искажения при взвешивании.

Хотя этот простой метод и не решает напрямую ни одну из перечисленных нами проблем когнитивного искажения, исследования Доуза и Руссо показали, что принимать решения с его помощью становится легче, пусть и ненамного. Похоже, что данный подход обеспечивает, по крайней мере, некоторое снижение неопределенности и улучшение качества принимаемых решений. Однако для принятия серьезных и рискованных решений, когда стоимость информации очень высока, мы можем и должны использовать гораздо более сложные приемы, чем банальная систематизация данных и расчет взвешенных коэффициентов.

Как стандартизировать любую оценку: модели Раша