Как измерить все, что угодно

До 2001 г. мои методы калибровки и тесты постоянно совершенствовались, но с тех пор остаются практически неизменными. За этот период обучение по моей методике прошли в общей сложности 142 человека. Все они выполняли на семинарах продолжительностью половину рабочего дня по несколько тестов подряд, а я сравнивал их ожидаемые и фактические результаты. Будучи хорошо знаком с данными исследований в этой области, я представлял, что слушатели добьются значительных, пусть и не идеальных, успехов. В чем я был меньше уверен, так это в том, какого прогресса добьются разные люди. В теоретических работах обычно приводятся общие результаты всех участников, так что мы видим лишь средний показатель по труппе. Когда я рассчитываю такой параметр для слушателей своих семинаров, то получаю итог, весьма похожий на информацию других исследователей. Но поскольку у меня были данные и по отдельным участникам, я обнаружил очень интересный феномен.

Рисунок 5.2 демонстрирует обобщенные ответы всех 142 слушателей на вопросы, связанные с доверительными интервалами, во всех предложенных на семинаре тестах. Те, кто быстро учился давать калиброванные оценки, освобождались от выполнения последующих заданий (и это оказалось очень хорошим стимулом). В рамке под графиком приведен процент участников, освобожденных от дальнейшего тестирования после выполнения теста под данным номером. Вертикальные линии показывают результаты выполнения каждого теста 90 % средних участников, а черные ромбы — среднее значение для группы. Цель слушателей, конечно, заключалась в том, чтобы оказаться на жирной горизонтальной линии, показывающей, что 90 % их ответов попадают в указанные 90-процентные доверительные интервалы.

На первый взгляд, график иллюстрирует значительное улучшение результатов выполнения первых трех заданий и последующую стабилизацию на уровне, далеком от идеальной калибровки. Даже принимая во внимание то, что тесты 4 и 5 выполняли только отстающие, участниками семинаров по калибровке заданий на 90-процентные доверительные интервалы складывается впечатление: три-четыре часа интенсивного тренинга еще не позволяют достичь желаемого уровня.

Но взяв данные о каждом слушателе, я обнаружил, что большинство из них добились к концу тренинга большого прогресса, а средние показатели снижаются за счет нескольких отстающих. Статистически мы допускаем, что даже идеально калиброванный эксперт в своих оценках может отклоняться от цели. С учетом одной этой погрешности при тестировании семинар помогает стать идеально калиброванным оценщиком не менее 70 % его участников. Больше они не страдают ни излишней самонадеянностью, ни недостатком уверенности в себе. Если эти люди указывают 90-процентный CI, то вероятность попадания правильного ответа именно в этот интервал значений действительно составляет 90 %. Еще 20 % участников достигают заметного прогресса, но не состояния идеальной калибровки. И только 10 % слушателей, похоже, вообще не повышают свой уровень. Так что же, для одного из десятка этот тренинг проходит бесполезно? Нет, это не так. Все, на кого мы когда-либо полагались в фактических оценках, попали в две первые группы и почти все — в группу идеально калиброванных экспертов. А те, кто на первый взгляд вообще не поддался калибровке, еще до тестирования не считались хорошими специалистами в своих областях или людьми, принимающими решения. Возможно, они не были мотивированы в достаточной мере, зная, что их мнения ни на что не влияют. А, возможно, те, кто не склонен к подобным задачам, не стремятся дорасти до уровня экспертов, услугами которых пользуются для проведения оценок. В любом случае это уже вопрос дальнейших исследований.

Мы видим, что большинству занятия идут на пользу. Но свидетельствуют ли успехи на семинарах о способности оценивать шансы в реальной жизни? На этот вопрос можно ответить только утвердительно. У меня было немало возможностей наблюдать, как ведут себя хорошо калиброванные специалисты в жизненных ситуациях, но особенно мне запомнился один управляемый эксперимент. В 1997 г. меня попросили провести курс занятий по оценке вероятности будущего наступления недостоверных событий для аналитиков Giga International Group, компании, занимавшейся консалтингом в области ИТ (впоследствии поглощенной Forrester Research, Inc.). Giga первой из подобных фирм стала продавать результаты своих исследований другим компаниям — своим постоянным подписчикам. Она приняла некий метод определения вероятности событий, наступление которых прогнозировала для своих клиентов, и хотела удостовериться в его корректности.