В этот момент гандикапперам были предоставлены подлинные данные (стерилизованные, чтобы нельзя было идентифицировать лошадей и реальные забеги) по 40 прошедшим забегам и попросили расставить пять лучших лошадей в каждом забеге в порядке убывания ожидаемого финиша. Каждому гандикапперу давали данные с шагом в 5, 10, 20 и 40 переменных, которые он считал наиболее полезными. Таким образом, он прогнозировал каждую гонку четыре раза - по одному разу с каждым из четырех различных уровней формирования. Для каждого прогноза каждый гандикаппер присваивал значение от 0 до 100 процентов, чтобы указать степень уверенности в точности своего прогноза.
Прогнозы капперов относительно победителей, занявших первые места, и уверенность гандикапперов в своих прогнозах показаны на рисунке 5.
При наличии всего пяти пунктов информации уверенность гандикапперов хорошо согласовывалась с их точностью, но по мере получения дополнительной информации они становились слишком самоуверенными.
Подобные взаимосвязи между количеством информации, точностью и уверенностью аналитика были подтверждены аналогичными экспериментами в других областях. В одном из экспериментов с клиническими психологами психо-логическое досье было разделено на четыре части, представляющие последовательные хронологические периоды в жизни относительно нормального человека. Тридцати двум психологам с разным уровнем опыта было предложено вынести суждения на основе этой информации. После прочтения каждого раздела досье психологи отвечали на 25 вопросов (на которые были известны ответы) о личности испытуемого. Как и в других экспериментах, увеличение объема информации приводило к сильному росту уверенности, но незначительному увеличению точности.
Серия экспериментов по изучению психических процессов врачей, диагностирующих заболевания, выявила слабую связь между тщательностью сбора информации и точностью диагноза. Студенты-медики, чья самоописанная стратегия исследования подчеркивала тщательный сбор информации (в отличие от формирования и проверки гипотез), были значительно ниже среднего уровня по точности диагнозов. Похоже, что четкая формулировка гипотез направляет более эффективный и результативный поиск информации.
Моделирование экспертных оценок
Еще один важный вопрос касается степени, в которой аналитики обладают точным пониманием своих собственных ментальных процессов. Насколько хорошо они понимают, как они на самом деле оценивают доказательства при вынесении суждений? Для каждой ситуации, подлежащей анализу, у них есть неявная "ментальная модель", состоящая из убеждений и предположений относительно того, какие переменные наиболее важны и как они связаны друг с другом. Если аналитики хорошо понимают свою собственную ментальную модель, они должны быть в состоянии определить и описать переменные, которые они считали наиболее важными при вынесении суждений.
Однако существуют убедительные экспериментальные доказательства того, что такое самосозерцание обычно ошибочно. Эксперт воспринимает свой собственный процесс суждения, включая количество различных видов информации, принимаемой во внимание, как значительно более сложный, чем это есть на самом деле. Эксперты переоценивают важность факторов, которые оказывают лишь незначительное влияние на их суждения, и недооценивают степень, в которой их решения основаны на нескольких основных переменных. Короче говоря, ментальные модели людей проще, чем они думают, и аналитик, как правило, не знает не только о том, какие переменные должны оказывать наибольшее влияние, но и о том, какие переменные на самом деле оказывают наибольшее влияние.
Все это было продемонстрировано в ходе экспериментов, в которых аналитиков просили сделать количественные оценки относительно большого числа случаев в их области знаний, причем каждый случай определялся рядом количественных факторов. Например, в одном из экспериментов аналитиков фондового рынка попросили предсказать долгосрочный рост цен на 50 ценных бумаг, причем каждая ценная бумага описывалась в таких терминах, как соотношение цены и прибыли, тенденция роста прибыли и дивидендная доходность. После выполнения этого задания аналитиков попросили объяснить, как они пришли к своим выводам, включая то, какой вес они придали каждой из переменных. Их просили быть достаточно откровенными, чтобы другой человек, изучающий ту же информацию, мог применить те же правила суждения и прийти к тем же выводам.