Как измерить все, что угодно

Систематическая ошибка возникает в ответах, когда задания, намеренно или нет, сформулированы так, что респонденты дают ответы, не отражающие их истинное мнение. Иногда разработчик опроса делает это специально, если хочет получить вполне определенный ответ (пример такого вопроса: «Возмущает ли вас преступная небрежность губернатора N?»), но чаще это происходит случайно. Избежать систематической ошибки в ответах позволяет соблюдение следующих пяти простых правил.

1. Вопрос должен быть максимально точным и коротким. Многословные вопросы нередко приводят людей в замешательство.

2. Избегайте многозначных терминов. Многозначный термин — это слово с позитивной или негативной коннотацией (о которой разработчик опроса может и не догадываться), которая может влиять на ответы респондентов. Вопрос, поддерживают ли люди «либеральную» политику данного деятеля, где слово «либеральная» — пример многозначного термина, задавать не стоит. (Кстати, если суть этой политики не раскрывается, то такая формулировка является еще и примером неточного вопроса.)

3. Не задавайте наводящих вопросов. Наводящий вопрос сформулирован так, что заранее подсказывает респонденту, какого ответа от него ожидают. Пример наводящего вопроса: «Следует ли повысить зарплату низкооплачиваемым, перегруженным работой мусорщикам Кливленда?» Иногда эти вопросы задаются ненамеренно. Как и в случае многозначных терминов, простейшая защитная мера — попросить кого-то еще раз просмотреть ваш список вопросов. Когда я вижу, что наводящие вопросы используются нарочно, каждый раз удивляюсь, зачем вообще проводить такой опрос. Если заранее знать, какой ответ нужен, то какого «снижения неопределенности» можно при этом ожидать?

4. Избегайте составных вопросов. Пример: «Что вам больше нравится в машинах А и В: сиденье, рулевое колесо или приборная доска?» Респондент не поймет, ответа на какой вопрос от него ожидают. Разбейте задание на несколько вопросов с многовариантным ответом.

5. Меняйте вопросы так, чтобы избежать установки на однообразные ответы. Установка на выбор определенных ответов — это склонность людей отвечать на вопросы (ранжировать ответы) одинаково независимо от их содержания. Если у вас подготовлены наборы вопросов, связанных с баллами от 1 до 5, проследите за тем, чтобы «5» не всегда означало «положительный» ответ (или наоборот). Вы ведь хотите, чтобы респонденты прочитали и действительно ответили на все вопросы, а не автоматически проставили галочки в каждой клетке каждого столбца.

Конечно, узнать, что люди предпочитают, чего хотят и о чем думают, позволяет не только их прямой опрос. Немало информации об их предпочтениях дает наблюдение за тем, что они делают. На самом деле это даже более надежный способ выяснения их истинного мнения и тех моральных ценностей, которых они придерживаются.

Когда человек говорит, что охотнее пожертвует 20 дол. сиротам, чем потратит их на кино, но на самом деле в прошлом году многократно ходил в кинотеатры и ни разу ничего не пожертвовал сиротам, это означает, что его выявленные предпочтения не совпадают с объявленными. Понять, каковы истинные предпочтения человека, позволяют две вещи, ценимые людьми больше всего: время и деньги. Проанализировав, как люди тратят свое время и деньги, вы сразу увидите их истинные предпочтения.

Похоже, что когда респонденты говорят, например, что «совершенно согласны» с такими утверждениями, как: «Елочные украшения стали дорожать в магазинах слишком рано», мы уже не определяем «истинные» значения. Однако подход, предложенный в предыдущих главах, остался тем же. Вам по-прежнему неизвестно точное значение какой-то переменной (например, вы только предполагаете, что часть покупателей, считающих, что елочные украшения начинают дорожать слишком рано, составляет 50–90 %), и существует такое ее возможное значение, при котором вы измените свое решение (например, если более 70 % покупателей выразят свое абсолютное согласие с тем, что эти товары начинают расти в цене слишком рано, то магазин откажется от планов повышать их цену еще раньше). На основе данных сведений вы рассчитываете стоимость дополнительной информации и выбираете соответствующий ей метод выборки или какой-либо другой способ измерения.

Да, мы действительно отклонились от оценок, выражаемых в единицах измерения, как это было раньше. Когда мы точно определяли, почему нас интересует количество чего-то, обычно всегда можно было четко указать единицы измерения и шкала Ликерта не требовалась. Но есть еще один интересный прием: соотнесение результатов опросов потребителей с другими однозначными и намного более полезными величинами. Ведь раз возникло желание оценить удовлетворенность потребителей, значит, вы хотите сохранить свой бизнес, клиентов и добиться хорошей рекламы, распространяемой довольными покупателями.