Эта идея должна умереть. Научные теории, которые блокируют прогресс

Однако в очередном эксперименте (без привлечения АМР) исследователи случайным образом распределили учеников, от дошкольников до третьеклассников, либо в маленькие классы (13–17 человек), либо в большие (22–25 человек). Меньшие классы показали лучшие результаты в стандартном тестировании; при этом дети – представители расовых меньшинств показали лучшие результаты, чем белые дети. И это не просто очередное исследование о влиянии размера класса; оно полностью заменяет все исследования этого вопроса, проведенные на базе АМР.

Дело в том, что в данном случае экспериментатор сам выбрал значение ключевого предиктора. Все остальные предикторы были выровнены: в изучаемых классах работали одинаково квалифицированные педагоги, ученики обладали примерно одинаковыми способностями, происходили из одного и того же общественного класса и т. п. Таким образом, единственное, что отличало экспериментальный класс от контрольного, – как раз та самая независимая переменная (размер класса), которая и интересовала ученых.

Исследования на базе АМР, которые пытаются «держать под контролем» все возможные переменные – такие как социальный класс, возраст, состояние здоровья и т. п., – все равно не могут обойти «проблему самоотбора» («проблему смещения выборки»). Мы понятия не имеем о множестве неучтенных особенностей, которые отличают пациентов, получающих лечение в экспериментальной группе, от участников контрольной группы.

Возьмем, к примеру, социальное происхождение. Если исследователь захочет узнать, влияет ли классовая принадлежность на результат, который он намерен получить, то любой из факторов, так или иначе связанных с социальным положением, может сместить выборку и исказить влияние классовой принадлежности как таковой. Не исключено, что люди, потребляющие больше оливкового масла, окажутся более богатыми, более образованными, они (а также их супруги и дети) будут больше интересоваться своим здоровьем и лучше заботиться о себе. Вероятность того, что они курят или злоупотребляют алкоголем, ниже. Скорее всего, они проживают в более экологически чистых районах, чем те, кто в основном использует не оливковое, а кукурузное масло.

Вероятнее всего, у этой группы итальянские корни (у итальянцев сравнительно высокая продолжительность жизни), а не африканские (среди чернокожих в целом более высокий уровень смертности). Совокупность всех этих предикторов может стать причиной корреляции между социальным классом и смертностью, но вряд ли именно оливковое масло тут решающий фактор.

Даже если попытаться «взять под контроль» все эти многочисленные переменные, их, скорее всего, не удастся правильно измерить, а это значит, что их влияние на целевую зависимую переменную будет недооценено. Например, не существует единственно правильного способа определения принадлежности к тому или иному социальному классу. Уровень образования, доход, благосостояние, профессиональная квалификация – все это отдельные куски пирога, но нет общепринятого способа взвесить эти куски и составить их так, чтобы получить целый пирог – бесспорную принадлежность к определенному социальному классу.

Один колумнист The New York Times, кандидат наук из Гарвардского университета, недавно высказал мнение, что метод АМР эффективнее, чем менее масштабные эксперименты, поскольку АМР использует Большие данные и поэтому способен охватить большее число объектов. Ошибка здесь заключается в предположении, что относительно малое количество объектов исследования с большей вероятностью приведет к искажению результатов испытания.

Большее n

всегда лучше меньшего n, говорят нам, потому что в первом случае больше вероятность того, что мы заметим даже малейшие посторонние влияния. Но наше доверие к тому или иному исследованию основывается не на количестве рассмотренных случаев, а на том, не искажены ли полученные результаты и являются ли они статистически значимыми. На самом деле, если у вас есть статистически значимый результат, полученный на относительно небольшом числе объектов исследования, то, при прочих равных, этот результат более достоверен, чем если бы вам потребовалось больше объектов для получения той же степени статистической значимости.

Большие данные полезны в решении многих задач, в том числе для получения результатов АМР, предполагающих рандомизированные экспериментальные исследования, которые могли бы дать окончательные доказательства того, является ли тот или иной кажущийся эффект реальным.