Анархия? Нет, но да!

Распространяться о недостатках индекса научного цитирования нет нужды. Они интересуют нас лишь потому, что демонстрируют неизбежный разрыв между способами измерений такого рода и качеством, которое они пытаются измерить. Печально, что многие из вышеперечисленных недостатков можно исправить реформами и усовершенствованием методик расчёта индекса, потому что на практике предпочтительны более схематичные, абстрактные и простые в вычислении способы измерения — из-за легкости их использования и, соответственно, более низкой стоимости. Однако кажущееся объективным измерение количества упоминаний скрывает в себе множество «условностей подсчёта», тайком проникших в оценки, глубоко политических по своей сути и имеющих далеко идущие последствия.

Мои насмешки над индексом научного цитирования могут показаться чрезмерными. Однако то, о чём я говорю, относится к любому количественному стандарту, который применяется строго. Возьмём в качестве примера кажущееся оправданным требование «двух изданных книг», часто применяемое на некоторых кафедрах в Йельском университете при принятии решений о присвоении звания профессора. Сколько учёных всего одной книгой или статьей сумели произвести больше интеллектуальной энергии, чем всеми своими работами произвели другие, более «продуктивные» в количественном отношении ученые? Благодаря рулетке нам становится ясно, что и картина Вермеера, и коровья лепешка обе по полметра в ширину; однако на этом их сходство заканчивается.

Второй фатальный недостаток заключается в том, что даже если какой-нибудь метод измерения был вполне пригоден сразу же после того, как его изобрели, само его существование обычно запускает последовательность событий, которая делает его непригодным. Можно назвать этот процесс «изменением поведения под влиянием измерения», что лишает его всякого смысла. Я слышал о том, что существуют договоренности между некоторыми учеными о том, что они будут постоянно ссылаться друг на друга и таким образом повышать свой индекс цитирования! Сговор такого рода — это всего лишь крайность, иллюстрирующая более важное явление. Достаточно одного знания того, что индекс цитирования может способствовать или препятствовать дальнейшему карьерному росту, чтобы это знание оказывало немалое влияние на профессиональное поведение: этим объясняется, например, притягательность мейнстримовых методологий и отраслей, в которых работает множество исследователей, выбор журналов для публикации, всеобщее восхищение, которым окружены самые известные деятели в каждом направлении. Такое поведение необязательно говорит об изворотливости в стиле Макиавелли. Вместо этого мне хочется указать на постоянное давление со всех сторон, направленное на то, чтобы заставить человеку вести себя «целесообразно». В долгосрочной перспективе это давление служит для естественного отбора в сугубо дарвиновском смысле, которое увеличивает шансы на выживание для тех, кто выполняет или перевыполняет прогнозные показатели.

Индекс цитирования — это не просто порождение действительности; он сам способен продуцировать явления, которые описывает. Социальные теоретики были настолько впечатлены этим, что даже попытались сформулировать это в виде закона, который носит имя Гудхарта: «Когда способ измерения становится самоцелью, он перестаёт быть хорошим способом измерения» [35]. Мэтью Лайт поясняет: «После того, как установлен некий количественный порог для оценки определённых достижений, те, кто должен преодолеть этот порог, умудряются сделать это, но не так, как первоначально ожидалось».

Поясню то, что я имею в виду, на историческом примере. Во времена, когда Францией правили короли, сборщики налогов пытались найти способ облагать налогом дома в зависимости от размера. Им пришла в голову блестящая идея: рассчитывать размер налога исходя из количества окон и дверей.

Сначала всё шло как нельзя лучше: количество окон и дверей почти идеально характеризовало размер жилища. Однако в течение двух последующих веков налог на окна и двери привел к тому, что люди стали перестраивать дома и закладывать окна, чтобы уменьшить налог. Из-за этого на протяжении поколений французы задыхались в плохо вентилируемых «налоговых убежищах». Так адекватный способ стал неадекватным.

И историей с окнами в дореволюционной Франции такие методы не ограничиваются. На самом деле, похожие методы оценки и контроля качества стали господствовать в сфере образования по всему миру. В Соединенных Штатах единый тест стал олицетворять метод количественного измерения, позволяющий объективно определить достаточные для получения высшего образования способности. С той же легкостью мы могли бы перенять опыт «экзаменационного ада», который в других странах выпускники вынуждены преодолевать на пути к обучению в университете, а значит, и к возможностям для карьерного роста.