Аналитика: методология, технология и организация информационно-аналитической работы

3. Подходы к оцениванию результатов (ранжирование, нормирование, различные виды упорядочения, включая методы предпочтений, попарных сравнений и др.) и методы обработки экспертных оценок;

4. Способы определения согласованности мнений экспертов, достоверности экспертных оценок (например, статистические методы оценки дисперсии, оценки вероятности для заданного диапазона изменений оценок, оценки ранговой корреляции, коэффициента конкордации и иные);

5. Методы повышения согласованности оценок путем применения соответствующих способов обработки результатов экспертного опроса.

Пункты 1 и 2 данного перечня отчасти рассмотрены в подразделе, посвященном методам активизации мышления, и в большей степени относятся к проблемам организационного плана. Здесь же наш интерес будет сосредоточен на проблемах, перечисленных в пунктах 3–5.

Существенный интерес с точки зрения механизмов обработки экспертных оценок представляет проблема выбора вида шкал, используемых в ходе опроса. Выделяются следующие классы шкал:

— шкалы равномерные и неравномерные;

— шкалы абсолютные и нормированные;

— шкалы дискретные и непрерывные;

— шкалы одноуровневые и иерархические;

— шкалы измерений и отношений;

— шкалы одномерные и многомерные.

Равномерные шкалы представляют собой такой вид шкал, для которых расстояние (модуль метрики) между любой парой ближайших терминов является постоянным, это условие должно выполняться и для пространственной интерпретации шкалы.

Неравномерные шкалы представляют собой такой вид шкал, для которых либо геометрическое расстояние, либо расстояние измеренное в пространстве признаков (модуль метрики) между соседними двумя терминами не является постоянным в рамках шкалы. Используются тогда, когда некий интервал значений представляет особый интерес для исследователя, для чего число терминов в этом интервале увеличивается, либо производится смена масштаба отображения (что редко обходится без введения новых терминов или их квантификаторов).

Абсолютные шкалы

— это шкалы, на которых в качестве терминов выступают конкретные значения абсолютных величин. Чаще всего такие шкалы используются при отображении результатов, полученных на выборках равного объема, либо для протоколирования оценок экспертов.

Нормированные шкалы — это шкалы, на которых расстояние между соседними терминами измеряется в долях или кратно (в разах) некоторой величине, то есть, эти шкалы выражаются в относительных единицах. В качестве «нормы» может быть взят объем конкретной выборки (при сопоставлении частотно-рангового распределения выборок разного объема), максимальное значение некоторой величины и иные величины, относительно которых могут выполняться операции сравнения. Например, в качестве величины, относительно которой может быть нормирована некая шкала, иногда рассматривают и значение наименьшей величины — в этом случае расстояние между терминами этой шкалы будет по модулю равно этой величине.

Применение дискретных шкал основано на установлении соответствия между некоторым фиксированным множеством терминов-оценок и совокупностью численных показателей, подлежащих дальнейшей обработке. Такой подход позволяет сократить разброс характеристик к необходимому уровню разнообразия и стандартизировать тезаурус. Существует ряд ограничений на мощность множества терминов, связанных с тем, что чрезмерное разрастание этого множества ухудшает восприятие шкалы из-за усложнения процедуры различения смежных терминов экспертом. В ряде случаев это может привести к снижению темпов работы экспертов, возникновению стрессовых ситуаций в ходе опроса, вызванных сложностью идентификации термина с оценкой эксперта. Другой крайностью является излишняя терминологическая бедность шкалы, приводящая к снижению точности оценки. Разрешению этой проблемы отчасти может способствовать использование иерархических шкал.

Непрерывные шкалы получили особое распространение в системах анкетирования, реализованных на базе ЭВМ, однако используются и на традиционных носителях. Данная разновидность шкал отличается тем, что для оценивания используется пространственная интерпретация шкалы, в виде некоторого непрерывного интервала, заданного двумя терминами, используемыми для обозначения верхней и нижней границы диапазона (этот диапазон ставится в соответствие шкале оценок заданной инструментальной точности). Этим снимается проблема «терминологического» стресса, однако возникает проблема точности установления экспертом пространственной координаты, соответствующей его субъективной оценке. В случаях, когда перед экспертом стоит задача ранжирования оценок, такой вид шкал может оказаться менее удобен, поскольку отсутствие явной маркировки осложняет решение задачи сравнения.