Тестовый контроль в образовании

На практике исследователю необходимо задать себе вопрос, является ли неодинаковое число наблюдений в различных совокупностях в первоначальной выборке отражением истинного распределения или это только (случайный) результат процедуры выбора. В первом случае используются априорные вероятности пропорционально объемам совокупностей в выборке; во втором – априорные вероятности одинаковы для каждой совокупности. Спецификация различных априорных вероятностей может сильно влиять на точность классификации. Для увеличения точности классификаций используются апостериорные вероятности – это вероятности, вычисленные с использованием знания значений других переменных для образцов из частной совокупности. В последнее время созданы программные пакеты, автоматически вычисляющие апостериорные вероятности для различных видов наблюдений. Общим результатом является матрица классификации.

При повторной итерации апостериорная классификация того, что случилось в прошлом, не очень трудна. Нетрудно получить очень хорошую классификацию тех образцов, по которым была оценена функция классификации. Для получения сведений, насколько хорошо работает процедура классификации на самом деле, следует классифицировать (априорно) различные наблюдения, которые не использовались при оценке функции классификации, гибко использовать условия отбора для включения их в число наблюдений или, напротив, исключения. Матрица классификации может быть вычислена по старым образцам столь же успешно, как и по новым. Но только классификация новых наблюдений позволяет определить качество функции классификации, классификация старых наблюдений позволяет лишь провести успешную диагностику наличия выбросов или области, где функция классификации кажется менее адекватной.

Дискриминантный, дисперсионный и факторный анализ являются полезными инструментами для выделения переменных, позволяющих относить наблюдаемые объекты в одну или несколько реально наблюдаемых групп, а также для классификации наблюдений по группам и детального анализа состояния и качества объектов, проведения мониторинговых исследований.

Математический аппарат, используемый для обработки результатов ЕГЭ

(из проекта Типового положения о РЦОИ Псковской области)

1. Среднее арифметическое (простое):

где n – число наблюдений; x_i1, x_i2, ..., x_m  – значения переменных.

2. Среднее арифметическое (взвешенное):

где x_i1, x_i2, ..., x_n – значения переменных; n₁,n₂, ..., n_k – веса переменных.

3. Мода:

 где x₀ – нижняя граница модального интервала; h – величина интервала; f_m –1 – частота интервала, предшествующего модальному; f_m+

₁ – частота интервала, следующего за модальным.

4. Среднее абсолютное (линейное) отклонение:

5. Эмпирическая дисперсия:

6. Стандартное (среднеквадратическое) отклонение:

7. Коэффициент вариации Пирсона:

8. Коэффициент ассимиляции:

9. Размах (range):

Rx = x_max − x_min ,

где x_max – наибольшее значение наблюдаемого признака; x_min наименьшее значение наблюдаемого признака.

10. Коэффициент корреляции Пирсона:

где σ_x  – стандартное отклонение по х; σ_y  – стандартное отклонение по у.

11. Коэффициент ранговой корреляции Спирмена:

где n – число случаев; A_i− B_i

  – разность между индивидуальными рангами по х и у.

12. Стандартная ошибка измерения:

гдеσ_x – стандартное отклонение; к_н – коэффициент надежности.

13. Точечно–бисериальный коэффициент корреляции:

14. Коэффициент корреляции Пирсона тестовых заданий с номерами i и j :

где p_ij  – доля тестируемых, вытолнивших верно i – е и j – е задания; p_i – доля тестируемых, выполнивших верно i – е задание, q_i= 1—p_i ; p_j – доля тестируемых, выполнивших верно j–е задание, q_j = 1 – p_j.

15. Коэффициент надежности:

а) коэффициент Спирмена—Брауна (метод расщепления):

где r_x – коэффициент корреляции двух частей теста;

б) коэффициент Рюлона:

где σ²_∆  – дисперсия разностей результатов по каждой из двух частей теста; σ²_x  – дисперсия результатов теста;

в) коэффициент Кронбаха:

где к – количество заданий; σ²_i – дисперсия результатов отдельных заданий; σ²_x– дисперсия результатов теста.

г) коэффициент Кьюдера—Ричардсона:

где к – количество заданий; σ²_x: – дисперсия результатов теста; pq – произведение долей справившихся и не справившихся с заданиями; r_pbis

– точечно–бисериальный коэффициент.

16. Доверительный интервал:

η_i= y_i± tm,

где y_i – тестовый балл; m – стандартная ошибка измерения; t – табличное значение распределения Стьюдента.

17. Формула Муавра (для кривой нормального распределения):

где U – высота кривой для каждого x_i ; x – среднее арифметическое; σ²_x – стандартное отклонение.

18. Коэффициент асимметрии:

где x_i – значение признака; x – среднее значение признака; n – число наблюдений; σ_x– стандартное отклонение.

19. Эксцесс:

где x_i – значение признака; x – среднее значение признака; n – число наблюдений, σ_x – стандартное отклонение.

20. Однопараметрическая и двухпараметрическая модели Раша—Бирнбаума:

– вероятность выполнения тестируемым с уровнем подготовки q задания трудности δ; d – коэффициент дискриминативности.