Аудит качества тестовых заданий

Проверим качество тестов, выделим работающие и не работающие вопросы, дадим экспертное заключение и рекомендации по корректировке заданий.
Мы предлагаем статистический, экспертный и комплексный аудит тестов профессиональных знаний.

Статистический аудит

Ситуации применения

• Применяется как этап разработки профессионального теста знаний, после создания избыточного банка тестовых заданий авторами и проведения первичной апробации (сбора протоколов тестирования).
• Может применяться изолированно как оценка заданий имеющегося теста, по которому накоплены протоколы с целью проверки работоспособности заданий теста или его модернизации (обновления).

Необходимые материалы

Эксель-выгрузка ответов респондентов на задания теста (в согласованном формате). Оцениваются только те задания, ответы на которые дало более 30 респондентов. Оцениваются только те шкалы (тематические разделы), в которых более 10 тестовых заданий.

Оцениваются задания типа multiple choice, предполагающие выбор одного верного ответа из нескольких.

Анализируется

Результат

Таблица, в которой показаны свойства заданий, а также даны рекомендации: какие задания можно использовать в тесте, какие требуют коррекции, а какие необходимо исключить.

Экспертный аудит

Услуга заключается в оценке качества формулировок тестовых заданий и вариантов ответа. Задания проверяются на соответствие правилам написания текстов тестовых заданий и вариантов ответа. Оценка не касается содержательного, предметного наполнения, поэтому направление коррекции специалист-психометрист может определить без специальных знаний в предметной области теста. Такими направлениями может быть, например: усиление отдельных дистракторов, прояснение формулировки задания, усложнение/облегчение задания и т.п.

Ситуации применения

• Применяется как этап разработки профессионального теста знаний, для сбора рекомендаций по коррекции тестовых заданий авторами.
• Целесообразно проведение экспертного аудита с заданиями, выделенными в группу "требующих корректировки" по результатам статистического аудита.
• Может применяться изолированно для оценки и определения направлений коррекции всех имеющихся заданий.

Необходимые материалы

Текст тестовых заданий и формулировок вариантов ответа -предоставляется заказчиком в произвольном формате, но обязательно содержит указание ключевого варианта ответа и название шкалы, для которой создан данный вопрос.

Отчет включает в себя

• Оценку формулировок заданий на их соответствие принципам составления заданий
• Рекомендации по модификации тестовых заданий для авторов

Результат

Рекомендации по характеру необходимых изменении для каждого тестового пункта, отнесенного к категории нуждающихся в коррекции.