- A
- A
- A
- АБB
- АБB
- АБB
- А
- А
- А
- А
- А
Как психометрика тестировать помогает
Что такое психометрика?
Психометрика – это наука о педагогических и психологических измерениях. Существует две разновидности психометрики – прикладная и вычислительная. Прикладная психометрика находится на стыке психологии, педагогики и базовой статистики. В ее фокус входят разработка тестов, анкет, опросов и обработка собранных с их помощью данных для измерения знаний, способностей и психологических особенностей человека. Вычислительная психометрика – новая область, комбинирующая методы компьютерных наук (в частности, машинное обучение и интеллектуальный анализ данных) и теоретическую психометрику для моделирования и объяснения поведения человека. Вычислительная психометрика опирается на логи (цифровой след) пользователей, собираемые образовательными платформами или социальными сетями. Психометрика очень востребована в цифровом обучении – в разработке курсов, в их реализации и сопровождении.
Психометрика онлайн-обучения
Специалист по прикладной психометрике, или психометрик-аналитик, включается в работу с онлайн-курсом на этапе его планирования. Он помогает автору курса продумать типы заданий и схему измерений, чтобы в итоге в каждой теме курса проверялось и запоминание важных фактов, и понимание пройденного, и способность применять изученную информацию на практике. Имея такую схему, автор может приступить к разработке заданий.
Разработка заданий для онлайн-курса – сложный и кропотливый процесс. Начинающие авторы придумывают задания интуитивно, и их часто заклинивает на однотипных фактологических вопросах «Кто?», «Что?», «Где?», «Когда?». Более опытные авторы также частенько испытывают творческий кризис и работают в режиме фабрики однотипных заданий. Именно здесь у автора появляется искушение сказать себе: «Тесты ничего не измеряют и поэтому бесполезны» – и тем самым превратить разработку онлайн-курса не в творческое путешествие, а в тяжелый камень на шее. Авторам курсов важно помнить, что при возникновении любых методических трудностей при разработке заданий они могут обратиться к психометрику-аналитику и получить консультацию. В помощь авторам мы создали методический раздел на сайте Дирекции по онлайн-обучению и регулярно его дополняем.
После того как задания составлены, психометрик-аналитик проводит их содержательную экспертизу. На этом этапе задания вычитываются и корректируются. В среднем пакет тестовых заданий к одному курсу составляет около 150 заданий. Около 40% заданий из этого пакета требуется смена формата, оптимизация формулировки задания и доработка вариантов ответов, а также корректировка пунктуации. После этих правок задания могут быть загружены в курс на платформу.
По мере того как студенты выполняют задания, платформы собирают данные об этом. Используя эти данные, психометрик-аналитик проводит статистическую экспертизу заданий. Базовая статистическая экспертиза включает расчет двух коэффициентов для каждого задания – решаемости и способности различать студентов по уровню подготовленности. У Вышки 88 курсов на международной платформе Coursera и 53 курса на российской Национальной платформе открытого образования. Это более 18 500 заданий. По итогам статистической экспертизы около 10% заданий оказываются проблемными, и автор курса получает рекомендацию по их доработке.
Мы в Центре психометрических исследований в онлайн-образовании еженедельно проводим экспресс-мониторинг и ежеквартально – полноценную статистическую экспертизу заданий. За два года существования центра накопилось большое количество эмпирических данных. Это позволило выделить типичные ошибки, которые допускают авторы при наполнении заданиями своего онлайн-курса.
Из диаграммы видно, что чаще всего авторы курса некорректно выбирают форму задания.
Например, в задании «Каковы функции бикамерализма?» был только один правильный ответ. Однако формулировка этого задания и форма «чек-бокс» (возможность множественного выбора) на платформе дезориентировали студентов и провоцировали выбирать несколько вариантов ответа (именно поэтому в литературе по разработке тестов рекомендуется выбирать соответствующую форму задания). С этим заданием с первой попытки справлялись 9% студентов. При статистической экспертизе мы используем правило, при котором задания с решаемостью менее 10% попадают в категорию подозрительных. Изучив подробнее это задание, мы предложили автору курса переформулировать его и выбрать форму с одним верным ответом. После этих манипуляций статистики задания улучшились – правильный ответ с первой попытки стали давать около половины студентов.
Другой пример. В задании:
«Управляющий обязан предоставлять клиенту отчет о деятельности управляющего по управлению ценными бумагами в срок…
· предусмотренный договором доверительного управления;
· не реже одного раза в год;
· не реже одного раза в квартал;
· в случае письменного запроса клиента – в срок не более 10 рабочих дней с даты получения запроса»
верных ответов было несколько. Однако формулировка этого задания дезориентировала студентов и провоцировала выбирать один верный ответ. Помимо этого, четвертая ответная опция не согласована с текстом задания. С этим заданием с первой попытки справлялись 10% студентов. Мы предложили автору курса изменить формулировку задания на:
«Управляющий обязан предоставлять клиенту отчет о деятельности управляющего по управлению ценными бумагами…
· в сроки, предусмотренные договором доверительного управления;
· не реже одного раза в год;
· не реже одного раза в квартал;
· в случае письменного запроса клиента – в срок не более 10 рабочих дней с даты получения запроса».
После манипуляции с заданием показатели его полезности выросли.
Ошибки или неточности в тексте задания или в вариантах ответа встречаются в 20 и 22% случаев соответственно. Рассмотрим задание с формулировкой «Как Ф. Петрарка толкует культуру? Отметьте все верное положение». Статистика по данному заданию показала, что с первой попытки с ним справляются менее 6% студентов. И снова правило 10% решаемости помогло нам обнаружить описку в формулировке и поправить ее («Как Ф. Петрарка толкует культуру? Отметьте все верные положения»).
Другой пример. В задании с вводом правильного ответа «Введите необходимое словосочетание: Объем производства, при котором возрастающая отдача от масштаба сменяется постоянной или убывающей, называется________________» автор курса указал в качестве верного ответа одну комбинацию: «минимально эффективный выпуск». Статистика по данному заданию показала, что с первой попытки с ним справляется только 7% студентов. Однако на самом деле большинство студентов справлялось с ним, но их ответы не учитывались платформой, поскольку эти ответы либо начинались с заглавной буквы («Минимально эффективный выпуск»), либо содержали описки, но объективно были правильными («минимальным эфективным выпуском»), либо включали только два слова («минимальным эффективным»). Решением этой проблемы может быть либо замена типа задания на задание с выбором одного верного ответа, либо увеличение вариаций верных ответов на основании анализа уже используемых студентами. Автор курса предпочел второй вариант.
Здесь важно отметить, что на платформах онлайн-курсов есть возможность использовать такой знак, как «*». Например, ответ выше можно было оформить несколькими комбинациями: «минимал* эффектив* выпуск*». Такие варианты ответов решат вопрос с окончаниями. Что касается орфографических ошибок в ответах студентов, верный ответ, содержащий орфографическую ошибку, считаемую автором курса как несущественную или допустимую в правильном ответе, можно пометить на платформе вручную постфактум.
Можно привести также пример задания, в котором студенту необходимо было выбрать все верные ответы:
«Какие из приведенных ниже индексов измеряют уровень демократичности стран:
• Freedom House;
• Polity IV;
• Bertelsmann Transformation Index;
• ИндексТатуВанханена;
• Transparency International;
• Индекс Doing Business;
• Reporters without Borders;
• Human Rights Watch;
• Index Dow Jones».
Автор курса указал в качестве верных ответов четыре опции: Freedom House, Polity IV, Bertelsmann Transformation Index, «Индекс Тату Ванханена». Статистика по данному заданию показала, что с первой попытки с ним справляется только 10% студентов.
Изучив подробнее задание и обратную связь от студентов, мы сделали вывод о том, что несколько индексов, попадающих в верный ответ, не были изучены во время лекции. Мы предложили автору курса выстроить задание только вокруг изученных на лекции индексов и уменьшить количество ответных опций до пяти. Реализация наших рекомендаций повысила количество студентов, которые справлялись с заданием, и полезность задания в целом.
В 21% случаев авторы курса неверно отметили ключ на платформе. Например, с заданием «Выберите верный тезис, который используют финансовые аналитики и консультанты» справляются только 5% студентов, а его способность различать студентов по уровню подготовленности оказалась отрицательной. Это значит, что по какой-то причине сильные студенты дают неверный ответ. На самом деле сильные студенты выбирают верный ответ, но на платформе он был ошибочно отмечен как неверный. Смена ключа исправила ситуацию.
В настоящий момент вся работа по базовому психометрическому анализу в нашем центре автоматизирована. Авторы курсов регулярно получают аналитические отчеты, в которых промаркированы «подозрительные» задания. Почему эта работа важна? Когда в курсе ненадежные тесты, университет выдает сертификаты студентам, подбрасывая монетку, то есть случайно. В таком случае сертификат теряет свою ценность, а университет несет репутационные риски. Для решения этой проблемы мы учим создавать качественные измерения, проводим экспертизу уже разработанных тестов, делаем (автоматизированные) аналитические решения. Это направление, которое легло в основу работы нашего центра (и до сих пор является магистральным). Так психометрика становится отличным помощником для авторов курсов.