Лекториум
Составление заданий к онлайн-курсу
ДОБРО ПОЖАЛОВАТЬ!
Эта страница — методичка по составлению заданий для вашего онлайн-курса. Здесь вы узнаете, какие бывают типы заданий, познакомитесь с инструментами, которые помогут вам составить задания, и поймете, как работает система оценивания курса. Мы постарались максимально подробно и прозрачно объяснить систему заданий в курсе. Быстрое меню поможет вам ориентироваться в многообразии информации. Если у вас возникнут дополнительные вопросы, вы всегда можете обратиться к продюсеру курса. Приступим!
Задания курса — это инструмент измерения уровня знаний студента и эффективности преподавания. Любой инструмент измерения должен быть осознанно спроектированной системой. Результатом работы по созданию проверочных заданий курса будут:
1
Cпецификация
2
Задания с ключами
3
Инструкции для испытуемого
4
Четкие правила интерпретации результатов
Спецификация
• Позволяет оценить равномерность учебной нагрузки студентов
• С помощью спецификации удобно равномерно распределять задания по темам
• Позволяет продуктивно анализировать статистику запусков и выявлять сильные и слабые стороны в содержании курса и проверочных заданиях
• Если при перезапуске вы захотите обновить задания, вам будет легко определить, какие из них можно заменить
• Общее время выполнения заданий не должно превышать 1,5 часа. В противном случае у студентов снижается концентрация, что негативно сказывается на результатах

Шаблон спецификации
Педагогические цели
ЗНАНИЕ
ПОНИМАНИЕ
ПРИМЕНЕНИЕ
Задания
Типы заданий
1
Оцениваются автоматически: тесты
2
Оценивают студенты: ORA
3
Оценивает автор/ассистент
4
Не оцениваются
Виды тестов
ORA: задание на взаимное оценивание

• Студент дает развернутый ответ на вопрос, руководствуясь четкими критериями, которые предлагает автор
• Каждый студент оценивает не меньше трех работ и получает не меньше трех оценок, из которых выводится средняя

1
Все элементы задания должны быть оцениваемы

2
Лучше предоставить пример задания и его оценки, чтобы студенту были понятны правила

3
Важно задать понятные критерии оценивания, чтобы студенты могли более продуктивно и осмысленно выполнять задание
Если критерии не будут предельно понятны, возможны искажения
при оценивании работ
SGA: оценивание автором или ассистентом

Очень важно, чтобы автор всегда был готов своевременно оценить ответы студентов и дать развернутый комментарий к ним
Пример задания на оценку автором из курса «Инженерное дело»
Неоцениваемые задания: тестовая и свободная формы
  • Прилагаются к каждому видео и помогают студенту понять, насколько хорошо он усвоил полученную информацию
  • Не влияют на итоговую оценку
  • Должны быть не слишком сложными
  • Обучают различным форматам тестов. Если вы хотите в оцениваемом тесте дать задание на соответствие, сначала введите его в неоцениваемый тест, чтобы студент смог опробовать данный формат
Неоцениваемые тесты
Неоцениваемое задание свободной формы чаще всего отсылает студента
на форум, где он может ответить на заданный вопрос и обсудить его с другими слушателями. Однако свободная форма этого задания позволяет экспериментировать и привлекать сторонние ресурсы, что создает мотивацию для успешного выполнения задания. Ниже представлен пример творческого задания из курса «Научные коммуникации»
Рекомендации по составлению заданий
Тесты с выбором одного или нескольких ответов
1
Избегайте в тексте задания двусмысленности или неясности формулировок
Никогда: «Как вы думаете»
2
Ответ должен состоять из нескольких наиболее важных ключевых слов
Все остальное можно оставить в основной части задания
3
Варианты ответа должны быть равновероятными
Чтобы студентам действительно было из чего выбирать
4
Вариантов ответа должно быть не менее четырех

Для того, чтобы ваши тесты были максимально разнообразными, и студенту было интереснее их проходить, рекомендуем использовать разные принципы композиции и чередовать их
Тесты с вводом ответа
1
Не должно быть некорректных утверждений, а правильный ответ должен быть только один
Плохой пример: «Чем знаменит Александр Пушкин?»
2
Не должно быть слишком много пропусков
Чтобы не терялся смысл вопроса
3
Необходимо избегать невольных подсказок
Когда формулировка вопроса или утверждения наводит на нужный род, число и т. д.
Тесты на установление соответствия
1
Требуют четких инструкций
Чтобы студенту было очевидно, на основании какого признака надо производить соответствие, все ли варианты обязательно должны использоваться, может ли один вариант использоваться дважды
2
Задание должно содержать от 4 до 10 условий

3
Условия можно организовать в логической последовательности
Например, по алфавиту
или в хронологическом порядке
Рекомендации по составлению ORA
1
Необходимо задать объем, рекомендации по выполнению и оформлению, а также указать минимальные требования
к содержанию

2
Четко обозначьте, какие элементы задания будут подлежать оцениванию

3
Важно избегать выражений типа: «по желанию добавьте таблицу"
Так как непонятно, как такое задание оценивать, давать ли за это дополнительные баллы
4
Установите время выполнения заданий

5
Количество баллов, присваиваемое за выполнение различных элементов задания, должно быть эквивалентным
То есть
не должно быть так, чтобы за выполнение одного параметра давали 5 баллов, а другого — 25
6
Не используйте сложных схем оценивания
Оптимальные: дихотомическая (0 — не выполнено, 1 — выполнено) или дробная (0 — не выполнено, 1 — выполнено частично, 2 — выполнено полностью) оценка для каждого параметра
7
Не забудьте включить пример выполненного задания, а также пример того, как это задание оценивалось на основе разработанных вами рубрик
В качестве примера можно использовать образец, написанный на другую тему
8
Задания типа ORA должны составлять не более 30%
от прогресса курса

Задания типа ORA плохо подходят
для частых запусков.
Если вы готовите задания для курса, который будет запускаться чаще, чем раз в полгода, советуем заменить ORA тестом, или же назначить ей небольшой вес в системе оценивания
Шаблон, по которому удобно разрабатывать задания типа ORA, а также пример составленного задания доступны для скачивания тут
Система оценки
1
Максимальный результат слушателя — 100%
Проценты распределяются между оцениваемыми заданиями после каждой главы и итоговым заданием
2
Необходимо задать порог для получения сертификата
Обычно это от 60% до 70%
3
Возможно присваивать лучшим студентам сертификат
с отличием
Порог — от 75% до 95%
4
Основной вес заданий должен быть распределен между тестами различных форм
Задания типа ORA должны составлять не более 30% от прогресса курса
5
От автора нужна информация по всем оцениваемым заданиям
Тип задания, его сложность (вес в общем зачете), общее количество оцениваемых заданий, разбалловка внутри каждого блока с заданиями (более сложным можно присвоить 2/3 балла, более легким — 1 балл и т. п.)
Например,

В вашем курсе 20 задач и 4 теста. Для каждого задания одного типа система автоматически считает распределение процентов рейтинга. В нашем примере:
• Каждая из 20 задач будет «стоить»: 40% : 20 = 2%
• Каждый из 4 тестов будет «стоить»: 60% : 4 = 15%
При этом, внутри каждого теста может быть несколько вопросов.
Скажем, 15 вопросов в каждом тесте. Тогда каждый вопрос в общем рейтинге будет «стоить»:
15% : 15 вопросов = 1%. Какие­-то вопросы внутри теста могут быть легкими, какие­-то более сложными. Для этого внутри каждого теста можно выставлять множитель (в баллах).
Например, у нас по-­прежнему 15 вопросов в тесте, из них 5 вопросов сложные, 10 вопросов простые. Для пяти сложных вопросов мы задаем множитель 2 балла, для 10 простых — 0,5 баллов. Соответственно за ответы на 5 сложных вопросов, слушатель получит:
2 · 1% · 5 = 10%, а за ответы на 4 простых вопроса: 0,5 · 1% · 10 = 5%. Итого, общее число процентов, приходящихся на 1 тест, не изменится (15%), но изменится значимость каждого из вопросов теста.
В системе есть возможность «отбросить» какое­-то количество заданий каждого типа. Например,
из 20 задач, которые в нашем примере весят 40%, можно позволить «провалить» или не решить две из них.
Таким образом, 40% можно будет получить, решив верно 18 задач из 20­-ти.

Итог работы
1
Сформируйте спецификацию
Лучше сделать это совместно с вашим продюсером
2
Подготовьте задания для каждой главы и итоговое задание
• Задания должны быть оформлены в текстовый документ
• Должно быть четко обозначено к какой главе (ролику, тесту) относится задание
• Для каждого задания должен быть указан правильный ответ, желательно прописать комментарии-пояснения к правильному ответу. Пожалуйста, обозначайте правильный ответ не с помощью форматирования, а с помощью подписей к каждому вопросу вроде «Правильный ответ Б»
• Пропишите инструкцию для студента, где это необходимо. Например, если для выполнения задания надо использовать дополнительный материал
3
Опишите систему оценивания
Тип задания, вес каждого задания и распределение баллов внутри задания
... и помните, что все возникающие вопросы можно обсудить с продюсером курса
Удачи!
При создании рекомендаций были использованы разработки Дмитрия Аббакумова, «Центр психометрических исследований в онлайн-образовании НИУ ВШЭ», elearning.hse.ru/psychometrics
Made on
Tilda