Лекториум
Составление заданий
к онлайн-курсу
Добро пожаловать!
Эта страница — методичка по составлению заданий
для вашего онлайн-курса. Здесь вы узнаете, какие бывают типы заданий, познакомитесь с инструментами, которые помогут вам составить задания, и поймете, как работает система оценивания курса.
Мы постарались максимально подробно и прозрачно объяснить систему заданий в курсе. Быстрое меню поможет вам ориентироваться в многообразии информации. Если
у вас возникнут дополнительные вопросы, вы всегда можете обратиться к продюсеру курса.
Приступим!

Задания курса — это инструмент измерения уровня знаний студента и эффективности преподавания. Любой инструмент измерения должен быть осознанно спроектированной системой. Результатом работы по созданию проверочных заданий курса будут:
спецификация
• з
адания с ключами
инструкции для испытуемого
• четкие правила интерпретации результатов
ТЕОРИЯ

Спецификация

• Позволяет оценить равномерность учебной нагрузки студентов

• С помощью спецификации удобно равномерно распределять задания по темам

• Позволяет продуктивно анализировать статистику запусков и выявлять сильные и слабые стороны в содержании курса и проверочных заданиях

• Если при перезапуске вы захотите обновить задания, вам будет легко определить, какие из них можно заменить

• Общее время выполнения заданий не должно превышать 1,5 часа. В противном случае
у студентов снижается концентрация, что негативно сказывается на результатах

Шаблон спецификации
Шаблон спецификации доступен для скачивания по ссылке: goo.gl/jnzOGT
ТЕОРИЯ
Педагогические цели
ЗНАНИЕ


Припоминание дат,
терминов, фамилий



2 x 2 = 4
ПОНИМАНИЕ


Преобразование информации
из одной формы в другую



Маша и Ваня съели по 2 кусочка пиццы. Сколько кусочков съели ребята?

ПРИМЕНЕНИЕ


Перенос и использование информации в новом контексте: решение сложной задачи, разработка проекта, разбор кейса

В пиццерии можно заказать пиццу
с двумя видами начинок: с сыром
и с помидорами. Но можно заказать пиццу с дополнительными начинками по выбору (всего их 5). Вера хочет заказать пиццу с двумя дополнительными начинками. Сколько у Веры вариантов выбора различных комбинаций?
ТЕОРИЯ
Типы заданий
• Оцениваются автоматически: тесты
• Оценивают студенты: ORA
• Оценивает автор/ассистент
• Не оцениваются
ТЕСТЫ
Виды тестов
1. Выбор одного правильного ответа (multiple choice) в тесте

Пример задания в тесте с выбором одного ответа
2. Выбор нескольких вариантов ответа в тесте

Пример задания в тесте с выбором нескольких ответов
3. Выбор правильного ответа из выпадающего списка

Пример задания в тесте с выбором из выпадающего списка
4. Ввод правильного ответа: числовой или текстовый

Пример задания в тесте с числовым вводом
5. Установление соответствия (drag&drop)
ORA: задание на взаимное оценивание
• Студент дает развернутый ответ
на вопрос, руководствуясь четкими критериями, которые предлагает автор

• Одна работа оценивается тремя студентами

Пример задания типа ORA: критерии и правила
• Все элементы задания должны быть оцениваемы

• Лучше предоставить пример задания и его оценки, чтобы студенту были понятны правила


Пример задания ORA из курса «Гениальность. Одаренность. Посредственность»
• Важно задать понятные критерии оценивания, чтобы студенты могли более продуктивно и осмысленно выполнять задание

• Если критерии не будут предельно понятны, возможны искажения
при оценивании работ

Пример оценки ответа по критериям
SGA: оценивание автором или ассистентом
• Очень важно, чтобы автор всегда был готов своевременно оценить ответы студентов и дать развернутый комментарий
к ним


Пример задания на оценку автором из курса «Инженерное дело»
Неоцениваемые задания: тестовая и свободная формы
Неоцениваемые тесты
  • Прилагаются к каждому видео и помогают студенту понять, насколько хорошо он усвоил полученную информацию
  • Не влияют на итоговую оценку
  • Должны быть не слишком сложными
  • Обучают различным форматам тестов. Если вы хотите в оцениваемом тесте дать задание на соответствие, сначала введите его в неоцениваемый тест, чтобы студент смог опробовать данный формат


Неоцениваемое задание свободной формы чаще всего отсылает студента
на форум, где он может ответить на заданный вопрос и обсудить его с другими слушателями. Однако свободная форма этого задания позволяет экспериментировать и привлекать сторонние ресурсы, что создает мотивацию для успешного выполнения задания. Ниже представлен пример творческого задания из курса «Научные коммуникации»
ПРАКТИКА
Рекомендации по составлению заданий
Тесты с выбором одного или нескольких ответов
Избегайте в тексте задания двусмысленности или неясности формулировок. (Никогда: «Как вы думаете ...»)
Ответ должен состоять из нескольких наиболее важных, ключевых слов. Все остальное можно оставить в основной части задания
Варианты ответа должны быть равновероятными, чтобы студенты действительно могли их выбрать
Вариантов ответа должно быть не менее четырех

Для того, чтобы ваши тесты были максимально разнообразными, и студенту было интереснее их проходить, рекомендуем использовать разные принципы композиции и чередовать их
Принцип противоречия
Ответы подбираются так, чтобы второй отрицал первый.

Органическое стекло – это пластмасса, состоящая из термопластической смолы
a) с наполнителями
b) без наполнителей

Принцип противоположности
Ответы допускают возможность потенциального существования других переходных понятий и состояний.

Функция, имеющая в интервале положительную производную, в этом интервале
a) возрастает
b) сохраняет постоянное значение
c) убывает

Принцип однородности
Подбираются такие ответы, которые относятся к одному роду, виду, или отображают различные стороны, грани явления.

Конституционный контроль во Франции осуществляет
a) Государственный совет
b) Конституционный совет
c) Конституционный суд

Принцип кумуляции
Содержание каждого ответа вбирает в себя (аккумулирует) содержание
предыдущего.

Толерантным называется отношение
a) рефлексивное
b) рефлексивное и симметричное
c) рефлексивное, симметричное и транзитивное

Принцип сочетания
Используется сочетание слов (знаков) по два, три, четыре в каждом ответе.

Механическая работа, совершенная телом при поступательном движении, зависит от
a) силы и времени
b) силы и перемещения
c) силы и пройденного пути

Принцип двойной альтернативы
При конструировании ответов используется противопоставление, построенное на принципе противоречия или принципе противоположности.

Для развитых стран характерны
a) низкая рождаемость и низкая смертность
b) высокая рождаемость и низкая смертность
c) высокая рождаемость и высокая смертность
d) низкая рождаемость и высокая смертность

Тесты с вводом ответа
Не должно быть некорректных утверждений, а правильный ответ должен быть только один. (Плохой пример: «Чем знаменит Александр Пушкин?»)

Не должно быть слишком много пропусков, чтобы не терялся смысл вопроса
Необходимо избегать невольных подсказок (когда формулировка вопроса или утверждения наводит на нужный род, число и т. д.)
Тесты на установление соответствия
Требуют четких инструкций, чтобы студенту было очевидно,
на основании какого признака надо производить соответствие, все ли варианты обязательно должны использоваться, может ли один вариант использоваться дважды
Задание должно содержать от 4 до 10 условий
Условия можно организовать в логической последовательности, например, по алфавиту
или в хронологическом порядке
ПРАКТИКА
Рекомендации по составлению ORA
Необходимо задать объем, рекомендации по выполнению и оформлению, а также указать минимальные требования
к содержанию

Четко обозначьте, какие элементы задания будут подлежать оцениванию
Важно избегать выражений типа: «по желанию добавьте таблицу», так как непонятно, как такое задание оценивать, давать ли за это дополнительные баллы
Установите время выполнения заданий
Количество баллов, присваиваемое за выполнение различных элементов задания, должно быть эквивалентным. То есть
не должно быть так, чтобы за выполнение одного параметра давали 5 баллов, а другого – 25
Не используйте сложных схем оценивания. Оптимальные: дихотомическая (0 – не выполнено, 1 – выполнено) или дробная (0 – не выполнено, 1 – выполнено частично, 2 – выполнено полностью) оценка для каждого параметра
Не забудьте включить пример выполненного задания, а также пример того, как это задание оценивалось на основе разработанных вами рубрик. В качестве примера можно использовать образец, написанный на другую тему
Задания типа ORA должны составлять не более 30%
от прогресса курса

Задания типа ORA плохо подходят
для частых запусков.

Если вы готовите задания для курса, который будет запускаться чаще, чем раз
в полгода, советуем заменить ORA тестом, или же назначить ей небольшой вес
в системе оценивания.

Шаблон для составления заданий типа ORA

Пример составленного задания ORA (ч1)

Пример составленного задания ORA
(ч2)

Шаблон, по которому удобно разрабатывать задания типа ORA, а также пример составленного задания доступны для скачивания по ссылке: goo.gl/GldSMd
ПРАКТИКА
Система оценки
Максимальный результат слушателя — 100%.
Проценты распределяются между оцениваемыми заданиями после каждой главы и итоговым заданием
Необходимо задать порог для получения сертификата. Обычно это от 60% до 70%
Возможно присваивать лучшим студентам сертификат
с отличием
, порог — от 75% до 95%
Основной вес заданий должен быть распределен между тестами различных форм. Задания типа ORA должны составлять не более 30% от прогресса курса
От автора нужна информация по всем оцениваемым заданиям: тип задания, его сложность (вес в общем зачете), общее количество оцениваемых заданий, разбалловка внутри каждого блока с заданиями (более сложным можно присвоить 2/3 балла, более легким — 1 балл и т. п.)

Например, в вашем курсе 20 задач и 4 теста. Для каждого задания одного типа система автоматически считает распределение процентов рейтинга.
В нашем примере:
• Каждая из 20 задач будет «стоить»: 40% : 20 = 2%
• Каждый из 4 тестов будет «стоить»: 60% : 4 = 15%

При этом, внутри каждого теста может быть несколько вопросов.
Скажем, 15 вопросов в каждом тесте. Тогда каждый вопрос в общем рейтинге будет «стоить»:
15% : 15 вопросов = 1%.
Какие­-то вопросы внутри теста могут быть легкими, какие­-то более сложными. Для этого внутри каждого теста можно выставлять множитель (в баллах).

Например, у нас по-­прежнему 15 вопросов в тесте, из них 5 вопросов сложные, 10 вопросов простые. Для пяти сложных вопросов мы задаем множитель 2 балла, для 10 простых — 0,5 баллов. Соответственно за ответы на 5 сложных вопросов, слушатель получит:
2 · 1% · 5 = 10%,
а за ответы на 4 простых вопроса:
0,5 · 1% · 10 = 5%.
Итого, общее число процентов, приходящихся на 1 тест, не изменится (15%), но изменится значимость каждого из вопросов теста.

В системе есть возможность «отбросить» какое­-то количество заданий каждого типа. Например,
из 20 задач, которые в нашем примере весят 40%, можно позволить «провалить» или не решить две из них.
Таким образом, 40% можно будет получить, решив верно 18 задач из 20­-ти.
Итог работы
1
Сформируйте спецификацию
Лучше сделать это совместно с вашим продюсером
2
Подготовьте задания для каждой главы и итоговое задание
• Задания должны быть оформлены в текстовый документ

• Должно быть четко обозначено к какой главе (ролику, тесту) относится задание

• Для каждого задания должен быть указан правильный ответ, желательно прописать комментарии–пояснения к правильному ответу. Пожалуйста, обозначайте правильный ответ не с помощью форматирования, а с помощью подписей к каждому вопросу вроде «Правильный ответ Б»

• Пропишите инструкцию для студента, где это необходимо. Например, если
для выполнения задания надо использовать дополнительный материал
3
Опишите систему оценивания
Тип задания, вес каждого задания и распределение баллов внутри задания
... и помните, что все возникающие вопросы можно обсудить с продюсером курса
Удачи!
При создании рекомендаций были использованы разработки Дмитрия Аббакумова, «Центр психометрических исследований
в онлайн-образовании НИУ ВШЭ»,
elearning.hse.ru/psychometrics
Made on
Tilda