В данной статье описана методика составления тестовых заданий открытой формы для компьютерного тестирования, представлена методология ее разработки.
Стремительный рост быстродействия компьютерных систем, уменьшение цен на вычислительную технику, появление качественных и мощных систем программирования увеличило потребность в системах, позволяющих объективно, быстро и надежно оценивать знания учащихся, предлагая интересные формы взаимодействия с ними. Однако вопрос создания таких систем является неоднозначным, и авторы существующих разработок иногда отходят от педагогической и психологической стороны вопроса, пытаясь максимально увеличить привлекательность своих программных продуктов за счет средств мультимедиа.
Очень часто сами преподаватели не владеют в должной мере методами оценки качества создаваемых тестов. Дело в том, что применение традиционных методов компьютерного обучения и контроля (прямое тестирование, бальная система, и т.д.) неприемлемо: чтобы оценить знания обучаемого, преподавателю приходится переработать огромное количество информации, процесс взаимодействия оценивающего и оцениваемого не поддается строгой формализации, поэтому три основные алгоритмические структуры (последовательная, ветвление, цикл) при реализации машинных систем не смогут описать в полной мере данную предметную область. Осуществление автоматизированного контроля знаний, умений обучаемых в первую очередь включает решение проблемы определения совокупности требуемых качеств знаний, без которых критерии оценки знаний и способы определения уровня их усвоения выявить нельзя.
Одной из актуальных задач проверки знаний студентов является организация тестирования с тестовыми заданиями открытой формы. Проведение тестирования с открытыми тестами позволяет не только проверить знания, но и превратить процесс контроля знаний в учебный процесс, так как испытуемый будет задумываться над решением поставленной задачи, этим самым такая система тестирования повысит качество знаний при тестировании.
Разработка методологии заданий открытой формы для компьютерного тестирования велась в три этапа. Первый этап представлял собой формирование тестовых заданий с использованием основополагающих принципов:
- На основе принципов значимости проверяемых знаний для проверки уровня знаний по предмету «физика» использованы базовые тестовые задания данного предмета;
- учитывая содержательную правильность тестовых заданий, например при разработке тестов вычислительного характера, включены задания, которые не требуют большого количества математических вычислений, чтобы не наложить на проверку знаний по физике проверку знаний по математике;
- используя принцип системности содержания в данных тестах, помимо подбора заданий с системным содержанием, были включены задания, связанные между собой общей структурой знаний, как-то: 1) Чему равен потенциал?; 2) Эквипотенциальная поверхность Е – это…; 3) Задания на вычисление значений потенциалов.
На втором этапе по составленным тестовым заданиям было проведено тестирование знаний студентов в группах инженерно-технических специальностей Инженерной академии, в тестировании участвовало 7 испытуемых, им было дано 10 заданий.
С помощью методики оценки тестовых заданий произведена их классификация по трем ступеням: простые, средней сложности, сложные [1].
Ниже приведена таблица тестовых результатов:
Таблица 1 - Результаты тестирования студентов
Пояснение к таблице 1:
а) строки (от 1 до 7) представляют испытуемых, столбцы (от 1 до 10) — задания.
- при оценке результата ответов было только два исхода: за правильное решение — 1 балл, ошибочное — 0;
- в данной таблице проводилось два упорядочения: в первой строке фиксируются баллы самого успешного испытуемого, во второй менее успешного испытуемого, и т.д., в первом столбце располагается самое легкое задание (по нему имеется наибольшее число правильных ответов), во втором — менее легкое и т.д.
Для проверки тестовых свойств заданий с данными таблицы был выполнен ряд статистических расчетов:
- по строке был суммирован тестовый балл каждого испытуемого (Yi).
- по столбцам, количество правильных ответов в каждом задании (Rj)
- количество неправильных ответов испытуемых в каждом задании (Wj), поскольку показатели Rj и Wj зависят от числа испытуемых (N), для получения сопоставительных характеристик они делятся на N;
- рассчитали величину pj, (pj = Rj / N) — доля правильных ответов на задание j, а также qj (qj = Wj / N) — доля неправильных ответов на задание j, так как pj + qj =
- был рассчитан средний арифметический тестовый балл в данной группе испытуемых — М = 43/7= 6.14, он равен сумме всех pj (Σpj = М).
- значения дисперсий были рассчитаны по формуле sj2 = pj qj и представлены в пятой строке нижней части таблицы 1, что показало, что 6 студентов из 7 ответили на задания № № 1, 4, 7, 10 верно, на задания № 2 и № 6 - верно 3 студентами.
В результате тестовые задания были определены по уровням сложности:
- 1, 2, 7, 9, 10 - задания были отобраны как легкие задания;
- 2, 6, 8 – присвоен статус средней сложности;
- 5, 9 – сложные тесты.
С помощью такой методики можно произвести разделение тестов по уровням сложности и в дальнейшем использовать эту информацию для оценки знаний испытуемых.
Третий этап методологии представляет собой работу по формированию алгоритмов визуализации тестов испытуемым и проверку правильности ответа.
Все тестовые задания были разбиты на 3 группы:
- формулирование определений;
- приведение формул;
- задания на вычисления.
При этом для подачи тестов первой группы нами предлагается алгоритм постепенной визуализации теста испытуемому, по мере введения верного ответа методом «вставки» [2].
Пример алгоритма визуализации теста «Потенциал электрического поля в точке это совершаемая при заряда из ………в ……..» приведен на рисунке 1:
Вывод 1 части определения
Рисунок 1 - Алгоритм визуализации теста
Алгоритм проверки тестовых заданий 2-группы включает проверку на регистр введения символов, отсутствие знака «умножить» или замену его символами «*», « · », при записи вещественных чисел или
наличии «.» или «,», на присутствие знака в дроби «/», на наличие знака «^». К примеру, в задании «Приведите формулу кинетической энергии» вариантами верных ответов могут быть: Ek = mv^2/2, Ek = m*v^2/2, Ek = m · v^2/2.
При проверке корректности ответов на задания 3-группы должны учитываться различного рода варианты записи результата вычислений.
Выводы:
- Предложена методика формирования тестовых заданий открытой формы.
- Разработан алгоритм последовательной визуализации тестовых заданий в виде формулировок основных понятий разделов дисциплины.
Литература
- Аванесов В.С. Композиция тестовых заданий. Учебная книга для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов. - М.: Центр тестирования, 2002. - 240 с.
- Аванесов В.С. Формы тестовых заданий: Учебное пособие для учителей школ, лицеев, преподавателей вузов и колледжей. - 2-е изд. перераб. и расширен. - М.: Центр тестирования,
- 156 с.