Модели и алгоритмы контроля знаний в системах компьютерного тестирования

Широкое внедрение информационных и коммуникационных технологий в сферу образования и решение проблемы качества обучения обуславливают необходимость разработки моделей, адекватных процессам учебной деятельности. Повышение качества обучения является приоритетным направлением развития системы образования. Одной из основных задач управления качеством образования в учебном заведении является задача контроля знаний обучаемых.

Контроль знаний по методике уточняющих вопросов

Контроль знаний по методике уточняющих вопросов широко используется для выявления глубины знаний. При данном подходе несколько вопросов объединяются в фиксированную последовательность (цепочку) по некоторому смысловому признаку, определяемому преподавателем. Относительная важность задаваемых вопросов определяется их весовыми коэффициентами, учитываемыми при подведении результатов тестирования. Этот коэффициент изменяется от 0 до 1, и сумма коэффициентов вопросов в цепочке примерной равной 1. При подготовке к тестированию преподаватель имеет возможность определять или корректировать относительную важность каждого вопроса, устанавливать объем теста N, задавать время, отводимое экзаменуемому на демонстрацию своих знаний, и настраивать оценочную шкалу, по которой суммарный балл, набранный в ходе тестирования, переводится в итоговую оценку.

В ходе тестирования экзаменуемому предъявляется конечное множество так называемых «цепочек вопросов». Каждая цепочка представляет собой последовательность близких по тематике вопросов, формулируемых для уточнения экзаменуемого. Очередной вопрос в цепочке только после ответа на предыдущий вопрос. В зависимости от стратегии тестирования, избираемой организатором контроля знаний, очередной вопрос в цепочке может предъявляться до первой ошибки («строгий» преподаватель), либо экзаменуемому предоставляется возможность демонстрировать максимум знаний, отвечая на все вопросы данной тематической последовательности.

Каждому j - му вопросу в i - цепочке присваивается весовой коэффициент K , характеризующий его относительную важность в рамках этой цепочки. Значения всех коэффициентов автоматически нормируются так, чтобы их сумма внутри каждой цепочки была равна I, В цепочку может объединяться неограниченное количество тематически близких вопросов. Если цепочка состоит из единственного вопроса, коэффициент важности этого вопроса устанавливается равным I.

Процедура количественного оценивания знаний, выявленных в ходе тестирования, состоит из трех этапов [1]. На первом — рассчитываются баллы, набранные за правильные ответы в рамках каждой отдельной тематической последовательности:

Алгоритм анализа результатов при оценке «зачет - незачет»

Последовательное тестирование, как правило, использует тестовые задания приблизительно одинакового уровня трудности. Однако эту процедуру можно проводить с любым дихотомически (0 или 1, да – нет) оцениваемым набором тестовых заданий, случайно выбираемых из банка неограниченной емкости. При использовании алгоритма последовательного анализа результатов тестирования предполагается, что каждый испытуемый имеет свой истинный балл для данного теста, соответствующий неизвестной доле правильно решенных тестовых заданий, поэтому тестирование продолжается до тех пор, пока не станет ясно, что истинный балл испытуемого больше или равен критериального балла (стандарта оценивания). Вначале все испытуемые получают одинаковое количество заданий, а затем некоторое число дополнительных вопросов необходимое для принятия решения «аттестован - не аттестован» или «зачет -незачет», число которых индивидуально для каждого из тестируемых. Это число заданий различается для испытуемых, истинный балл которых лежит около стандарта оценивания (критериальный балл), и испытуемых, истинный балл которых существенно выше или ниже критериального. Тестируемые, истинный балл которых выше или равен критериальному, должны проходить задание успешно. Однако для оценивания истинного балла с заранее заданной вероятностью первых испытуемых необходимо использовать большее число заданий, чем для вторых и третьих. На практике не представляется возможным бесконечное увеличение длины теста, что приводит к вероятности ошибочного принятия решения, При создании теста необходимо учитывать вероятность ошибки и устанавливать параметры границ стандартов окончания тестирования.

Одной из модификаций алгоритма последовательного анализа результатов тестирования является так называемый алгоритм контроля знаний по методике уточняющих вопросов.

Математическая модель последовательного анализа результатов тестирования использует следующие параметры:

• С — стандарт оценивания (критериальный балл), доля правильно выполненных заданий, необходимых для аттестации;
• Р0— значение индивидуального балла тестируемого, Р0< С, такое, что ошибка при аттестации испытуемого, чей истинный балл Y₁ ≥ P₀, рассматривается как не имеющая последствий;

100

• P₁ - значение индивидуального балла тестируемого, р › C, такое, что ошибка при неправильной неаттестации испытуемого, чей истинный балл Y ≤P рассматривается как не имеющая последствий;
• а - вероятность неправильной аттестации испытуемых, у которых в действительности истинный балл Y₁ ‹ P₀, с которой может согласиться экзаменатор;
• ß- вероятность неправильной неаттестации испытуемых, у которых в действительности истинный балл Y1 › P1, с которой может согласиться экзаменатор;
• m - количество тестовых заданий, на которые необходимо правильно ответить тестируемому из предложенных n заданий, прежде чем он будет аттестован;
• W - количество тестовых заданий, на которые необходимо ответить тестируемому неправильно из предложенных n заданий, прежде чем он будет не аттестован;
• Y - процент тестовых заданий, на которые необходимо правильно ответить тестируемому из предложенных n заданий, прежде чем он будет аттестован;
• Y - процент тестовых заданий, на которые необходимо ответить тестируемому неправильно из предложенных n заданий, прежде чем он будет не аттестован. Проведя необходимые математические выкладки для расчета r₀,w₀,Y_r и Y_W можно получить следующие формулы:

101 выполнения. Процедура принятия решения в данном случае выглядит следующим образом. Пусть после 10 заданий получены следующие результаты: студент А имеет 100% правильных ответов, студент В — 80%, С, D и Е меньше 75%. Точка А лежит на графике выше граничного стандарта оценивания Y„ а точка Ё ниже граничного стандарта оценивания Y (см. рис.1), поэтому студент А заканчивает тестирование, получив зачет, а студент Е — получив незачет. Остальные студенты продолжают тестирование, так как их результат лежит в зоне тестирования.

После 20 заданий (см. рис.1) студент В получает зачет (точка Bi), студент D получает незачет точка D1) и студент С остается в зоне тестирования и т.д, до тех пор, пока он либо не попадет в зону аттестации, либо в зону не аттестации.

Предложенная нами модель результатов компьютерного тестирования может быть использована при разработке автоматизированной системы компьютерного тестирования.

Литература

1. Романов А.Н., Торопцов В.С., Григорович Д.Б. Технология дистанционного обучения в системе заочного экономического образования.- М.: ЮНИТИ – ДАНА, 2000. – 420 с.
2. Кирилова, Г.И. Информационные технологии и компьютерные средства в образовании //Educational Techology & Society, №4, 2000. – С. 289.
3. Prentzas J., Hatzilygeroudis I., Koutsojannis С. A Web-based ITS controlled by a hybrid expert, system // IEEE Intern. Conf. on Advanced .Learning Technologies. — IEEE Computer Society,2001. – Р. 460-470.