Модели оценки знаний в системах автоматизированного тестирования

При исследовании и разработке автоматизированных систем компьютерного тестирования важное место занимают модели тестирования знаний.

Определение и оценка знаний являются более сложным процессом, чем измерение знаний в определенной шкале и, по мнению некоторых исследователей [1,2], представляет собой задачу распознавания, состоящую из трех этапов:

  • определение параметров контроля, выполняемое до начала тестирования знаний;
  • сбор, анализ и / или преобразование данных, получаемых в процессе контроля (распознавание);
  • выставление оценки за работу по завершении контроля (оценивание).

На первом этапе по результатам контрольного эксперимента определяются метаданные заданий (трудность) и устанавливаются параметры контроля знаний (число вопросов, время тестирования и др.). Метаданные и параметры помещаются в репозитарий системы и используются на последующих этапах. На втором этапе при выполнении контрольных заданий осуществляется сбор, анализ и предварительная обработка полученных данных. На последнем этапе выставляется оценка. В большинстве методов оценивания предусматривается вычисление некоторой величины, которая затем сравнивается с предварительно заданными граничными значениями.

Модели оценивания используются, в основном, на втором и третьем этапе, хотя существует ряд моделей, которые применяются для выставления оценки только на последнем этапе.

Модели оценки знаний разделить на два основных класса:

  • математические модели;
  • классификационные модели.

К первому классу моделей относят следующие модели.

Простейшая модель. Данная модель является самой простой и самой распространенной. Ответ учащегося на каждое задание оценивается по двухбалльной (правильно или неправильно) или многобалльной (например, пятибалльной) шкале. Оценка выставляется путем вычисления отношения суммарного набранного балла к числу заданных вопросов. Недостатком модели является ее зависимость от единственного параметра (количества правильных ответов), т.е. она не учитывает не полностью точные ответы и характеристики заданий. Простейшая модель имеет

самую низкую надежность, т.к. не позволяет объективно оценить знания учащегося.

Модели, учитывающие параметры заданий. В этих моделях при выставлении оценки используются характеристики контрольных вопросов. Существуют различные модификации данного типа моделей.

  1. Модель, учитывающая время выполнения задания и /или общее время контрольной работы. В данной модели правильные ответы учитываются, только если время ответа на вопрос испытуемых не превосходит время установленное на ответ в в системе преподавателя. Далее итоговая оценка вычисляется аналогично ―Простейшей модели‖.
  2. Модель на основе уровней усвоения. В этой модели характеристикой задания является уровень усвоения, для проверки которого оно предназначено [3,4]. Для каждого задания определяется набор существенных операций. Под существенными понимают те операции, которые выполняются на проверяемом уровне. Операции, принадлежащие к более низким уровням, в число существенных не входят. Для выставления оценки используются коэффициент Ka:

166

Аналогичным образом определяется и уровень усвоения (ранг) учащегося. Преимущество данной модели заключается в использовании, как дидактических характеристик заданий, так и уровня подготовленности (ранга) из модели учащегося, что позволяет повысить надежность результатов контроля.

Модели на основе вероятностных критериев. Главным в данных математических моделях контроля знаний утверждения о зависимости вероятности ответа учащегося от уровня его подготовленности и от параметров задания (модель Раша). Необходимо отметить, что существуют различные вероятностные модели контроля знаний, среди которых особенно следует отметить статистическую теорию контроля знаний профессора А.П.Свиридова [5].

Классификационные модели. Основная идея классификационных моделей заключается в отнесении учащегося к одному из устойчивых классов с учетом совокупности признаков, определяющих данного учащегося. При этом используется специальная процедура вычисления степени похожести (оценки) распознаваемой строки (совокупности признаков обучаемого) на строки, принадлежность которых к классам заранее известна. Алгоритм, основанный на вычислении оценок (АВО), был впервые предложен Ю.И.Журавлевым [6] и позднее использовался для классификации обучаемых по уровням подготовленности. Данная модель предусматривает построение таблицы обучения Tm , в которой каждая строка представляет собой набор признаков обучаемого

 

Таким образом, для оценивания знаний могут применяться разные модели и алгоритмы, начиная с самых простых, учитывающих лишь процент правильно выполненных заданий при двухбалльной системе оценки отдельного вопроса, и заканчивая сложными составными, в которых используются всевозможные параметры контроля и многобалльная система оценки как отдельных заданий, так и работы в целом.

 

Литература

  1. Дуплик С.В. Основные модели современной теории тестирования./ Вопросы тестирования в образовании, №7, 2003. – С. 49-54.
  2. Kasyanov V.N., Kasyanova E.V. Web-based systems for supporting computer-science teaching and learning //ACM SIGCSE Bulletin. - New York, ACM Press. 2002. - Vol.34, N 3. – Р. 340-350.
  3. Илипов М.М. Моделирование знаний обучаемого. // Материалы 2-й международной научно-практической конференции «Информатизация общества», ЕНУ им Л.Гумилева, 2010. – С. 45.
  4. Карданова Е.Ю. Преимущества современной теории тестирования по сравнению с классической теорией тестирования./ Вопросы тестирования в образовании, №10, 2004. –С.28.
  5. Свиридов Применение методов математической статистики для обработки результатов тестирования. / Материалы Международной научно-практической конференции. – Псков, 2001. – 561 с.
  6. Журавлев Адаптивное обучение с моделью обучаемого.- Рига: Зинатне, 1999. – 340 с.
Год: 2011
Город: Костанай