Применение адаптивной нечеткой модели оценивания результатов автоматизированного тестирования

Одной из основных задач управления качеством образования в учебном заведении является задача контроля качества обучения. В условиях современного информационного общества автоматизированное тестирование может стать основным инструментом для контроля качества.

К настоящему времени разработаны разнообразные среды, предназначенные как для подготовки автоматизированного тестирования, так и его проведения: UniTest System, Конструктор тестов, Инспектор, Экспресс-тест, SunRav TestOfficePro, Тест, УПАТ, Система проверки знаний, HyperTest, Open TEST, Прометей, ACT-ТЕСТ, Neyron, СДТ Ната (md-77) и т.д. По типу доступа они классифицируются на автономные, сетевые и удаленные. В этих средах в основном поддерживаются пять типов заданий, вопросы в которых требуют следующих ответов: выбор единственно правильного ответа; выбор нескольких возможных правильных ответов; установка последовательности правильных ответов; установка соответствий ответов; ввод ответа вручную с клавиатуры. Согласно теории усвоения Беспалько В.П. первые четыре типа заданий относятся к тестам первого уровня усвоения знаний (опознание, различение, классификация), то пятый - ко второму уровню (подстановка). При этом на оценку за выполнение тестового задания не влияет, к какому уровню усвоения знаний и к какому типу одноуровневых заданий оно относится. Оценивание задания во всех этих средах зависит от составителя теста. Баллы за выполнение тестовых заданий назначаются на основе его педагогического опыта. Кроме того, способы вычисления интегральной оценки результатов тестирования отличаются простотой расчета: в основном используется аддитивный способ оценки правильно выполненных тестовых заданий. При дихотомичности и одноуровневости каждое правильно выполненное задание оценивается в один балл. При политамичности и многоуровневости на этапе формирования теста каждому заданию в зависимости от его сложности назначается определенный балл или весовой коэффициент. Интегральная оценка завыполнение теста вычисляется как сумма полученных баллов за правильно выполненные задания.

Анализ систем контроля знаний учащихся показал, что разработка этих систем преимущественно идет на эмпирической основе без должного научно-методического обоснования, без привлечения методов педагогической квалиметрии. Недостаточная концептуальная разработанность технологии контроля все более приходит в противоречие с объективными потребностями образовательной практики по реализации программы повышения качества обучения, и в связи с этим возникает необходимость в разработке научно обоснованной системы контроля знаний студентов.

Таким образом, существует техническая проблема, заключающаяся в совершенствовании процесса автоматизированной оценки результатов тестирования студентов, решение которой позволит повысить эффективность выполнения контроля знаний студентов, обеспечить объективность оценки за выполнение теста как по уровням усвоения знаний тестовых заданий, так и по тесту в целом.

В последние годы стремительный рост быстродействия компьютерных систем, уменьшение цен на вычислительную технику, появление качественных и мощных систем программирования обусловили интенсивное развитие систем автоматизированного тестирования в сфере образования. Блок оценивания знаний в этих системах основан на реализации различных моделей оценки результатов тестирования. Все модели тестирования можно разбить на две категории: модели с использованием четких тестов и модели нечетких тестов.

В соответствии с классификацией моделей четких тестов, выполненной Дупликом С.В.[1], существует классическая модель, классическая модель с учетом сложности заданий, модель с возрастающей сложностью, модель с разделением заданий по уровням усвоения, модель с учетом времени выполнения задания, модель с ограничением времени на тест, адаптивная модель.

Анализ оценочной деятельности в существующих моделях автоматизированного тестирования позволил выявить, что, как правило, в них не используются вариативные анализаторы ответов. Ответ на каждый вопрос теста оценивается как правильно или неправильно, при этом неполные или неточные ответы в основном оцениваются как неправильные. Если в моделях оценивания учитывается сложность задания, то назначение заданию весового коэффициента или стоимости в баллах полностью возлагается на компетентность преподавателя.

Т.е. в существующих системах отсутствует механизм назначения весового коэффициента сложности или значимости задания на основе имеющихся в нем качественных параметров. В модели оценивания тестового задания на основе определения степени сходства эталона и ответа тестируемого, предложенной Карповой И.П., кроме правильно выбранных альтернатив учитывается и количествонеправильно выбранных альтернатив, но не учитывается количество дистракторов во множестве альтернатив: из множества с большим количеством отвлекающих элементов выбрать нужные элементы труднее чем из множества с меньшим количеством отвлекающих элементов.

В последние годы в связи с развитием оценочной деятельности в сторону учета качественных свойств параметров тестирования получили развитие «нечеткие» тесты. Их применение позволяет повысить эффективность процесса идентификации знаний на основе определения степени правильности ответа X как значение функции принадлежности F(X) на промежутке [0;1]. Для получения оценки по результатам тестирования в какой-либо п-балльной равномерной шкале полученное значение умножается на размерность шкалы п.

Принцип формирования «нечетких» тестов заключается в том, что каждому эталонному ответу ставится в соответствие множество альтернативных ответов с мерами близости к эталонному, которые являются критериями нечеткости при определении степени правильности выполнения тестового задания. При этом предполагается, что в заданиях закрытого типа кроме абсолютно правильных альтернатив и дистракторов могут находиться и явно не неправильные альтернативы с некоторой мерой близости. Это противоречит педагогическим принципам формирования теста, когда тестовые задания закрытой формы требуют определенных ответов, признаваемых в качестве точных и бесспорных, в отличие от заданий открытого типа, где могут быть даны ответы, правильные в различной степени.

Модели с использованием «нечетких» тестов являются развитием любой «четкой» модели, в которой вместо четких характеристик теста ипользуются их нечеткие аналоги. К нечетким характеристикам теста могут относиться:

  1. уровень сложности задания, который может оцениваться как «легкое», «среднее», «выше среднего» и «сложное»;
  2. степень правильности ответа, которая может оцениваться как «правильно», «частично правильно», «скорее неправильно», «неправильно»;
  3. время, отведенное на выполнение тестового задания или теста, которое может оцениваться как «маленькое», «среднее», «большое», «очень большое»;
  4. процент правильно выполненных заданий, который может оцениваться как «маленький», «средний», «большой», «очень большой»;
  5. итоговая оценка за выполнение теста, которая может оцениваться как «плохо», 2удовлетворительно», «хорошо», «отлично»;
  6. среди нечетких моделей оценивания результатов тестирования наиболее интересны адаптивные модели.

В работах Рудинского И.Д. и Грушецкого С.В. [2,3] описана адаптивная модель оценивания «нечеткого» теста. Идея заключается в том, что множество эталонных ответов каждого тестового задания имеет нечеткую шкалу оценки. Этой нечеткой шкале соответствует нормированная числовая шкала (1, t1,t2,t3, 0 ), где t i ∈ (0;1), i = 1,..., 3. Всем ответам, кроме правильного, ставится в соответствие последующий вопрос с подмножеством ответов. Если на i-м шаге тестирования на вопрос D i дан неточный ответ, следующим задается уточняющий вопрос D1 , причем, подмножество ответов содержит как более правильные («правильно», «частично правильно»), так и менее правильные («скорее неправильно», «неправильно») ответы. Если и на этот вопрос дан ответ, отличный от правильного, дальнейшие дополнительные вопросы не задаются (иначе трудоемкость составления такой структуры вопросов с подмножеством ответов на них была бы очень велика), тестирование переходит на i+1-й шаг (вопрос Di+1). Таким образом, процесс тестирования можно представить в виде движения по ориентированному графу, где вершинами являются вопросы, а дугами - переходы от предыдущего вопроса к последующему.

На этапе формирования множества тестовых заданий с подмножествами эталонных ответов каждому заданию Zi присваивается весовой коэффициент Ki, а каждому эталонному ответу - числовое значение q функции принадлежности, характеризующее «степень правильности» ответа. Причем, Ki ∈ [0;10], q ∈ [0;10]

При вычислении оценки коэффициенты Ki нормируются делением на сумму весов всех предъявленных тестовых заданий, умножаются на значение q функции принадлежности. Полученные произведения суммируются:

Ki

R = ∑_

 ∑ Ki ʌ∣

c∈T2 i∈T1

где R — оценка;

∑к ∑ k

i∈T1

i i ∈T1

cT2

, qi ;

(1)

Ti - множество номеров предъявленных вопросов;

T2 - множество номеров выбранных обучаемым ответов.

Оценка R∈ [0,1] проецируется на шкалу [0, r1, r2, r3, 1 ], где 0≤ r ≤ r ≤ r3 ≤ 1 - границы интервалов, соответствующих оценкам от «неудовлетворительно» до «отлично»Итак, если оценка R ∈ [0,r1], то ставится оценка «неудовлетворительно»; R ∈ [r1,r2) - «удовлетворительно»; R∈ [r2,r3) -«хорошо»; R∈ [r3,1] - «отлично».

Оценка может вычисляться как по окончании теста, так и во время его. В этом случае имеются следующие критерии окончания теста:

  1. задаваемый априори объем N теста;.
  2. заданное время проведения теста;
  3. достижение обучаемым оценки, отражающей его уровень знаний с приемлемой точностью ΔR ≤ε при N > Nmln. При этом ΔR =R-Ri-1 ,где- Ri , Ri-1 -две последовательно вычисляемые во время теста оценки; ε - заданная погрешность оценивания  достаточно мало); N -фактический, Nmin - минимальный объемы тестов. Предполагается, что если ΔR ≤ε , то обучаемый отвечает достаточно "ровно".

Достоинством рассмотренной модели является введение нечеткости в организации адаптивности теста, которая позволяет составителям теста на этапе его создания для каждого тестового задания построить иерархическую структуру вопросов в виде ориентированного графа. При этом каждому уточняющему вопросу ставятся в соответствие возможные ответы, которые оцениваются на лингвистической шкале.

Недостаток заключается в том, что при оценивании тестовых заданий и теста не используется аппарат нечеткой логики, а полученные лингвистические значения просто проецируется на нормированную числовую шкалу. Полученные на этой шкале значения определяют степень q правильности ответов, которые подставляются в формулу (3.1) для получения итоговой оценки.

В работе Дуплика В.П. [4] описана адаптивная модель тестирования с использованием аппарата нечеткой математики. В качестве шкалы оценивания результатов тестирования используется 12балльная шкала, предложенная Беспалько В.П. При этом автором предполагается соответствие процентов правильных ответов обучаемого и оценок по 12-балльной и 5-балльной шкалам, которым в свою очередь соответствуют нечеткие понятия.

В заданиях с выбором одной правильной альтернативы или наиболее правильной альтернативы в качестве оценки берется степень правильности выбранной альтернативы.

В заданиях с выбором нескольких правильных альтернатив, на установление соответствия и в заданиях открытой формы (на подстановку) оценивание осуществляется двумя способами:

  1. За правильный ответ на вопрос задания обучаемый получает 1 балл,за неправильный — 0 баллов. При этом под правильным ответом понимается точный выбор всех, без исключения, правильных альтернатив. В случае хотя бы одного ошибочного выбора или невыбора хотя бы одной правильной альтернативы ответ на задание считается неправильным, и обучаемый получает 0 баллов.
  2. Оценка вычисляется пропорционально количеству правильных и неправильных ответов с учетом степени правильности каждой альтернативы. Цена одной правильной альтернативы вычисляется как максимальное количество баллов за задание, деленное на количество правильных альтернатив:

где n'πp- количество правильно выбранных альтернатив п'непр— количество неправильно выбранных альтернатив, сɪ - степень правильности i-й альтернативы, не отмеченной преподавателем при разработке задания как явно неправильной. Если R< 0, то R полагается равным нулю.

При оценивании задания на установление правильной последовательности оценка уменьшается пропорционально месту, где была допущена ошибка. Чем ближе к концу последовательности ошибся обучаемый, т.е. чем больше элементов он расставил правильно, тем выше будет его оценка

После прохождения тестировался обучаемому выставляется оценка его знаний по 12-балльной шкале, которую автор рассматривает как нечеткую.

Достоинством описанной модели является применение аппарата нечеткой логики для получения интегральной оценки результатов тестирования. Влияние на интегральную оценку оказывают такие нечеткие характеристики теста как текущий уровень подготовки S, процент правильных ответов р, сложность задания Т, время выполнения задания toτβ.

К недостаткам данной модели относится то, что 12-балльная шкала оценивания, предложенная Беспалько В.П. [5], используется только для равномерного распределения на ней традиционной 5-балльной шкалы и не привязана к уровням усвоения. Оценка задания любого уровня усвоения может принимать свое значение на всей этой шкале, что противоречит теории усвоения, в которой введение 12 -балльной шкалы обосновывается тем, что на ней удобно распределить по трех элементным диапазонам четыре уровня усвоения.

Общим недостатком существующих нечетких моделей является недостаточная проработанность вопросов оценивания результатов выполнения тестовых заданий. Определение степени правильности

40

выполнения тестовых заданий производится с помощью различных математических формул, в которых невозможно учитывать мнение преподавателя, что является важным фактором ведения нечеткости в решении различных задач. Кроме этого, в этих формулах не учитывается количество дистракторов тестового задания, которое также влияет на оценку выполнения задания. Еще один недостаток заключается в то, что определение лингвистических значений нечетких характеристик при известных исходных условиях полностью и необоснованно возлагается на компетентность преподавателя.

Таким образом, с целью повышения объективности оценки знаний студентов с учетом достоинств и недостатков существующих моделей необходимо разработать нечеткую адаптивную модель оценивания результатов автоматизированного тестирования.

 

Литература

  1. Дуплик С.В. Основные модели современной теории тестирования./ Вопросы тестирования в образовании, №7, 2003. – С. 56-67.
  2. Рудинский И.Д. Некоторые аспекты нечеткого моделирования результатов массового тестирования./ Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования. - СПб. -2005. – С. 378.
  3. Грушецкий С.В. Формализация вопросно-ответных отношений в нечеткой модели оценивания результатов автоматизированного тестирования./ Проблемы информатизации региона: Материалы Девятой Всероссийской научно-практической конференции. - Красноярск. -2005. – С. 189.
  4. Дуплик С.В. Интеллектуальные обучающие и контролирующие системы.// Информатика. Информационные технологии. Средства и системы, 2000. №2. – С. 8790.
  5. Беспалько В.П. Методы оценки результатов тестирования учащихся./ Вопросы тестирования в образовании, 2007.-№2. – С. 23-34.
Год: 2011
Город: Костанай