Технология методики составления тестовых заданий множественного выбора и проверки результатов

Аннотация. В данной статье рассматривается тип тестовых заданий множественного выбора. Для разработки данного типа вопросов предлагаются методика составления с использованием принципов содержания учебной дисциплины и проверка валидности тестовых результатов

В настоящее время в организациях образования, реализующих профессиональные учебные программы высшего образования, внешняя оценка учебных достижений (ВОУД) осуществляется с целью мониторинга оценки качества образовательных услуг и определения уровня освоения обучающимися объема учебных дисциплин, предусмотренных государственными общеобязательными стандартами высшего образования для студентов последнего курса [1].

ВОУД проводится для студентов, обучающихся по всем формам обучения в высших учебных заведениях, независимо от формы собственности и ведомственной подчиненности.

Спецификация составления тестовых заданий для ВОУД определяется типом вопросов множественного выбора с предоставением восьми вариантов ответов на заданную область знаний.

В этом типе вопросов тестовых заданий тестируемому предлагается m вариантов ответов на поставленный вопрос, из которых k правильные. Если рассматривать тестовые задания на ВОУД, то можно заметить, что за один верный отвает на вопрос тестируемый получает 0 балл, при двух правильных начисляятся 1 балл, при всех трех верно выбранных ответах из предоставленных восьми – 2 балла.

Для вопросов типа «выбор нескольких из нескольких» применяется так называемая «нестрогая стратегия оценивания»: если выбраны не все правильные ответы, то за ответ на данный вопрос тестируемый получает долю максимального балла. Это так называемый «частично правильный ответ».

Пример вопросов на ВОУД по тематике «Юриспруденция» Пример

1. Вид вопроса данного типа:

1. Социально-функциональные принципы общесистемного блока:

а) долгосрочные

в) научная обоснованность

с) пропорциональные

d) общеметодологическое

е) перспективные

1. кратокосрочные
2. однородные
3. экономические
   2. Свойства законности:
4. нормативность
5. эффективность
6. устойчивость
7. единность
8. системность
9. рациональность
10. Объективность
11. Общеобязательность требований законности

На первом этапе при разработке данного типа вопросов преподавателям необходимо придерживаться ряда принципов содержания учебной дисциплины.

Первый принцип, – это репрезентативноть содержания учебной дисциплины в содержании теста. При разработке теста обращается внимание на полноту и достаточность числа заданий для аргументированного вывода о знаниях тестируемых. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания или строго пропорционального включения в тест заданий по различным тематикам. Ведь многие из них связаны между собой в общей структуре знаний, включены один в другой, полностью либо частично. Кроме того, много элементов в структуре знаний иерархически соподчинены, и поэтому из соображений экономии, нет смысла включать в тест задания из всех изучавшихся тем. При создании тестовых заданий обычно ставится задача отобразить в нем то основное, что отражает идею измерения уровня и структуры подготовленности учащихся, как результат образовательной деятельности. 

Содержание некоторых заданий теста заметно связано, иногда перекрывает содержание других заданий, и потому может замещаться, что позволяет уменьшить общее число заданий в тесте. Репрезентативность заданий связана с числом заданий. В общем случае, чем больше заданий, тем репрезентативнее  могут  оказаться  результаты.  Число  заданий   традиционного   теста  обычно   бывает не меньше тридцати. Банк заданий адаптивного теста содержит большее число заданий.

Второй принцип - соответствие содержания теста уровню современного состояния науки. Данный принцип  вытекает  из  естественной  необходимости  проверять  знания  школьников  не  на   устаревшем, а на современном учебном и контрольном материале. Трудность реализации этого принципа   заключается в опосредованной связи содержания теста с уровнем развития науки, так как учебный  предмет представляет своеобразную проекцию научного знания в плоскость усвоения [2].

Примеры тестовых заданий по тематике «государственное управление» с использованием вышеприведенных принципов:

Пример 2.

1.Аспекты управления описаны:

1. парадоксом В.Леонтьева
2. синергетикой (Г.Хакен)
3. эффектом масштаба
4. теорией длинных волн (Н.Кондратьев)
5. общей теорией систем (Людвиг фон Бернталанфи)
6. Теорией роста (Солоу)
7. Организмической теорией управления
8. Теорией сравнительных преимуществ (Д. Рикардо)
9. Качественные признаки государственных органов:

А) наделение государственно- властными полномочиями в соответствующей сфере деятельности В) являются целенаправленными

С) наличие особого слоя людей, реализующих компетенцию госорганов на профессиональной основе

D) направлены на человеческий ресурс

Е) направлены на повышение уровня жизни населения

1. представляют интеллектуальный потенциал страны
2. направлены на конечные результаты
3. Территориальная организация населения и осуществление публичной власти в территориальных пределах

Задания с выбором одного правильного ответа (одна из разновидностей задания в закрытой форме) справедливо критикуются за довольно высокую вероятность угадывания верного ответа. Этого недостатка лишены  задания с выбором  нескольких  правильных ответов. Такие задания иногда называют  заданиями с множественным выбором [3]. В нижеприведенных заданиях в блоке ответов размещено  несколько верных ответов и несколько дистракторов (от лат. «отвлекать»).

Пример 3.

Увеличение емкости конденсатора колебательного контура вызывает

• уменьшение резонансной частоты
• увеличение периода колебаний
• увеличение резонансной частоты
• уменьшение периода колебаний
• увеличение резонансной частоты и уменьшение периода колебаний
• увеличение резонансной частоты и увеличение периода колебаний
• уменьшение резонансной частоты и увеличение периода колебаний
• уменьшение и резонансной частоты и периода колебаний

Блок ответов получился громоздким и его можно улучшить, используя предположение, что тестируемым известны обозначения физических величин: w0 – резонансная частота, T – период колебаний.

Увеличение емкости конденсатора колебательного контура вызывает

• уменьшение w0
• увеличение T
• увеличение w0
• уменьшение T
• увеличение w0и уменьшение T
• увеличение w0и увеличение T
• уменьшение w0и увеличение T
• уменьшение и w0и T

Увеличение количества верных ответов приводит к общему увеличению числа ответов.  Если считать оптимальным соотношение один верный ответ на два дистрактора (например, в заданиях с тремя ответами), то при трех верных ответах потребуется 6 дистракторов, итого 9 вариантов ответов. Это достаточно трудно, поэтому остановимся на 8.

На наш взгляд, использование заданий с выбором одного верного ответа предпочтительней. Наиболее же значимым  преимуществом  заданий   с  выбором   нескольких   верных   ответов   является   хорошая   защищенность от угадывания. Однако весьма непросто создать задание содержащее и несколько верных ответов и большое количество очень хороших дистракторов. При слабых дистракторах защищенность от угадывания будет сильно снижаться.

На втором этапе при оценивании тестируемых предлагается проверить валидность тестовых результатов.

Валидность означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование (В.С. Аванесов).

Валидность – это  характеристика  способности  теста  служить  поставленной  цели  измерения (М.Б. Челышкова) [4].

Валидность определяет, насколько тест отражает то, что он должен оценивать (А.Н. Майоров) [5].

Валидность теста показывает, насколько хорошо тест делает то, для чего он был создан. Определить коэффициент валидности теста – значит определить, как выполнение теста соотносится с другими независимо сделанными оценками знаний испытуемых. Для определения валидности требуется независимый внешний критерий, то есть оценка эксперта (преподавателя). За коэффициент валидности принимают коэффициент корреляции результатов тестовых измерений и критерия. Если экспертная оценка знаний испытуемых, полученная независимо от процедуры тестирования, представлена числовой последовательностью Y1,Y2, …, Yn, то коэффициент валидности теста может быть рассчитан по формуле (1):

Из двух тестов, предназначенных для одной и той же цели, более эффективен тот, который быстрее, дешевле и качественнее измеряет знания данной группы испытуемых.

Выделяют три вида валидности – содержательную, критериальную и конструктную. На рисунке 1 приведена следующая структура видов валидности [5]: 

Рисунок 1 - Виды валидности 

Конструктная валидность (концептуальная валидность) определяется в случаях,  когда представление об измеряемом свойстве существует в форме абстрактного образа, модели. Для объяснения определенных качеств личности создается концептуальная модель, которая с помощью тестов подтверждается или опровергается.

Критериальная валидность (эмпирическая валидность) предполагает наличие внешнего критерия, корреляция с которым определяет валидность теста.

Имеется два вида критериальной валидности – текущая и прогностическая. Текущая критериальная валидность (concurrent validity) характеризует способность теста измерять некоторые качества личности. Если  мы   в   качестве   внешнего,   независимого   и   достоверного   критерия   выберем   оценки текущей и промежуточной успеваемости, то критериальная валидность теста – низкая, даже если он имеет высокую надежность.  Прогностический   тип   валидности   характеризует   корреляцию   результатов тестирования с внешним критерием, который появится в будущем. 

Содержательная валидность (content validity) характеризует тест по степени его соответствия предметной области. Содержательная валидность означает систематическую проверку содержания   теста, с тем, чтобы установить, соответствует ли оно репрезентативной выборке измеряемой области поведения.

Для обеспечения содержательной  валидности  необходим  детальный  анализ  учебных  программ, на основании чего составляется спецификация  теста.  Спецификация  содержит  перечень  учебных  тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.

Согласно П. Клайну, содержательная валидность определяется следующим образом [4]:

• указать категорию лиц, для которой предназначен тест;
• составить список знаний, умений, навыков, подлежащих тестированию;
• выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;
• на основе списка составить перечень заданий;
• выполнить внешнюю экспертизу полученных заданий;
• после проверки преобразовать их в задания в тестовой форме.

В дальнейшем на этой основе создавать тестовые задания, образующие тест, который будет содержательно валидным.

На основе вышеприведенных примеров вопросов с множественным выбором (с выбором несколько правильных ответов), предлагаемых принципов разработки тестовых заданий и проверки валидности результатов можно выделить следующее:

Эффективность использования этого вида задания повышается, если:

• используется серия заданий;
• формулировка задания четкая и понятная;
• задания не предназначены для выявления высокого уровня, усвоения комплекса элементов;
• время выполнения ограничено и его достаточно мало.
• такой тип тестовых заданий использовать для проверки усвоения базовых понятий, основных свойств, элементов содержания учебной дисциплины.

Таким образом,  тестовые  задания  множественного  выбора  –  это  наиболее  часто  используемый в педагогических тестах вид задания.

Рекомендации по использованию вопросов «несколько из нескольких»:

• не рекомендуется использовать вопросы типа  «несколько из нескольких» c числом   альтернатив меньше 4 и больше 8;
• не рекомендуется использовать вопросы типа «несколько из нескольких» при одной  правильной альтернативе;
• при  использовании  вопросов  типа  «несколько  из  нескольких»  должно  соблюдаться   условие k < (m – 1) например, при общем числе альтернатив – 8 число правильных альтернатив не должно превышать 3 или 4;
• не рекомендуется использовать формулировки вопросов с отрицательными ответами.

С точки зрения целевых установок компьютерного тестирования, вопросы множественного типа рекомендуется использовать  при  итоговом  тестировании  с  целью  более  углубленной  проверки знаний и умений обучаемых.

Выводы:

1. Соблюдая принципы составления тестовых заданий множественноого выбора целесообразно использовать при текущем контроле знаний по иностранным языкам, естественно-научным  дисциплинам и языкам программирования.
2. Проверять валидность тестовых результатов в проведении экзаменационных сессий, проводимых методом компьютерного тестирования.
3. Вопросы типа «несколько из нескольких» являются самым перспективными для  использования в компьютерных системах контроля знаний студентов.

СПИСОК ЛИТЕРАТУРЫ: 

1. Приказ и.о. Министра образования и науки Республики Казахстан от 6 апр. 2012 года № Инструкция по проведению внешней оценки учебных достижений в организациях образования Республики Казахстан.
2. Аванесов В.С. Композиция тестовых заданий. 2 изд. М. Центр тестирования, 2002 .- 239 с.
3. Переверзев В.Ю. Технология разработки тестовых заданий: справочное руководство. – М.: Е- Медиа, 2005. – 265 с.
4. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 200 – 432 с.
5. Майоров А.Н. Теория и практика создания тестов для системы образования. – М.: «Интеллект- центр», 2001. – 296 с.