Аннотация. В статье рассматривается жизненный цикл и технологии современных систем online оценки знаний.
В современных системах online оценки знаний вопросы обычно проходят 3 основных этапа:
- Стадия подготовки.
- Стадия выдачи.
- Стадия оценки.
Стадия подготовки
Самая первая стадия. На данной стадии вопросы создаются некими авторами. Типичный вопрос имеет следующие части: сам вопрос, набор возможных ответов, указатели на правильные ответы, тип интерфейса представления и специфическая обратная связь для каждого вопроса. Для современных систем тестирования желательно иметь средства импорта, так как зачастую вопросы создаются в текстовых редакторах таких как MS WORD.
В настоящее время нам известно два различных способа хранения вопроса: в формате представления и во внутреннем формате. В контексте Web-основанного обучения, хранение вопроса в формате представления означает его хранение как части HTML-кода. Такие вопросы могут также называться статическими вопросами. Но современные системы уже не используют такой подход [1].
Хранение вопроса во внутреннем представлении обычно означает его хранение в записи базы данных (реже в текстовых вариантах), где различные части вопроса (основа, ответы, и обратная связь) сохранены в различных полях этой базы данных. Вопрос, как его видит тестируемый, генерируется из внутреннего формата на стадии выдачи. Внутренний формат дает возможность более гибкого манипулирования вопросом: тот же самый вопрос может быть представлен в различных формах (например, открытый тип или множественный выбор, но в зависимости от настроек системы и реализованных возможностей по созданию различных типов вопросов) или с помощью различных интерфейсов (например, набором картинок или списком выбора). Порядок альтернативных вариантов в вопросах множественным выбором ответа должен изменяться. Это обеспечивает более высокий уровень индивидуализации для тестируемого, а также полезно с педагогической точки зрения и снижает возможность обмана. Лучшим вариантом будет формирование на основе поддерживаемого вручную фонда вопросов базы данных вопросов. База данных добавляет то, что принято называть гибкостью времени выдачи. В отличие от поддерживаемого вручную списка, база данных формально структурирована и доступна системе выдачи вопросов. При наличии базы данных вопросов не только автор может формировать тест, но и сама система может генерировать тест из набора вопросов. Вопросы могут быть выбраны случайно и помещены в тест в случайном порядке. В результате, всем тестируемым предлагаются индивидуальные блоки тестов, что значительно снижает возможность обмана. Большинство современных систем оценки знаний используют СУБД MySQL, реже встречаются c Oracle, PostgreSQL.
Стадия выдачи
Тип интерактивной технологии, используемой для получения ответов обучаемого, является одной из наиболее важных характеристик систем тестирования. Он определяет всю функциональность на стадии выдачи вопросов, а также влияет на стадии создания и оценки вопросов [2].
Наиболее популярной технологией online-тестирования, используемой в настоящий момент различными системами оценки знаний является комбинация HTML-форм и PHP-скриптов (либо другого языка программирования). HTML-формы чрезвычайно удобны для представления основных типов вопросов. Вопросы типа да/нет и открытого типа представляются наборами изображений, списками выбора. Более продвинутые вопросы, такие как вопросы на соответствие или на правильную последовательность, также могут быть реализованы при помощи форм. Кроме того, скрытые поля могут использоваться для хранения дополнительной информации о тесте, в которой может нуждаться PHP-скрипт. Значительные преимущества от использования технологии серверной стороны и схожей с ней технологии «карты стороны серверной» возникают при реализации графических вопросов на указывание. Разработка теста относительно проста и может быть осуществлена с помощью HTML-редактора. Секретная информация, необходимая для вынесения оценки (такая, как параметры вопроса, ответы, обратная связь) может для безопасности храни ться на стороне клиента, обеспечивая защиту обучаемых от кражи вопросов (единственной внешней информацией, необходимой хорошо разработанной системе, для оценки теста является идентификатор теста и идентификатор студента). Организация оценки на стороне сервера облегчает реализацию всех функций, необходимых на стадии оценки (таких, как запись результатов, проставление бала, выдача обратной связи). Все эти функции могут выполняться одним и тем же скриптом на стороне сервера. Более продвинутые и более интерактивные типы тестов (например, тесты, использующие технологию drag-and-drop – перетаскивание объектов) не могут быть реализованы с помощью только серверных языков. Создать вопрос с оценкой на стороне сервера довольно непросто потому, что функциональные возможности вопроса распространены между его HTML-представлением (создаваемым вручную или сгенерированным автоматически) и PHP- скриптом, реализующим оценку. Другая серьезная проблема заключается в том, что вопросы, основанные на PHP, могут не работать (если предварительно не были загружены), когда связь пользователя с сервером нарушается или очень замедляется [3].
Более интерактивная технология для выдачи вопросов и оценки ответов – JavaScript. Интерфейс, обеспечиваемый технологией взаимодействия, основанной на JavaScript, подобен интерфейсу, реализуемому с помощью взаимодействия технологий форма/ PHP». В то же время, функциональность JavaScript поддерживает более продвинутые интерактивные вопросы, например, нахождение релевантного фрагмента в тексте. При использовании «чистой» технологии JavaScript все данные для оценки вопроса и организации обратной связи, а также программа оценки, хранятся как часть вопроса. Это означает, что вопрос, реализованный с помощью JavaScript, может работать в автономном режиме. Это в свою очередь означает, что вопрос самостоятелен: все, необходимое для его представления и оценки, находится в одном файле, что является очень привлекательной возможностью для создателей вопросов. Но это также означает, что обучаемые получают доступ к ресурсам вопроса и могут «вскрыть» его. Также, при использовании «чистой» технологии JavaScript отсутствует возможность регистрации результатов и проставления бала. Все вышеперечисленное показывает, что комбинация JavaScript с серверной технологией может быть использована для представления большего количества типов вопросов и повышения интерактивности процесса тестирования (Javascript), а также для реализации удобного пользовательского интерфейса, обеспечения оценки и ведения записи .
Стадия оценки
Как было сказано выше, выбор технологии взаимодействия заметно влияет на функциональные возможности стадии оценки. Оценка – это стадия, на которой ответы тестируемых определяются как правильные, неправильные или частично правильные (в зависимости от типа вопроса). Обычно, правильные ответы готовятся во время создания, так что оценка является или жестко встроенной в вопрос, как это делается в вопросах открытого типа, или осуществляется путем простого сравнения (в вопросах открытого типа). Существует несколько случаев, требующих более продвинутой технологии оценки. В некоторых предметных областях может возникнуть ситуация, когда правильные ответы могут не иметь побуквенного соответствия с хранимым правильным ответом. Примеры могут служить: набор неупорядоченных слов, вещественное число, простое алгебраическое выражение. В этой ситуации требуется программа сравнения. Некоторые системы могут применять для этих целей специальные интеллектуальные технологии [4].
Обычно в функции обратной связи входит: сообщение о том, что ответ правильный, неправильный или частично правильный; выдача правильного ответа, обеспечение индивидуальной обратной связи. Индивидуальная обратная связь может сообщать, что является верным в правильном ответе, что неверно в неправильном и частично неправильном ответе, обеспечивается некоторая мотивационная обратная связь, обеспечивать мотивирующую обратную связь, а также выдавать информацию или ссылки для продолжения обучения. Вся индивидуальная обратная связь обычно создается и хранится вместе с вопросом. Система, включающая определенные понятия или разделы с проставленными весовыми коэффициентами как часть метаданных вопроса, может обеспечивать качественную корректирующую обратную связь без непосредственного создания, так как она «знает», какие знания пропущены, и где их можно найти. Это означает, что мощность обратной связи определяется технологией создания и хранения вопросов. Количество информации, предоставляемое обратной связью, зависит от контекста. При самооценке обучаемый обычно получает всю возможную обратную связь – чем больше, тем лучше. Эта обратная связь – очень важный дидактический ресурс. В случае официального тестирования обучаемому обычно не предоставляется ни правильного варианта ответа, ни, даже, является ли его ответ правильным. Единственной обратной связью по окончании всего теста может быть общее число правильных ответов в тесте. Это значительно снижает возможность обмана, но также и возможность обучаться. Для поддержки процесса обучения, многие существующие WBE-системы делают оценку менее строгой и обеспечивают больше обратной связи, пытаясь бороться с обманами другими средствами [5].
Продвинутые системы используют для хранения информации о результатах тестирования технологию баз данных и обеспечивают широкий набор возможностей просмотра оценок обучаемых и другой информации о тестировании, такой как время, затраченное на прохождение теста, количество попыток и т.д. Технология баз данных облегчает генерацию разнообразной статистической информации, на основе результатов большого количества обучаемых во многих тестах курса. В сетевой классной комнате, где общение «обучаемого-с-обучаемым» и «обучаемого-с-преподавателем» ограничено, сравнительная статистика очень важна для преподавателей и обучаемых, она помогает получить «чувство» классной комнаты. Например, сравнивая средний бал класса с личными результатами, обучаемый может определить уровень класса. Сравнивая результаты класса в различных тестах, преподаватель может обнаружить слишком простые, слишком трудные и даже неправильно составленные вопросы.
Выбранные технологии на этапе проектирования влияют на всю системы в целом. Для примера - javascript повышает интерактивность вопросов, а выбор серверного языка и базы данных будет влиять на доступность системы.
СПИСОК ЛИТЕРАТУРЫ
- Соловов А.В. Дистанционное обучение: технологии и целевые группы // Высшее образование в России. – – № 7. – С. 119-124.
- Юдалевич Н.В. Использование автоматизированных систем тестирования при работе со студентами // Ярославский педагогический вестник. – – №2. – С.163 – 166.
- Демкин В.П., Можаева Г.В. Технологии дистанционного обучения. – Томск,
- Нардюжев В.И., Нардюжев И.В.. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. – М.: Прометей,
- Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. – М.: Прометей,