Теория формирующей оценки, изложенная в этой статье, имеет отношение ко всему спектру результатов обучения, по широкому кругу вопросов. В частности, она применяется везде, где используются множественные критерии при вынесении суждений о качестве ответов учащихся. Ключевая предпосылка заключается в том, что для того, чтобы учащиеся могли совершенствоваться, они должны развивать способность контролировать качество своей работы во время фактической деятельности. Это необходимо для того, чтобы учащиеся оценили, что такое качественная работа, что они обладают оценочным навыком, необходимым для их сравнения с некоторым объективным качеством того, что они производят по отношению к более высокому стандарту.
Утверждается, что эти навыки могут быть разработаны путем предоставления прямого аутентичного оценочного опыта для учащихся. Учебные системы, которые не дают явного положения о приобретении оценочной экспертизы, недостаточны, поскольку они создают искусственные, но потенциально непреодолимые барьеры производительности для студентов.
Эта статья посвящена характеру и функции формирующей оценки в развитии экспертных навыков у учащихся. Эта проблема актуальна и связана с широким перечнем учебных систем, в которых результаты учащихся оцениваются качественно на основе использования нескольких критериев. Основное внимание уделяется суждениям о качестве работы учащегося: кто выносит суждения, как они были получены, как они могут быть усовершенствованы, и как они могут быть использованы для улучшения. Статья вызвана двумя перекрывающимися проблемами. Первая из них связана с отсутствием общей теории обратной связи и формирующей оценки в сложных условиях обучения. Вторая проблема следует из общего, но вызывающего недоумение наблюдения, что, даже когда учителя предоставляют учащимся достоверные и надежные суждения о качестве их работы, улучшение деятельности учащегося совсем не обязательно наступит. Учащиеся часто демонстрируют незначительный рост или развитие знаний, умений и навыков, несмотря на регулярную, точную обратную связь. Сама озабоченность этой проблемой в нашей статье связана с тем, не могут ли некоторые учащиеся все-таки получить образовательную квалификацию и перейти на следующий уровень обучения, по причине того, что в учебной системе есть определенные недостатки, связанные с формирующей оценкой.
Обсуждение начинается с определений обратной связи, формирующей оценки и качественных суждений. Затем следует анализ определенных моделей взаимодействия учитель-ученик. Затем идентифицируют ряд причинных и условных связей. Они, в свою очередь, оказывают влияние на разработку учебных систем, которые предназначены для развития способности учащихся постоянно осуществлять исполнительный контроль над своей собственной познавательной деятельностью и, в конечном счете, стать независимыми и полностью самоконтролируемыми.
Формирующая оценка, обратная связь и самостоятельный мониторинг необычайно важны для качественного роста личности учащегося. Этимология этого понятия и его общее употребление ассоциируются как явление, образующее связи с образованием или формованием чего-либо, обычно для достижения желаемого результата. В этой статье оценка означает любую оценку работы по приобретению знаний, умений и навыков и (или) в целом, любую оценку познавательной деятельности учащегося. Но мы обязаны сделать отступление о том, что в некоторых контекстах оценке дается более узкое и более специализированное значение. Некоторые из нас, в частности, могут предпочесть термин «оценка для оценки».
Формирующая оценка связана с тем, как суждения о качестве ответов учащихся (выступления, произведения или работы) могут использоваться для формирования и повышения компетентности учащегося путем кратковременного обучения в условиях случайности и неэффективности обучения методом проб и ошибок. Суммарное отличие от формальной оценки заключается в том, что оно сводится к подведению итогов или достижению успеваемости учащегося и нацелено на отчетность в конце курса обучения, особенно для целей сертификации.
Это, по сути, пассивная связь, которая обычно не оказывает непосредственного воздействия на обучение, хотя все же часто влияет на решения, которые могут иметь глубокие образовательные и личные последствия для учащегося. Основное различие между формативной и суммарной оценкой заключается в понимании подходов достижения цели и результата, но не к срокам.
Ниже приводится довод о том, что многие принципы, применимые к итоговой оценке, необязательно могут быть преобразованы в формативную оценку; последнее требует особой концептуализации и технологии.
Обратная связь является ключевым элементом в формирующей оценке и обычно определяется с точки зрения информации о том, насколько успешно что-то было или делается.
Немного физических, интеллектуальных или социальных навыков можно получить просто, когда кто-то рассказывает нам о них. Большинство из навыков требует практики в поддерживающей среде, которая включает циклы обратной связи. Это требование подразумевает, обычно, направляющую деятельность учителя, который знает, какие навыки следует изучать, собственно того, кто может актуализировать и описать, направить учащегося, обладающего хорошими познавательными способностями, и демонстрирующего хорошую производительность и эффективность учения, с тем, чтобы указать этому учащемуся, как можно улучшить его низкую производительность в каких-то отдельных видах деятельности. Обратная связь также может быть определена с точки зрения ее влияния, а не ее информационного содержания: «Обратная связь – это информация о разрыве между фактическим уровнем и опорным уровнем системного параметра, который используется для некоторого изменения разрыва» [1, с. 4]. Это альтернативное определение подчеркивает функцию управления системой. Вообще говоря, обратная связь предусматривает две основные аудитории: учитель и ученик. Учителя используют обратную связь для принятия программных решений в отношении готовности, диагностики и реабилитации.
Учащиеся используют его для контроля сильных и слабых сторон своих сторон, чтобы аспекты, связанные с успехом или высоким качеством образования, могли быть признаны и усилены, а неудовлетворительные аспекты изменены или улучшены.
Важной особенностью определения, данного A.Ramaprasad, является то, что информация о разрыве между фактическим и эталонным уровнями образования и обучения, рассматривается как обратная связь только тогда, когда она используется для изменения разрыва. Если информация просто записывается, передается третьей стороне, у которой отсутствуют знания или возможности изменить результат, или она слишком глубоко закодирована (например, представлениями о качестве итоговой оценки, предоставленной учителем), чтобы привести к соответствующим действиям, то контур управления не может быть закрыт, а «не нужные никому, излишние данные» заменяют эффективную обратную связь [1, с. 5].
В любой области учебного плана, где класс соответствия неким требованиям (ранг) или оценка, присваиваемые учителем, представляют собой односторонний шифр для учащихся, внимание отвлекается от фундаментальных суждений и критериев их создания.
Поэтому класс может фактически быть контрпродуктивным для целей формирования знания. При оценке качества работы или выступления учащегося учитель должен обладать концепцией качества, соответствующей задаче, и иметь возможность судить о работе ученика в связи с этой концепцией. Несмотря на то, что учащиеся могут принять решение с учителем без особых усилий, им нужно больше, чем получить просто сводные оценки, если они хотят грамотно и эффективно развить свои знания.
Необходимыми условиями для улучшения знаний является то, что учащийся приходит к тому, чтобы придерживаться концепции качества, примерно такой же, как и у учителя. Он способен непрерывно отслеживать качество того, что производится во время самого процесса производства (обучения), и имеет набор альтернативных ходов, или использует стратегии, которые можно использовать в любой точке. Другими словами, учащиеся должны иметь возможность судить о качестве того, что они делают (выполняют), и иметь возможность регулировать то, что они делают во время выполнения. Как упоминал W.Shenstone уже более двух столетий назад: «Каждый хороший поэт растит в себе критика, но в критике наоборот, нет места поэту» [2, с. 172].
Таким образом, в явном виде учащийся должен:
- обладать концепцией стандартного (или целевого или ссылочного уровня), на который нацелен,
- сравнить фактический (или текущий) уровень эффективности со стандартом,
- участвовать в соответствующих действиях, которые приводят к некоторому закрытию разрыва.
Эти три условия составляют организационную основу для этой статьи. В ней мы последовательно постараемся утверждать, что все эти три условия являются самыми необходимыми – теми, которые должны выполняться одновременно, а не последовательными шагами. Тем не менее, полезно провести концептуальное различие между условиями.
Макро-процесс градуировки включающий первые два условия по существу сравнивает частный случай со стандартом или с одним или несколькими другими случаями. Контроль в процессе производства знаний включает все три условия и, в отличие от него, микро-процесс выполняется в режиме реального времени. Судя по практике оценки, характерной для многих субъектов, очевидно, что информация, полученная без участия учащегося, но предоставляемая учащемуся время от времени (как личности), удовлетворяет этим условиям. Детальное рассмотрение трех условий показывает, почему это предположение не соответствует действительности.
В целях обсуждения удобно провести различие между обратной связью и самостоятельным мониторингом в соответствии с источником оценочной информации. Если учащийся создает соответствующую информацию, эта процедура является частью самостоятельного мониторинга.
Если источник информации является внешним по отношению к учащемуся, он связан с обратной связью. В обоих случаях предполагается, что должно быть некоторое закрытие разрыва для обратной связи и самостоятельного мониторинга, которые должны быть помечены как таковые.
Формирующая оценка включает в себя как обратную связь, так и самоконтроль. Цель многих учебных систем состоит в том, чтобы облегчить переход от обратной связи к самостоятельному мониторингу.
В нашем случае важно понять, как представлена обратная и формативная оценка в литературе. Авторы учебников по измерению и оценке, изданные в течение последних 25 лет, уделяли большое внимание достижению высокой содержательности в тестах для преподавателей, получению надежных оценок или отметок, а также статистической обработке или интерпретации результатов. Однако почти всегда только поверхностное внимание, как правило, уделяется обратной связи и формирующей оценке, а затем все это нагромождение показателей эффективности переходит в основные символы успешности, исключительности и респектабельности.
Во многих случаях обратная связь и формативная оценка (или их эквиваленты) вовсе не изучаются, и не упоминается вообще ни в тексте, ни в индексе. По поводу целей суммарной оценки доминировала идея (теория) отношении учителя и учащегося обязанных последовательно следовать инструкциям, написанным в стандартах и правилах, предоставляемых учителям «сверху». Любое отклонение подразумевает неприятие и неявно выражается в обращении к порицанию, так как, например, не обеспечивает надежности и валидности.
В учебниках почти всегда описывается, как следует отличать достоверность (оценок) от надежности (оценок или классификаций).
Надежность оценок обычно (и правильно) считается необходимым, но не достаточным условием действительности, потому что измерения или суждения могут быть надежными в смысле последовательности во времени или специфики судей, выносящих оценку и по-прежнему быть вне цели (или фактически быть недействительными). Таким образом, надежность является предпосылкой для определения действительности. Однако при обсуждении формативной оценки взаимосвязь между надежностью и валидностью формулируется следующим образом: показанная оценка является достаточным, но не необходимым условием надежности. Внимание к обоснованности суждений об отдельных частях работы должно иметь приоритет над вниманием к надежности классификации в любом контексте, где акцент делается на диагностике и улучшении.
Следствием этого является надежность. Принятие этого принципа, на что указывают лишь немногие авторы, влияет на то, как концептуализируется процесс оценки, и понимаются механизмы улучшения.
В литературе по изучению исследований обратная связь обычно отождествляется со знанием результатов (часто сокращенно контроль результатов – КР), концепция, которая получила значительное распространение благодаря так называемому закону эффекта E.L. Thomdike [3, c. 8]. Рассматривая серию экспериментальных исследований по изучению письменных материалов (текстов и программных инструкций), R.W. Kulbavy [4, с. 211] определил обратную связь как «любую из многочисленных процедур, которые используются, чтобы рассказать учащемуся, является ли ответ правильным или неправильным». L.A. Kulik и C-L.C. Kulik приняли аналогичное определение в своем обзоре исследований о сроках обратной связи. Изучение исследователей особенно интересовало влияние различных характеристик обратной связи (таких как непосредственность, релевантность, форма данных и тип вознаграждения) на удержание изученного материала [5, c. 79].
Проверенные исследовательские гипотезы почти всегда основывались на теориях восприятия стимула ответа, целью которых было выявление типов стимулов.
Стимулы, способствующие обучению. По большей части эта линия исследований ограничивается результатами обучения. Они могут быть оценены с помощью обычных тестов выбора верного варианта ответа и специфичных тестов, состоящих из проблем, которые необходимо решить, или объективных предметов, которые могут быть оценены правильно или неправильно. Учебные программы понимаются как делимые на логически зависимые единицы, которые можно осваивать более или менее последовательно один за другим. Результирующая технология связана с результатами тестов, диагностическими элементами, критериальным анализом и изучением мастерства.
Другие направления исследований проводятся в конкретных предметных областях. Особый интерес представляет литература по оценке письменных работ (исследований), которая содержит описания ряда различных подходов, включая оценку с помощью общего впечатления, аналитических шкал, первичных признаков, синтаксических особенностей, относительной читабельности и интеллектуальной стратегии [6, c. 45]. Они отличаются не только процедурной детализацией, но и теоретическими основами. Большая часть обсуждения и оценки различных возможностей вращается вокруг того, какие критерии оценки следует использовать (и каким образом). Кроме того исследователи сосредоточены на том какая из этих технологий имеет самую прочную теоретическую основу (например, теорию композиции) или которая обеспечивает наилучшее согласие между требованиями некоторых формально определенных компетентных судей (учителей) руководствующимися соображения надежности. Альтернативный критерий оценки среди подходов к оценке – это то, в какой степени учащиеся совершенствуются либо как потребители оценок, получаемых разными методами, либо как лица, обучающиеся самостоятельно использовать конкретный подход к оценке. Что касается преподавания письменности, то эти вопросы не были тщательно изучены, хотя они затрагиваются C.R. Cooper [7, c. 11], L.Odell и Cooper и некоторыми другими [8, c. 35].
В этой связи считаем, что должны быть определены некоторые критерии, которые могут достоверно охарактеризовать качественность суждений и оценок. Мы считаем заслуживающим внимания то, как определяется качественное суждение как сделанное непосредственно человеком, при этом мозг человека является одновременно источником и инструментом оценки. Такое решение не сводится к формуле, которую может применить неспециалист. В целом, качественные суждения имеют некоторые или все из следующих пяти характеристик:
- При оценке качества выступлений (сообщений) учащихся используются несколько критериев. Они учитывают как индивидуальные особенности, представленные критериями, для которых важен общий характер взаимоотношений между этими измерениями. В этом смысле критерии блокируются, так что общая конфигурация составляет больше, чем сумма его частей. Разложение конфигурации выступлений имеет тенденцию уменьшать справедливость оценки.
- По крайней мере, некоторые критерии, используемые в оценке, являются размытыми, а не четкими. Любой жесткий критерий содержит существенный разрыв, который можно идентифицировать как резкий переход от одного состояния к другому, например, от правильного до неправильного.
Могут быть два или более четко определенных состояния, но всегда можно в принципе определить, какое состояние применяется. Четкие критерии участвуют во всех объективных испытаниях (в том числе в области искусства и гуманитарных наук), а также в оценке многих результатов в математике и науках, которые связаны с решением проблем и доказательством теоремы. Напротив, нечеткие критерии характеризуются непрерывной градацией из одного состояния в другое. Оригинальность, применительно к эссе, является примером нечеткого критерия, потому что все его особенности отражают широту возможного: от полностью неоригинального до совершенно оригинального, которое вряд ли возможно, так как должно опираться на некоторый прошлый опыт, перенятый у других. Нечеткий критерий – это абстрактная ментальная конструкция, обозначаемая лингвистическим термином, который не имеет абсолютного и однозначного значения, не зависящего от его контекста. Если ученик должен сознательно использовать нечеткий критерий при вынесении суждения, ученику необходимо понять, что означает нечеткий критерий и что он подразумевает для практики.
Поэтому изучение этих значений, зависящих от весьма различных контекстов и последствий, само по себе является важной задачей для ученика.
- Из большого пула потенциальных критериев, которые могут быть легитимно использованы для класса оценок, обычно используется только относительно небольшое подмножество. Компетентное лицо, выносящее суждение, может не только провести оценку, но и решить, какие критерии имеют отношение, и обосновать завершенное суждение по их ссылке. Во многих случаях учитель может обнаружить, что невозможно заранее указать все соответствующие критерии или может обнаружить, что фиксированный набор критериев неравномерно применим к различным ответам учащихся, хотя эти ответы могут быть, по-видимому, одной задачей. Профессиональное качественное суждение заключается в знании правил использования (или иногда нарушения) правил. Критерии использования критериев известны как метакритерия.
- При оценке качества ответа ученика часто не существует независимого метода подтверждения в момент принятия решения о том, является ли решение или заключение (в отличие от ответа ученика) правильным. В самом общем деле, может быть бессмысленно говорить о правильности вообще. Последний апелляционный суд – другое качественное решение. Чтобы дать пример методологической независимости, предположим, что нужно сравнить два эссе. Один из подходов состоит в том, чтобы попросить компетентного человека судить о том, какой имеет более высокое качество, с указанием или без указания критериев. Другим методом оценки качества было бы использование компьютерной программы для анализа определенных текстовых свойств, таких как частота запятых, а также пропорций предлогов, союзов и необычных слов. Эти два метода независимы, потому что они используют разные средства для достижения заключения. Но наличие двух человек, а не только одного, не будет представлять собой самостоятельные методы, даже если оба человека должны были бы вынести суждения без ссылки друг на друга и в этом смысле работать независимо.
- Если используются числа (или знаки или оценки), они назначаются после принятия решения, а не наоборот. При принятии качественных суждений окончательного решения никогда не достичь путем подсчета вещей, проведения физических измерений или составления номеров и рассмотрения абсолютной величины результата.
Сложные результаты обучения, типа которые оцениваются путем принятия прямых качественных суждений, являются общими для самых разных предметов в школьном, профессиональном, высшем и послевузовском образовании и на этапе переобучения (вторичного образования). Эти предметы включают английский, иностранные языки, гуманитарные, ручные и практические искусства, социальные науки, визуальное и исполнительское искусство. Они также важны для промышленного обучения и во многих областях науки и математики, особенно в тех случаях, когда учащиеся должны разрабатывать эксперименты, формулировать гипотезы или объяснения, проводить открытые полевые или лабораторные исследования или заниматься творческим решением проблем. Задачи, заданные во всех этих областях, включают учащиеся в активном синтезе и интеграции идей, концепций, движений или навыков для получения расширенных ответов в той или иной форме. Во всех оценках таких расширенных ответов первостепенное значение имеют качественные суждения.
Несмотря на то, что линия разработки в этой статье отличается от той, что в литературе по написанию оценки, она разделяет интерес к результатам обучения, которые являются сложными в том смысле, что качественные суждения (определенные ниже) неизменно участвуют в оценке успеваемости учащегося. В таких изучениях развитие студентов является многомерным, а не последовательным, и предварительное усвоение знаний не может быть концептуализировано как аккуратно упакованные единицы навыков или знаний. Рост происходит на многих взаимосвязанных фронтах сразу и является непрерывным, а не блокирующим.
Результаты нелегко охарактеризовать как правильные или неправильные, и более уместно думать о качестве ответа ученика или о степени опыта, чем о запоминаемых фактах, приобретенных концепциях или освоенном содержании.
Список использованной литературы:
- Ramaprasad A. On the definition of feedback. Behavioral Science, 1983 – 28, 4-13. [Электрон. ресурс]. – 2017. – URL: http://onlinelibrary.wiley.com/doi/10.1002/bs.3830280103/pdf (дата обращения: 05.2017).
- Shenstone W. On writing and books, LXXIX. In Works: In verse and prose Vol. 2, (3rd ed.). – London, 1768: Dodsley [Электрон. ресурс]. – 2017. –URL: http://darwin-online.org.uk/converted/pdf/1764_Shenstone_A927.2.pdf (дата обращения: 17.05.2017).
- Thomdike E.L. Educational Psychology, Vol.l : The original nature of man. – New York: Teachers College, 1913. Colombia University. [Электрон. ресурс]. – 2017. –URL: https://archive.org/details/educationalpsyc10thorgoog (дата обращения: 17.05.2017).
- Kulbavy R.W. Feedback in written instruction. Review of Educational Research, 1977. 47, 211-232. [Электрон. ресурс]. – 2017. – URL: http://journals.sagepub.com/doi/abs/10.3102/00346543047002211 (дата обращения: 05.2017).
- Kulik L.A. and Kulik C-L. Timing of feedback and verbal learning. Review of Educational Research, 1988. 58, 79-97. [Электрон. ресурс]. – 2017. – URL: http://journals.sagepub.com/doi/abs/10.3102/00346543058001079 (дата обращения: 20.05.2017).
- Gere A.R. Written composition: toward a theory of evaluation. College English, 1980. 42(1), 44-58. [Электрон. ресурс]. – 2017. – URL: https://www.jstor.org/stable/376032?seq=1#page_scan_tab_contents (дата обращения: 05.2017).
- Cooper C.R. Holistic evaluation of writing. In C.R. Cooper and L.Odell fEds., Evaluating writing: describing, measuring, judging. – Urbana: IL, 1977. National Council of Teachers of English. [Электрон. ресурс]. – 2017. – URL: https://eric.ed.gov/?id=ED143020 (дата обращения: 05.2017).
- Odell L. and Cooper C.R. Procedures for evaluating writing: assumptions and neededresearch. College English, 1980. 42(1), 35-43. [Электрон.ресурс]. – 2017. – URL: https://www.nwp.org/cs/public/download/nwp_file/152/TR01b.pdf?x-r=pcfile_d (дата обращения: 05.2017).