Меню
Главная
Авторизация/Регистрация
 
Главная arrow Психология arrow Психодиагностика. Теория и практика

Типы и подтипы тестов достижений

Типология тестов достижений обычно проводится по следующим основаниям.

1. Точка отсчета в интерпретации тестовых показателей. В этом плане выделяют тесты достижений, ориентированные па норму, и тесты достижений, ориентированные на критерий.

2. Применение процедур стандартизации при подготовке и проведении теста. В связи с этим основанием выделяют стандартизированные и неформализованные тесты достижений.

Нормоориентированные и критериально-ориентированные тесты достижений

Использование тестирования в оценке учебных достижений учащихся уже на первых этапах своего развития проявилось в двух формах, различных по своему содержанию и исследовательской направленности.

В одной из этих форм внимание сконцентрировано на оценке индивидуальных достижений по сравнению с достижениями других членов учебной группы или статистически определяемой нормативной группой, при этом фиксируется относительный статус каждого отдельного ученика.

Другая форма — практика оценивания результатов обучения в зависимости от того, какая часть учебной программы или какие структурные компоненты навыков и умений освоены учеником, или, иными словами, каков его абсолютный статус.

Э. Л. Торндайк, одним из первых указавший на подобную дилемму в оценивании результатов обучения, отметил, что эффективность контроля этих результатов тесно связана с приспособлением проверочной процедуры, фиксирующей относительное положение испытуемого в исследуемой выборке к тем формам тестового контроля, результаты которого прямо соотносятся с учебной информацией, подлежащей усвоению[1].

На протяжении многих десятилетий тесты достижений создавались по правилам классической теории теста. Результаты тестирования сообщались таким образом, чтобы их можно было сравнить с результатами тестирования всей соотносительной группы (чаще всего всех классов того или иного выпуска). Такие тесты называют нормоориентированными, поскольку их результаты соотносятся с нормами, полученными на выборке стандартизации.

Нормоориентированные тесты создаются специально для того, чтобы обеспечить сравнение испытуемых в той области содержания, для которой данный тест предназначен. Для этого используются нормативные шкалы. Обработанные баллы по результатам таких тестов основываются на статистических данных, полученных на достаточно большой по объему выборке (выборка стандартизации). Это специально подобранная группа испытуемых, адекватно представляющих популяцию, для которой разрабатывается данный тест. Каждый индивидуальный балл для теста имеет однозначное соответствие с показателем, определенным на нормативной группе (тестовой нормой).

Для того чтобы эти тесты выполнили свою главную задачу — дифференцировать испытуемых, при их разработке стараются получить высокую вариативность тестовых баллов. Нормоориентированные тесты конструируются таким образом, чтобы распределение полученных в них результатов было близко к нормальному.

Внедрение в образовательный процесс школ США обучающих машин и применение индивидуализированных программ побуждали к разработке методик, результаты которых позволяли бы установить, что именно и в каком объеме из предложенной учебной программы усвоил учащийся. Действительно, если 90% учащихся или более достигают учебных целей, то в таком случае возникает отклоняющееся от нормальной кривой нагромождение результатов тестирования на одном конце шкалы. При подобном искаженном распределении большинство формул классической теории теста уже не могло применяться. Здесь следует использовать критериально-ориентированный подход, позволяющий оценивать, в какой степени испытуемые овладели тестируемым содержанием.

Критериально-ориентированный (criterion-referenced) тест измеряет, что индивид знает или умеет делать по сравнению с тем, что он должен знать или уметь делать для того, чтобы успешно решить задачу. Оценка результатов теста относительно достигнутого критерия означает, что они истолковываются в соответствии со стандартами выполнения. В измерениях, ориентированных на критерий, необходимо определить:

- достигнута или не достигнута учебная цель, представленная в конкретном задании;

— какой процент заданий решил учащийся;

- к какому уровню успешности необходимо отнести учащегося, учитывая его степень приближения к учебной цели.

Выводы, которые делаются на основании результатов тестирования, всегда выражаются в терминах специфического содержания, конкретны и тем самым открывают путь для коррекции (например, ученик правильно называет и описывает три вида деревьев, но не приводит примеры их ценности).

Оценивание результатов обучения, основанное на статистической норме, можно считать объективным лишь постольку, поскольку оно является всегда результатом алгоритмизированной статистической обработки. Всякий, кто будет давать педагогические рекомендации, основываясь на полученных учащимися оценках, выраженных теми же суммарными показателями, охарактеризует их одинаковым образом, разница между ними будет только количественная. Вместе с тем сильные и слабые стороны учащихся в овладении знаниями и навыками — то, что, собственно, интересует педагога, — не могут быть объективно проанализированы при применении нормоориентированных тестов. Результаты критериально-ориентированного теста, напротив, содержат конкретную информацию о том, что и как из заданного учебного материала усвоено учащимися.

На сегодняшний день большинство тестологов признают, что между критериально-ориентированным и ориентированным на норму подходами имеются существенные различия. Цели, для которых изготавливаются тесты, специфичность информации, которой они снабжают при оценивании результатов выполнения учебных задач, способы конструирования и обработки — все это служит основанием для различия этих двух видов тестов[2].

Однако теория и практика исследований в области критериально-ориентированного подхода показали, что различия между традиционным и новым подходами открываются не тогда, когда интерпретируются результаты тестирования. Различия закладываются с первых шагов конструирования тестов, актуализирующих тот или другой подход, и в значительной степени обусловлены конкретными целями диагностических исследований, по отношению к которым тот или иной подход оценивается как адекватный или неадекватный[3].

Критериально-ориентированный тест изначально конструируется с прицелом на определенную учебную задачу, между ним и задачей заранее планируются отношения содержательного соответствия (релевантности). По отношению к КОРТ учебная задача является не внешним критерием, с которым впоследствии будут соотнесены тестовые показатели, но той реальностью, цели, содержание, способы выполнения которой тест выявляет.

Предположим, что ученикам 5-го класса дано задание выполнить проект в отношении деревьев и написать отчет, который содержит рисунки местных деревьев и их листьев, информацию о деревьях с точки зрения их вклада в экологию и качество жизни и рекомендации, как помочь защите деревьев. Для такого задания составитель теста определяет критерии процесса выполнения и получения конечного продукта.

Соответственно, оценка проекта будет осуществляться согласно таким критериям:

— доклад сделан аккуратно;

— нарисованы и обозначены по крайней мере три разных вида деревьев;

— описан каждый вид деревьев;

— описана ценность деревьев;

— описаны способы защиты деревьев.

Подобная эталонная модель выполнения задания может быть использована для оценки доклада каждого ученика.

Тот факт, что критериально-ориентированное тестирование является оптимальной моделью диагностики результатов усвоения умений и навыков, не означает, что этот вид тестирования может быть применен исключительно в целях диагностики узких областей учебного содержания. Тем не менее в тестологической литературе неоднократно отмечалось и отмечается, что область применения критериально-ориентированной стратегии заведомо ограничена узко специфическими целями и задачами обучения.

При анализе подобных критических замечаний следует учитывать, что критериально-ориентированные тесты могут быть построены на основе разных концепций критерия. Получившие распространение в начале 1970-х гг. в США и других англоязычных странах критериально-ориентированные тесты были построены в соответствии с концепцией критерия как эталонной совокупности предметных знаний и умений. В рамках этой концепции использовались такие критерии, как уровень выполнения и уровень мастерства.

Истолкование критерия как уровня выполнения было неотъемлемо связано с теми идеями педагогической психологии, согласно которым учебный процесс понимается как последовательная отработка каждого из элементов учебного поведения. Последние фиксируются как репертуар наблюдаемых внешних действий, поддающихся однозначному измерению и соответствующему контролю. При этом цели учебного процесса подлежат обязательному переводу на виды действий, открытых для наблюдения и контроля.

Достижение учебной цели обычно фиксируется процентно-верным уровнем выполнения заданий КОРТ. Эмпирически установлено, что уровень выполнения тестов, соответствующий требуемому усвоению, должен быть порядка 80—100%. Как показала практика, фиксация этого уровня отражает устойчивые положительные результаты усвоения материала, большинство учащихся сохраняют при этом интерес к предмету. Снижение критериального уровня до 75% дает ухудшение учебных результатов. Критериально-ориентированные тесты, разработанные с учетом уровня выполнения, широко используются в программированном обучении.

Нужно отметить, что первые такие тесты появились в связи с внедрением в учебный процесс обучающих машин, и несостоятельность статистической нормы в установлении требуемого уровня выполнения отчетливо проявилась. На первый план выступила необходимость установить, что из заданного объема программы усвоено учеником и в какой мере он продвинулся в овладении учебным материалом по сравнению с тем, что знал раньше. В случае, если результаты тестирования не соответствовали критерию — процентно-верному результату, ученику рекомендовали вернуться к тем фрагментам учебного материала, которые требовали дополнительной проработки.

Исследователи и учителя, используя в учебном процессе индивидуальные программы и оперируя критериями их усвоения, также не могли не обратить внимания на то, что часть учащихся не достигает заданного уровня, поскольку у них не складывается необходимая совокупность умений. Было высказано предположение, что умения и составляющие их операции, не получая достаточной проработки в учебном процессе, либо не формируются, либо закрепляются и интегрируются в дефектные системы. В теории и практике КОРТ возникает понимание критерия как уровня мастерства, т.е. эталонной совокупности всех операциональных компонентов, составляющих конкретное умение. Располагая такой характеристикой, учитель или исследователь может сравнить то, что делает ученик, с тем, что он должен уметь делать.

Особенность критериально-ориентированных тестов, направленных на установление уровня мастерства, состоит в том, что они не только выявляют объем усвоенного материала, но и указывают на возможности ученика активно использовать полученные знания в усвоении нового, более сложного материала. Как уже упоминалось, тесты с ориентацией на уровень выполнения могут установить (и это соответствует их сути), что тот или иной ученик достаточно подготовлен, чтобы перейти на следующий этап обучения. При этом остается неясным, организованы ли имеющиеся у ученика знания и навыки в приспособленные для решения конкретных задач эталонные структуры, а также на каком уровне усвоения они находятся. Уровень мастерства воплощает в себе критериальные требования, которые прежде всего обусловлены сложившимися в теории и методике обучения стандартами и образцами усвоения. Последние зафиксированы в школьных образовательных программах как состав учебных умений.

Допустим, для педагогической практики потребовался тест, который контролировал бы, в какой мере у учащихся сложилось понимание прочитанного. Это умение может быть рассмотрено с точки зрения его структурных компонентов. Вот примерный их перечень: постановка вопросов к прочитанному тексту, переформулирование трудных мест, выделение главных мыслей, составление плана к прочитанному тексту. Будет недостаточно назвать только эти компоненты. Каждый из них должен быть конкретизирован прежде всего в плане его внешних проявлений, т.е. реализующих их операций. Например, такой компонент, как выделение главной мысли, может быть операционально представлен следующим образом:

1) подчеркнуть предложение, выражающее главную мысль отрывка;

2) выбрать заголовок для отрывка;

3) перечислить факты, подтверждающие основную мысль, и т.д. В таком КОРТ каждый из выделенных компонентов должен исследоваться отдельным субтестом. В субтест войдут задания, в которых представлены все операциональные формы соответствующего компонента. На основании результатов подготовленного таким образом КОРТ можно будет делать конкретные выводы о том, какими компонентами (и в каких операциональных формах) понимания прочитанного владеют или еще не овладели учащиеся. Это позволит судить о причинах затруднений и принять соответствующие коррекционные меры[4].

Результаты теста, использующего такой критерий, как уровень мастерства, можно надежно определить при условии, если будет подготовлен так называемый лист контроля выполнения задания. В нем указываются особенности или характеристики процесса выполнения или итогового результата, который можно наблюдать, чтобы подтвердить качество решения тестового задания. Например, в образце практического теста "Разделение угла пополам" определяются следующие шаги:

- используется циркуль;

- конец циркуля помещается в вершину угла, между сторонами проводится дуга;

- острие циркуля помещается на каждое пересечение дуги и стороны угла, проводятся равные дуги;

- от вершины угла к точке пересечения дуг проводится линия;

- при проверке с транспортиром видно, что два полученных угла равны между собой[5].

Иными словами, лист контроля выполнения — это список заранее определенных действий, обусловливающих успешность решения данного задания. Наблюдая, как ученики выполняют подобные задания, исследователь отмечает все осуществляемые ими действия в соответствии с проверочным листом и использует их в качестве основы для определения меры соответствия эталону процесса выполнения задания.

Известно, что между разработкой диагностических тестов и педагогической теорией и практикой обучения, для которой данные тесты предназначены, всегда имеется тесная связь. Все черты концепции критерия в КОРТ, которые были изложены выше, основываются на бихевиористической модели обучения. Постулируемый этой моделью отрыв учебных знаний и навыков от умственного развития отразился в критериально-ориентированном тестировании.

В отечественной психолого-педагогической литературе неоднократно отмечалось, что овладением структурно-операциональным составом учебного задания не исчерпывается анализ выполнения задания. Усвоение учебного материала предполагает соответствующий уровень умственного развития, в частности сформированность соответствующих материалу умственных действий. Критериально-ориентированные тесты, в которых диагностическими показателями служат выполняемые умственные действия, воплощают такую концепцию критерия, как логико-психологическая подготовленность ученика к выполнению заданий. Подобные критерии предназначены для того, чтобы установить, соответствует ли умственное развитие учащегося требованиям, предъявляемым материалом учебно-образовательных программ. При таком подходе результаты испытаний при их сравнении с критерием дадут информацию о том, представлены ли в мышлении ученика необходимые для усвоения новых разделов программы умственные действия, может ли он уверенно их использовать при выполнении новых видов заданий.

Имеется определенный опыт разработки тестов, отражающих указанную концепцию критерия[6]. В отличие от тестов, ориентированных па уровень выполнения или уровень мастерства, рассматриваемые КОРТ являются тестами с психологическим содержанием. При их разработке используются методические приемы, выявляющие способы ориентации в предметном материале, каждый из которых обусловлен субъективной логикой учащихся, овладевающих требуемыми умственными действиями.

Определение в качестве критерия умственных действий, которыми должны владеть учащиеся, и сопоставление результатов тестирования с данными о процессе выполнения учебных заданий позволяют установить причины затруднений в осуществлении определенных умственных действий, а также выявить присущие учащимся способы выполнения учебных заданий. Тесты с таким психологическим содержанием приобретают новые функции, расширяющие традиционное понимание достижений и методов их диагностики.

  • [1] Popham W.J. Criterion-referenced measurement. New Jersey : Knglewood Cliffs. 1978. P. 16.
  • [2] Berk R. A. Criterion-referenced measurement: The state of art. Baltimor, MD : Johns Hopkins univ. press, 1980 ; Pop/mm W.J. Op. cit.
  • [3] Popham W.J. Op. cit. P. 28.
  • [4] Gronlund N. Constructing achievement tests. 3ixl ed. New Jersey: Prentice Hall, 1982.
  • [5] Turkman B. W. Conducting educational research. 3rd ed. N. Y. : Harcourt Brace Jovanovich, 1988.
  • [6] Берулава Г. А. Психология естественнонаучного мышления. Томск : ТГУ, 1991; Критериально-ориентированное тестирование в диагностике умственного развития школьников // Вопросы психологии. 1988. № 2. С. 58—68; Татарчук Д. П. Критериально-ориентированная диагностика уровней умственного развития младшего подростка ; автореф. дис.... канд. психол. наук. М., 1993.
 
Если Вы заметили ошибку в тексте выделите слово и нажмите Shift + Enter
< Предыдущая   СОДЕРЖАНИЕ   Следующая >
 
Популярные страницы