Возникли в системе образования в США в 60-70е годы, у нас в 80-е (новые тенденции в психодиагностике). До этого использовались 2 вида тестов:
тест интеллекта
тест достижений в системе образования
Тест интеллекта: особенности тестов интеллекта заключаются в том, что содержание и задание не было связано напрямую с учебной программой. Вывод об успешности учебной деятельности по результатам теста представлял проблему, так как не было соответствия тестам интеллекта и учебных заданий. 0,5 – корреляция успешности тестов интеллекта и успешностью обучения между ними. Невозможно выявить причину специфических трудностей учеников при выполнении учебной деятельности и определить содержание коррекционной работы с этими учениками.
Тесты интеллекта не могут оценить ученика с точки зрения его соответствия конкретным требованиям учебной программы, так как ориентированы на статистическую норму.
Тесты достижений используются в целях контроля успешности усвоения конкретных учебных знаний и навыков. По результатам можно сделать вывод: насколько учитель соответствует требованиям школьной программы, насколько продвинулся и какая помощь ему нужна. Ориентиры не на статистическую норму, а на критерий усвоения. Недостаток – построены бихевиористические модели обучения, контролировали конечный продукт усвоения. А способы усвоения не оценивают. В этом отношении тесты интеллекта давали больше информации.
В 1963 году – Гласер – первый использовал термин критериально-ориентированное измерение.
В 1968 году – описаны способы конструирование Критериально-ориентированные тестов. Появились в системе образования в США.
В начале 70-х годов – интерес к практике критериально-ориентированного измерения. КОРТы отражали: что и как усвоено в процессе программированного обучения. С помощью КОРТа можно оценить насколько человек готов к выполнению какой-либо деятельности, справится ли человек с определенной деятельностью, и на каком уровне может быть выполнена определенная деятельность? КОРТы могут быть полезны не только в системе образования, но и в профессиональной деятельности.
Цели использования КОРТа:
Контроль за развитием психических функций, контроль усвоения учебного материала. С помощью КОРТа можно оценить насколько человек продвинулся в усвоении, развитии.
Оценить насколько развитие определенной функции усвоения соответствует конкретным требованиям той или иной должности. Прогнозировать справится ли человек с той или иной деятельностью.
Отсюда основная особенность КОРТа – тесты ориентированы на внешние требования, выражающиеся в критерии развития или усвоения (критерий выполнения).
Критерий КОРТ.
Понятие «критерий». На первом этапе рассматриваются 2 концепции критерия:
Критерий – это уровень мастерства, выполнение на определенном уровне конкретной деятельности.
Критерий – это определенные содержательные и операциональные аспекты деятельности. Набор знаний, навыков, действий, чтобы справиться с определенной деятельностью.
Слились 2 концепции в одну: выполнение деятельности и определенная сформированность знаний, навыков, соответствующая определенному уровню мастерства.
Понимание критерия было отвергнуто, так как вносило путаницу в тестирование. Таким образом, можно было думать, что любой тест можно превратить в КОРТ, если ввести уровень мастерства (уровень выполнения теста) на этапе интерпретации теста. Критерий отражает содержательные и операциональные элементы той деятельности, которую необходимо выполнить, чтобы соответствовать заранее заданным требованиям извне. Чтобы отразить насколько человек владеет определенной деятельностью, КОРТ должен отражать, что человек знает, умеет. КОРТ – особый метод диагностики. Различие на первом этапе: выяснение целей, в отличие от традиционных тестов.
Вторая особенность КОРТа – его результаты представляются не столько в условных баллах, сколько в конкретных показателях усвоенности и сформированности определенных знаний, навыков, умений. Главное не окличество выполненных заданий, а что человек знает, какие операции умеет делать.
Третья особенность КОРТа – показатели выполнения оцениваются не по сопоставимости с нормой, а по сопоставлению КОРТа с критерием (внешний заданный критерий). Что именно человек знает, чтобы рассчитывать на успех в определенной деятельности.
Как конструируется КОРТ?
С самого начала обратить внимание на определенную критериальную задачу – это внешнее требование к человеку, что человек должен знать и уметь. Насколько человек способен к пониманию прочитанного сложного текста. Деятельность понимания выражается в отдельных операциональнеых компонентах.
Типы задач: подчеркивать предложение, где отражается главная мысль. Выбор заголовка для отрывка текста. Перечислить факты, отражающие главную мысль.
Принципы при отборе задач:
должны дифференцировать испытуемого
должны быть разными по трудности (отбросить задачи, которые решаются всеми или ни одним)
Не важно дифференцируют ли задания разных испытуемых, различны ли по трудности – главное – чтобы были адекватны той деятельности, которую нужно диагностировать. По результатам КОРТа судят: какими операциональными компонентами деятельности владеет испытуемый, а какими нет.
Цель использования: можно выяснить, какими операциональными, содержательными компонентами испытуемый не владеет в полной мере – выяснив это можно определить направление коррекционной работы. Определив в чем недостатки – можно наметить путь усовершенствования.
Четвертая особенность КОРТа – в процессе критериально-ориентировочной практики – КОРТы выполняют мотиво-образующую функцию. Их выполнение побуждает индивидов к совершению собственных умений, заданий.
Как КОРТы используют по отношению к диагностике умственного развития?
Сформированность отдельных навыков – которые можно разложить на отдельные компоненты - ограничивают КОРТы. Сложную умственную деятельность невозможно разложить на отдельные компоненты. Можно оценивать элементарные навыки.
разработка методик ориентированных на систему социально-психологических нормативов (частный вид КОРТа). На общие требования к умственному развитию опирались разработчики тестов на социально-психологические нормативы. Можно оценить насколько соответствует умственное развитие – внешним требованиям.
Разработка особых методик, ориентированных на критерий – совокупность компонентов умственного развития, обеспечивают их успешное выполнение.
Насколько умственное развитие соответствует специфическим требованиям можно определить, используя КОРТ.
Первая работа по разработке КОРТ в 80-е годы Горбачевой – КОРТ диагностики умственного развития в специфичной области. Выявление компонентов умственного развития, обеспечивающих успешное решение определенного класса математических задач. Умение составить уравнение по текстовым задачам. Какие нужны умственные операции – недостаточно тех знаний, которые даются на уроках математики. Совокупность умственных операций – чтобы выяснить, какие нужны операции. Горбачева давала в 5 классе тексты математических задач. В задаче требовалось составить уравнение, но составлять (решать) нужно с определенными условиями – ничего нельзя записывать. Школьники проговаривали свои способы выполнения. Она определила 4 группы умственных действий – операциональные компоненты деятельности по решению текстовых задач.
Для каждого умственного действия - разные типы задач. Всего 4 субтеста:
выделение существенного
четвертый лишний
найди подобие
установление тождества.
Валидность устанавливалась по сопоставлению с успешностью обучения математики. Специальные контрольные задания по математике. Выяснилось, что каждый из отдельных субтестов слабо коррелирует с успешностью выполнения контрольных заданий. Но общее значение субтестов высоко коррелирует с успешностью выполнения контрольных заданий. Отдельного действия недостаточно. Наглядное мышление и вербальное мышление должны быть сформированы для успешного выполнения деятельности.
Тест критериально-ориентированный
Методики психодиагностики, выявляющие, насколько испытуемый владеет знаниями, навыками умственных действий, необходимыми и достаточными для выполнения определенных классов учебных или профессиональных заданий. Критерием служит наличие или отсутствие этих знаний. Тестирование критериально-ориентированное позволяет обнаружить при анализе результатов конкретные недочеты развития умственного как индивидов, так и целых групп, и наметить меры для их устранения.
По своей сущности эти тесты представляют собой инструмент связи обратной в организации процессов обучения. Они конструируются на базе анализа логико-психологической структуры критерия. Между методикой и критерием заранее предусматривается психологическое соответствие, релевантность. Результаты тестирования, проведенного с помощью этих методик, оцениваются не по порядковому месту испытуемого в выборке и не по отношению к статистической норме, а по отношению этих результатов ко всей сумме тестовых задач. Каждая из задач построена из ключевых понятий и терминов критерия, с коими испытуемому предлагается выполнить логические операции. Этим индивидуальные оценки по таким тестам отличаются от оценок, получаемых при традиционном тестировании интеллекта и способностей.
Первые сообщения о тестах критериально-ориентированных появились на Западе в начале 60-х гг. Позднее проблемы тестирования критериально-ориентированного обсуждались во многих монографиях и руководствах, посвященных психодиагностике. Положительно оценивались результаты применения тестов критериально-ориентированных в школе. Западные авторы тестов критериально-ориентированных уделяют недостаточно внимания собственно психологическим аспектам методик. Отечественные психологи, работая в этой области, руководствовались в исследованиях принципом единства формы и содержания мышления. Было показано, что успех индивида в работе с каким-то одним предметным содержанием (например, заданиями по математике) не означает, что он столь же успешно будет работать с другим предметным содержанием (например, заданиями по языку, по биологии). В каждом случае можно обнаружить специфику выделения в предметном содержании признаков, нужных для успешного выполнения задания. При этом успех зависит не только от предшествующего обучения, но и от природных данных индивида.
Словарь практического психолога. - М.: АСТ, Харвест . С. Ю. Головин . 1998 .
Смотреть что такое "тест критериально-ориентированный" в других словарях:
- ((criterion referenced tests). Тест, оценивающий результат индивидуума относительно требуемого уровня владения конкретными навыками или установленных целей обучения … Психология развития. Словарь по книге
Словарь-справочник по педагогической психологии
Тип тестов, предназначенный для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико функционального анализа содержания заданий … Словарь по педагогической психологии
Совокупность знаний, умений и сформированных при их усвоении умственных действий; свободное оперирование ими в процессах мышления, обеспечивающих усвоение в определенном объеме новых знаний и умений. Наличный уровень развития умственного это… …
Большая психологическая энциклопедия
Развитие умственное: уровень совокупность знаний, умений и сформированных при их усвоении умственных действий; свободное оперирование ими в процессах мышления, обеспечивающих усвоение в определенном объеме новых знаний и умений. Наличный… … Большая психологическая энциклопедия
Методы тестирования (testing methods) - Психол. тесты разраб. для столь широкого разнообразия целей, что сами М. т. значительно варьируют от теста к тесту. Существует множество континуумов, по к рым можно классифицировать отдельные тесты. С т. зр. содержания тест может измерять… … Психологическая энциклопедия
Контроль в обучении - абитуриент тест, айзенка тест, анализ ошибок, анализ речи компьютером, анализ урока, анкета, анкетирование, баллы оценочные, валидность теста, векслера тест, гиперкоррекция, грамматико морфологические ошибки, грамматико синтаксические ошибки,… … Новый словарь методических терминов и понятий (теория и практика обучения языкам)
В основе разделения тестов на КОрТ (критериально-ориентированные) и НОрТ (нормативно-ориентированные) лежит двоякое понимание нормы. В первом случае норма определяется "априорно", то есть до проведения исследования. Такая норма задаётся внешними критериями, представлениями о том, что должен знать и уметь испытуемый. Во втором случае норма определяется эмпирически, то есть после проведения исследования. Получая распределение результатов, исследователь распределяет их по категориям: "норма", "выше нормы", "ниже нормы" и т.п.
Критериально ориентированные тесты предназначены в основном для работы с индивидуальным клиентом, так будто других в выборке нет. Здесь не ставятся цели посмотреть лучше или хуже результаты данного испытуемого, добился он или нет каких-то конкретных успехов.
Нормативно ориентированные тесты предназначены в основном для работы с группами испытуемых, в котором важно сравнить их между собой.
Обычно разного рода тесты способностей строго делятся на КОрТ и НОрТ. При их разработке используются разные технологии. Но иногда КОрТ можно использовать как НОрТ, особенно если результаты исследований показывают нормальное (колоколообразное) распределение.
Ниже в таблице представлены основные отличия КОрТ и НОрТ.
| Нормативно-ориентированные тесты | Критериально-ориентированные тесты | |
| Характерный пример использования | Конкурсный отбор кандидатов на обучение. | Итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров. |
| Цель тестирования | Возможность сравнения уровня подготовки испытуемых друг с другом в той области содержания, для которой тест предназначен. | Возможность аттестации испытуемого в соответствии с его уровнем усвоения определенной области содержания. |
| Используемые шкалы | Нормативные (или стандартные) шкалы. Необходимо указание среднего значения и стандартного отклонения в выбранной шкале. | В основном - шкала процентов с выбранным критериальным баллом (баллами). Необходимо тщательно подготовить методику оптимального выбора критериального балла (или баллов). |
| Распределение результатов исследования на гистограмме | В большинстве случаев имеет нормальное распределение (колоколообразное), в т.ч. симметричное. | Распределение непредсказуемо, может быть любым. Обычно несимметричное. |
| Уровень проработки содержания теста | Не очень существенен. Авторы теста выбирают обычно наиболее значимые, показательные задания. Часто - выбор видов заданий случаен. | Очень детальная и дотошная проработка содержания теста. Предварительно разрабатывается спецификация (план) теста, в котором должна быть представлена система элементов. После разработки спецификации уже разрабатываются задания. |
| Нормативная группа | Обязательна. Именно по предварительному исследованию на нормативной группе происходит окончательное шкалирование результатов, соотнесение с "нормой" и другими категориями. | Нет необходимости. Обычно измеряется как процент от усвоенного обучающимся материала. |
| Статистический анализ и отбор тестовых заданий | Показатель уровня трудности, различающая способность и другие статистические показатели играют весьма важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. | Уровень трудности и различающая способность заданий не является существенными факторами включения в состав теста, или наоборот исключения из него. Главное условие отбора заданий - соответствие спецификации и элементам содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла. |
| Надежность теста | Оценивается либо путем нахождения корреляции между результатами двух исследований, либо методом расщепления теста на две половины при однократном тестировании. | Примерно также, но в основном оценивается степень постоянства принятия решения «зачет – незачет» при двукратном тестировании, а не корреляция баллов, хотя это тоже не исключается. |
| Валидность | Исследуются разные виды валидности. | В центре внимания - содержательная валидность. |
Критериально-ориентированные тесты – тип тестов, предназначенных для определения уровня индивидуальных достижений относительно некоторого критерия на основе логико-функционального анализа содержания заданий. В качестве критерия (или объективного эталона) обычно рассматриваются конкретные знания, умения, навыки, необходимые для успешного выполнения той или иной задачи. Это основное отличие критериальноориентированных тестов от традиционных психометрических тестов, оценка в которых осуществляется на основе соотнесения индивидуальных результатов с групповыми (ориентация на статистическую норму). Термин «критериально-ориентированные тесты» предложен Р. Гласером в 1963 г. Установление содержательного и структурного соответствия заданий теста и реальной задачи – важнейший этап разработки критериально-ориентированных тестов. Этим целям служит так называемая спецификация, включающая:
2) систематизацию знаний, умений и навыков, обеспечивающих выполнение критериальной задачи;
3) образцы тестовых заданий и описание стратегии их конструирования.
Различают две разновидности критериально-ориентированных тестов:
1) тесты, задания которых гомогенны, т. е. сконструированы на одной или аналогичной содержательной и логической основе. Обычно такого рода критериально-ориентированные тесты разрабатываются на материале учебных программ и используются для контроля за формированием соответствующих знаний, умений и навыков;
2) тесты, задания которых гетерогенны и заметно отличаются по логической структуре. В этом случае обычна ступенчатая структура теста, при которой каждая ступень характеризуется собственным уровнем сложности, определяемым логико-функциональным анализом содержания, относящегося к критериальной области поведения. Такого рода критериально-ориентированные тесты обычно используются для диагностики специфических трудностей в обучении. Существенной особенностью критериально-ориентированных тестов является то, что в них индивидуальные различия сводятся к минимуму (индивидуальные различия влияют на длительность усвоения, а не на конечный результат). Поэтому критериально-ориентированные тесты лучше всего приспособлены для оценки развития основных навыков на элементарном уровне. В более сложных областях поведения предела достижений не существует, и исходя из этого необходимо обращаться к оценкам, ориентированным на нормы.
Сегодня за рубежом разработаны тесты, выполнение заданий которых можно соотносить как с критериями, так и с нормами. Необходимо учитывать и то, что нормы неявно присутствуют в критериально-ориентированных тестах, ибо выбор содержания или навыков, подлежащих измерению, предполагает наличие сведений о том, как в подобных ситуациях действовали другие обследуемые (А. Анастази, 1982). Исходя из этого наиболее перспективным представляется объединение критериально-ориентированного подхода с традиционным психометрическим.
А. Анастази (1982) правомерно считает, что акцент критериальноориентированных тестов на содержательном смысле интерпретации тестовых показателей может оказать благотворное влияние на тестирование в целом. В частности, описание результатов, полученных с помощью тестов интеллекта, в терминах специфических навыков и умений в значительной мере обогащает фиксируемые ими показатели. Для критериально-ориентированных тестов непригодны в большинстве случаев обычные приемы определения валидности и надежности.
В отечественных исследованиях имеется опыт создания критериально-ориентированных тестов (Е. И. Горбачева, 1985). Кроме того, осуществляется разработка методик, близких критериальноориентированным тестам, но ориентированных не на критерий, а на так называемый социально-психологический норматив или общественно-заданный объективный содержательный эталон (Школьный тест умственного развития). Также исходя из социально-психологического норматива анализируются результаты, полученные с помощью известных психометрических тестов.
1. Постройте схему многообразия типов шкал в психодиагностике.
2. В чем заключается сходство и различие MMPI и 16-факторного опросника Кеттелла?
3. Дайте подробную характеристику основных шкал MMPI.
