Виды тестирования в педагогике. Тестирование как метод педагогического контроля. Образование – это

В настоящее время отмечается методологически слабая обеспеченность тестирования. Она во многом определяется недостаточной разработанностью категорийно-понятийного аппарата педагогического тестирования. Постоянно смешиваются такие ключевые понятия, как "тест" и "тестовое задание", не конкретизирована терминология видов тестов и тестовых заданий. Кроме того, большинство педагогов-практиков не имеют представления о таких важных элементах обеспечения качества экспериментальной работы, как репрезентативность выборки, надежность, валидность.

Зарубежные психологи называют науку по теории тестов психометрикой (Psychometrika). а педагоги - педагогическим измерением (Educational measurement). Поскольку общего названия на русском языке пока нет. то мы будем придерживаться устоявшегося названия данной науки - тестология , которое используется в педагогическом, психологическом или социологическом контексте. Само название "тестология" определяется как наука о тестах.

Педагогическая тестология является прикладной методической теорией научной педагогики, которая призвана заниматься вопросами разработки тестов для объективного контроля подготовленности учащихся.

Ключевыми понятиями тестологии являются педагогическое задание, тест, содержание и форма заданий, надежность и валидность результатов измерения. Кроме того, в тестологии используются такие понятия статистической науки, как выборочная и генеральная совокупность, корреляция и др.

Исходным понятием тестологии является понятие "педагогическое задание". Педагогическое задание - средство интеллектуального развития, образования и обучения, способствующее активизаций учения, повышению подготовленности учащихся, а также повышению эффективности педагогического труда . Задания могут формулироваться как в тестовой, так и в нетестовой форме.

Еще одним важным понятием является понятие теста. В настоящее время существует несколько десятков определения понятия "тест". Для обыденного сознания тест означает перевод с английского test - проба, испытание, метод. Смысл этого слова охватывает любой метод проверки, даже субъективный.

Часто мы встречаемся с упрощенным пониманием данного термина как системы заданий с выбором правильного ответа из представленных вариантов. Положение усугубляется многочисленными примерами "тестов" в газетно-журнальной периодике, многочисленными книжными публикациями под одноименным названием. Часто под такими развлекательными и даже педагогическими заданиями оказываются не тесты, а нечто, только внешне похожее на них. Между тем различия в понимании сущности тестов следует искать в самом отношении к тестам

С.Л. Рубинштейн в 1938 г. дал следующее определение теста: "Тест - это испытание, которое ставит своей целью градирование, определение рангового места личности в группе или коллективе, установление ее уровня. Тест направлен на личность, он должен служить средством диагноза и прогноза" . Его современник, один из основоположников советской психотехники С.Г. Геллерштойн писал: "Тест - это испытательный эксперимент, носящий характер определенного задания, которое стимулирует определенную форму активности и выполнение которого, поддаваясь количественной и качественной оценке, служит симптомом совершенствования определенных функций" .

Под термином "тест" в советской психолого-педагогической литературе до 1980-х гг. имелось в виду задание с четким и однозначным вариантом правильного ответа, ориентированным на определенные нормативы.

В целом сегодня научное мышление под термином "тест" понимает но только метод тестирования, но и научно-педагогическую систему. B.C. Аванесов рассматривает тест как единство метода, результата, полученного определенным методом, и интерпретации результатов.

Традиционный тест представляет собой стандартизированный метод диагностики и уровня структуры подготовленности школьников. В таком тесте все испытуемые отвечают на одни и то же задания, в одинаковое время, в одинаковых условиях и с одинаковыми правилами оценивания ответов. Цель применения данных тестов - установить отношение порядка между испытуемыми по уровню проявляемых при тестировании знаний И на этой основе определить место каждого на заданном множество тестируемых испытуемых.

Далеко не однозначен и термин "дидактический тест": как синонимы используются термины "педагогические", "учительские", "преподавательские тесты", "тесты достижений", "тесты исполнения", "тесты контроля знаний", "тесты умений и навыков", "учебные тесты", "контрольные тесты".

При этом разные авторы вкладывают свое (не всегда четко определенное) понимание в эти термины. Например, у Ч. Куписевича "преподавательский тест - это не стандартизированные тесты, которые "могут быть составлены лицами, исследующими результаты учебы, достигнутые на проведенных ими учебных занятиях" .

С.М. Вишнякова в словаре профессионального образования дает следующее определение теста. Тест, во-первых, стандартное задание, соответствующее определенным требованиям (однозначности, краткости и простоты). выполнение которого позволяет оценить некоторые психофизиологические характеристики испытуемого (умственное развитие, способности.

полевые качества), а также уровень его знаний, умений и навыков. Во-вторых. тест является объективным методом контроля качества знаний учащегося, инструментом, позволяющим выявить факт усвоения. В-третьих, cостоит из контрольного задания и эталона - образца последовательного и правильного выполнения задания. Задание выдается испытуемому, а эталон используется преподавателем или заложен в техническое средство для сравнения с ответом испытуемого и выведения оценки. Следует отметить, что этот метод требует:

• - объемного и дорогостоящего методического обеспечения (набора тестов по каждой цели обучения) и высокой квалификации разработчиков тестов;
• - вопросник для конкретных социологических исследований;
• - информационную задачу с известным решением, предназначенную для проверки правильности работы вычислительной машины .

А Н. Майоров рассматривает тест как инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систематического обучения .

B.C. Аванесов определяет педагогический тест как систему параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерять уровень и структуру подготовленности испытуемых .

При этом под системой понимается, что в тесте собраны такие задания. которые обладают системообразующими свойствами. Это, в свою очередь. означает общую принадлежность заданий к одной и той же системе знаний, а также их связь и упорядоченность. Еще одним необходимым атрибутом настоящего теста является расположение заданий по мере возрастания трудности - от самого легкого до самого трудного. Иначе говоря, главным формальным системообразующим признаком теста является различие заданий по степени их трудности.

Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным показателем - потому что в хорошем тесте трудность может зависеть только от содержания и от уровня подготовленности самих испытуемых, в то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации.

Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства каждого испытуемого с каждым предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результат такого противоборства

Специфическая форма тестовых заданий говорит о том. что задания теста представляют собой и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных. Такие задания носят название "тестовые задания" или "задания в тестовой форме" в зависимости от употребляемого контекста. Традиционные вопросы, напротив. истинными или ложными не бывают, а ответы на них часто бывают многословны, они не поддаются сравнению с жестким эталоном. В этом смысле традиционные вопросы и ответы менее нетехнологичны, чем задания в тестовой форме или тестовые задания.

Нельзя не согласиться с B.C. Аванесовым, который указывает на то, что не всякое содержание поддается представлению в форме тестового задания. Затруднительным представляется выражение доказательств, обширных вычислений, многословных описаний в тестовой форме.

Определенное содержание означает, что при тестировании проверяется не весь программный материал, а лишь та часть учебной программы, которая входит в содержание проверяемых знаний учащихся. Остальное в педагогический тест не включается. При этом некоторые элементы проверяемых знаний используются только в текущем контроле, другие - в рубежном контроле, например, в конце учебной четверти. И, наконец, в итоговом контроле используются задания, правильные ответы на которые требуют знания многих, а иногда и всех тем, изученных в течение учебного года. Особое внимание следует уделять комплексности и сбалансированности содержания теста . Согласно этому положению тест, разработанный для итогового контроля знаний, не должен строиться на материале одной темы, даже самой основной. Тест необходимо конструировать, исходя, из сбалансированности всех тем курса. В то же время необходимо добиваться комплексного включения в тест как вопросов теории, так и методов научной и практической деятельности, умения эффективно решать основные профессиональные задания.

Согласно принципу научной достоверности в тест включается только то содержание учебной дисциплины, которое является объективно истинным и обладает аргументацией. Не следует включать спорные вопросы, то есть вопросы, имеющие неоднозначное решение. Кроме того, в педагогический тест, предназначенный для контроля. диагностики обученности и обучаемости, недопустимо включать вопросы, которые выясняют оценки, мотивацию, мнения.

По своей длине тесты могут быть короткими (10-20 заданий), средними (40-60 заданий) и длинными (до 500 заданий). Оптимальное количество заданий определяется целями контроля, но практика показывает, что это примерно 40-60 заданий. Количество заданий в тесте принято называть длиной теста. К настоящему времени сложилась практика организации различных видов тестирования, требующих соответственно разных тестов. Таким образом. кроме приведенных подходов, тесты можно классифицировать по целому ряду оснований.

1. Прежде всего по процедуре создания могут быть выделены стандартизированные и нестандартизированные тесты.

Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных

В образовании можно выделить ряд задач, которые могут быть решены нестандартизированными тестами. Однако для целей мониторинга необходимо использовать только стандартизированный тестовый инструмент.

• 2. По степени однородности задач выделяют гомогенные и гетерогенные тесты.
• 3. По средствам предъявления выделяют бланковые тесты (""бумага и карандаш").

Эти тесты в свою очередь можно разделить на два вида:

• 1) с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;
• 2) с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий:

предметные, в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;

аппаратурные - тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления;

практические, появившиеся относительно недавно. Эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр.). однако снабженные соответствующими инструкциями и имеющие тестовое оснащение;

компьютерные тесты .

• 4. По направленности развития и формирования человеческих качеств:
  • - тесты интеллекта, выявляющие особенности последнего;
  • - тесты общих умственных способностей, умственного развития;
  • - тесты специальных способностей в различных областях деятельности;
  • - тесты обученности, успеваемости, академических достижений;
  • - тесты для определения отдельных качеств (черт) личности , личностные тесты (иногда называемые тестами темперамента), с помощью которых изучаются особенности личности испытуемого (память, мышление, характер, эмоции и др.);
  • - тесты для определения уровня воспитанности (сформирован- мости общечеловеческих, социально-нравственных, обще интеллектуальных, общекультурных и других качеств);
  • - тесты достижений.

Правильно составленные тесты учебных достижений (обученности) должны удовлетворять определенным требованиям. Желательно сделать их:

• - краткосрочными, чтобы не требовались большие затраты времени;
• - однозначными, не допускающими произвольного толкования тестового задания;
• - правильными, исключающими возможность формулирования многозначных ответов;
• - краткими, требующими сжатых ответов;
• - информационными, т.е. такими, которые обеспечивают возможность соотнесения количественной оценки за выполнение теста с порядковой или даже интервальной шкалами измерений; удобными, т.е. пригодными для быстрой математической обработки результатов;
• - стандартными, пригодными для широкого практического использования - измерения уровня обученности возможно более широких групп учеников, овладевающих одинаковым объемом знаний на одном и том же уровне обучения.

Применение тестов будет наиболее эффективным и обеспечит надежные выводы лишь при условии правильного сочетания всех выделенных групп тестов. Поэтому тестовые испытания всегда имеют комплексный характер: выводы одних дополняются и корректируются другими.

При подготовке материалов для тестового контроля необходимо придерживаться следующих основных правил.

• 1) Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися.
• 2) Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными.
• 3) Правильные ответы среди всех предлагаемых должны размещаться в случайном порядке.
• 4) Вопросы не должны повторять формулировок учебника.
• 5) Ответы на одни вопросы не должны быть подсказками для ответов на Другие.
• 6) Вопросы не должны содержать "ловушек" .
• 5. По характеру действий.

Вербальные (связанные с необходимостью произведения умственных действий - словесно-логические тесты, вопросники на проверку знаний, установление закономерностей и пр.). Данные тесты требуют сформированности навыков и наличия определенных знаний. Поэтому именно те дети, которые хорошо успевают в школе, как правило, набирают большее количество баллов при прохождении этих тестов.

Невербальные (практические), связанные с практическим манипулированием предметами - карточками, блоками, деталями. Невербальные тесты, по мнению многих английских педагогов, меньше зависят от школьной успеваемости, домашних условий воспитания, социального положения. При выполнении этих тестов учащийся должен анализировать, сравнивать, делать выводы на основе наборов картинок, диаграмм, предметов, фигур и т.д. С заданиями невербальных тестов нередко лучше справляются учащиеся с высоким уровнем интеллекта из семей с низким социальным статусом, отличающиеся плохим поведением, частыми нарушениями дисциплины и т.д. .

6. По ведущей ориентации.

Тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время.

Тесты мощности или результативности, включающие трудные задачи. время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ решения задачи. Примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс школы.

Смешанные тесты, которые объединяют в себе черты двух вышеперечисленных. В таких тестах представлены задачи различного уровня сложности. от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточное для решения предлагаемых задач большинством обследуемых. Оценкой в данном случае служат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения.

Эти тесты наиболее часто применяются на практике, и именно к ним относится большинство тестов учебных достижений, которые можно использовать для нужд мониторинга.

7. По характеру объективности.

Объективные тесты - тесты, объективность оценки результатов которых обусловливается тем обстоятельством, что в процессе обработки результатов тестирования не предусматривается использование их субъективных толкований тестирующим, к этой группе тестов относятся тесты школьных достижений.

Проективные тесты - совокупность методик, разработанных в рамках проективного подхода в психологии и характеризующихся неопределенностью. неоднозначностью используемых в ходе тестирования стимулов. Соответственно, такой подход допускает большое разнообразие ответов и их интерпретацию.

8. По степени ориентированности.

Широко ориентированные, позволяющие оценить эффективность процесса обучения по степени реализации одной из его основных целей, то есть степени освоения учащимися системы знаний, умений и навыков в ходе учебного процесса.

Узко ориентированные, направленные на выявление достижений учащихся в процессе освоения отдельных предметов, отдельных тем и т.д..

• 9. По целям использования выделяются следующие группы тестов:
  • - знаний или поведения студента в начале обучения (определяющий тест) :
  • - прогресса, достигнутого в процессе обучения (формирующий тест) :
  • - трудностей обучения и их источников во время процесса обучения (диагностический тест) :
  • - основных достижений в конце обучения (суммирующий тест).

Предварительный определяющий тест предназначен для оценки начальных способностей, обычно является несложным и охватывает очень небольшой диапазон знаний. Он может затрагивать минимум базовых знаний по теме обучения или другой ограниченный набор требуемых знаний.

Формирующий тест, используемый для контроля за прогрессом обучения, затрагивает ограниченный сегмент обучения, например, раздел или главу, и с его помощью делается попытка оценить все важные результаты данного сегмента. Акцент делается на оценке степени владения материалом изучаемых задач и обеспечения обратной связи со студентом по корректировке отдельных ошибок.

Диагностический тест содержит относительно большое число вопросов, имеющих отношение к конкретной тестируемой области. В связи с тем, что целью теста является определение трудностей обучения, внимание фокусируется на ответах учащихся на конкретный вопрос или группу вопросов, и общий балл имеет второстепенное значение. Этот тест обычно больше фокусируется на распространенных ошибках, которые делают учащиеся, чем на попытке широкого отбора ожидаемых результатов обучения.

Суммирующий тест разрабатывается для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса. Сложность и представительность выборки являются важными аспектами данного теста в связи с тем. что результаты используются для простановки баллов и определения степени достижения задач курса обучения. Для того чтобы адекватно отобрать все ожидаемые результаты обучения, суммирующий тест обычно содержит вопросы, которые представляют более высокий уровень сложности, чем другие виды тестов.

10. По широте использования.

Для использования учителем.

Для использования группой учителей или администрацией образовательно по учреждения.

Для целей отбора и формирования групп.

Правильные ответы в тестах по педагогике обозначены " + "

1. К видам наказания в педагогике относятся:

А) моральное и словесное осуждение,

б) штрафы и взыскания,

в) лишение права на образование.

2 - тест. Развитие педагогики обусловлено:

а) чередой научно-технических революций в ХХ веке,

Б) осознанной потребностью общества в формировании подрастающего поколения,

в) вниманием элиты к проблемам развития низших социальных слоев.

3. Педагогика – это наука о

а) воспитании ребенка в условиях образовательных учреждений,

Б) образовании и воспитании человека, преимущественно в детстве и юности,

в) свободном формировании личности человека с рождения до старости.

4. Социальная педагогика – это наука

А) о воздействии социальной среды на формирование личности человека,

б) о воспитании ребенка в рамках системы образования,

в) о формах взаимодействия личности и общества.

5. Что собой представляет мировоззрение человека?

А) Система взглядов человека на окружающую действительность – природу и общество.

б) Осознание собственного «я» в процессе социального взаимодействия.

в) Оценка деятельности государства с точки зрения гражданина.

6. Предметом педагогики выступает

а) процесс обучения ребенка в образовательных учреждениях,

б) процесс общения педагога с учеником,

В) процесс формирования и развития личности в ходе ее обучения и воспитания.

7. Социализация – это

А) процесс вхождения индивида в социальную среду путем овладения социальными нормами,

б) процесс обучения учащихся в дошкольных и школьных образовательных учреждениях,

в) процесс непрерывного образования индивида в течение его жизни.

8. Метод воспитания – это

а) способ стимулирования развития воспитуемого путем предъявления ему эталона,

б) актуальный для определенного возраста способ формирования знаний, умений и навыков,

В) способ воздействия на сознание, волю и чувства воспитуемого с целью выработки у него определенных убеждений.

9. Наказание – это

А) метод педагогического воздействия, предупреждающий нежелательные поступки,

б) метод выявления пороков развития личности,

в) основной метод воспитания и развития личности.

10. Личность в педагогике выражается совокупностью

а) знаний, умений и навыков,

Б) социальных качеств, приобретенных индивидом,

в) биологических и социальных признаков.

11. Тесты - Термин «педагогика»

а) предложен Вольтером для обозначения нового направления философии,

Б) восходит к древнегреческому источнику,

в) был признан в XIX веке в связи с успехами возрастной психологии.

12. Источники дошкольной педагогики как науки – это

а) народные сказки и легенды,

б) нормативные акты в сфере дошкольного образования,

В) экспериментальные исследования и передовой педагогический опыт.

13. Термин «педагогика» произошел от

а) латинского «ребенок» + «воспитывать»,

б) греческого «ребенок» + «учить»,

В) греческого «ребенок» + «водить».

14. Предметом педагогики является

А) процесс формирования и развития личности в ходе ее обучения и воспитания,

б) формирование дидактического инструментария для обучения ребенка,

в) нормативно-правовая база, обеспечивающая непрерывное образование ребенка.

15. Образование – это

А) целенаправленный процесс воспитания и обучения,

б) процесс взаимодействия педагога и учащегося,

в) система государственных и муниципальных учреждений.

16. Педагогика как наука

а) сформировалась в Древней Греции в трудах Аристотеля,

б) сформировалась в ХХ веке после появления работ Выготского,

В) сформировалась в XVII веке в работах Коменского.

17. Дидактика – это раздел педагогики,

а) изучающий основы формирования личности в образовательном процессе,

Б) рассматривающий вопросы обучения,

в) изучающий вопросы воспитания.

18. Государственные стандарты в педагогике – это

А) официальные, закрепленные документально требования, предъявляемые к содержанию образовательного процесса и его обеспечению,

б) максимальные показатели, к которым должны стремиться все учащиеся,

в) социально одобряемые результаты образовательной деятельности.

19. Ступени школьного образования в РФ включают

а) начальное, среднее и старшее образование,

Б) начальное общее, основное общее и полное общее образование,

в) дошкольное, школьное и высшее образование.

20. Самообразование – это

А) процесс получения знаний и формирования умений и навыков, инициированный учащимся вне рамок системы образования в любом возрасте,

б) обучение учащихся на дому со сдачей экзаменов в учебном заведении,

в) подготовка к итоговой аттестации вне учебного заведения.

Тест № 21. Педагогический эксперимент –

а) самопроизвольное изменение педагогического процесса, мотивированное изменениями педагогических условий,

б) регистрация фактов в процессе обучения и воспитания,

В) контролируемое преобразование педагогического процесса для обоснования научной гипотезы.

22. К методам педагогического исследования относятся

а) порицание и моральное осуждение,

б) поощрение и награждение,

В) изучение педагогической практики.

23. Системно-деятельностный подход в педагогике связан с именами

А) Выготского, Эльконина, Давыдова,

б) Коменского, Бэкона,

в) Зимней, Краевского, Лебедева.

24. Термин «зона ближайшего развития» предложен

А) Выготским,

б) Занковым,

в) Элькониным.

25. Формирующий эксперимент в педагогике

А) требует специально разработанных заданий для проверки педагогической гипотезы,

б) проводится втайне от учащихся в обязательном порядке,

в) синонимичен естественному эксперименту.

26. Констатирующий эксперимент в педагогике

а) синонимичен формирующему,

б) направлен на обязательное изменение педагогических условий,

В) связан с измерениями фактического состояния элементов образовательного процесса.

Тест. 27. Первые основополагающие исследования о возрастных особенностях детей дошкольного и младшего школьного возраста проводили

А) Пиаже, Выготский,

б) Бэкон, Коменский,

в) Монтессори.

28. Теоретические основы развивающего обучения разрабатывали

а) Гальперин, Талызина,

Б) Блонский, Выготский,

в) Эльконин, Давыдов.

29. Игровая деятельность в младшем школьном возрасте

а) становится основной,

Б) остается важной, но вспомогательной,

в) прекращается.

30. Личностное общение становится ведущей деятельностью

А) в подростковом возрасте,

б) в младшем школьном возрасте,

в) в дошкольном возрасте.

31. Принципы обучения впервые сформулировал

а) Аристотель,

Б) Коменский,

в) Сухомлинский.

32. В переводе с греческого педагогика означает

А) «веду ребенка»,

б) «учу ребенка»,

в) «понимаю ребенка».

33. Система педагогических наук включает

А) дошкольную педагогику,

б) соционику,

в) возрастную психологию.

34. В когнитивную составляющую самосознания входит

а) самовоспитание,

б) саморазвитие,

В) знание личности о себе.

Тест № 35. Личностные свойства, обусловленные социально, это

а) иерархические отношения,

Б) ценностные отношения,

в) субъектно-объектные отношения.

36. Правило от легкого к трудному относится к принципу

А) систематичности и последовательности,

б) логичности,

в) аргументированности и доказательности.

37. Внутреннее побуждение личности к тому или иному виду деятельности – это

Б) мотив,

в) причина.

38. Целенаправленный процесс обучения и воспитания в интересах личности – это

А) образование,

б) развитие,

Ряд исследователей отмечает, что понятийный аппарат теории педагогических измерений еще полностью не сформирован. В частности не существует общепризнанного определения теста. Каждый исследователь отражает в определении теста свое видение проблемы педагогического тестирования.

Существует много определений ТЕСТА, довольно заметно отличающихся друг от друга. Приведем некоторые из них.

Согласно словарю ЕГЭ, ТЕСТ - это измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию.

Рубинштейн С.Л. дал следующее определение: ТЕСТ - это испытание, которое ставит своей целью градуирование, определение рангового места личности в группе или коллек­тиве, установление её уровня.

Это определение сформулировано только с точки зрения достижения цели, не оговаривая, как эта цель достигается, а главное, не определяет тест как измерительный инструмент.

К.Ингенкамп - ТЕСТИРОВАНИЕ - это метод педагогической диагностики, с помощью которого выборка поведения, репрезентирующая предпосылки или результаты учебного процесса, должна максимально отвечать принципам сопоставимости, объективности, надежности и валидности измерений, должна пройти обработку и интерпретацию и быть готовой к использованию в педагогической практике.

В определении К.Ингенкампа рассматривается метод, а не средство педагогической диагностики и никак не характеризуются задания теста.

А.Н.Майоров приводит следующее определение теста, разработанное в 1997-1998 гг. группой авторов при разработке понятийного аппарата тестологии:

ТЕСТ – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качества и свойств личности, изменение которых возможно в процессе систематического обучения.

В.С.Аванесов определяет ПЕДАГОГИЧЕСКИЙ ТЕСТ как систему параллельных заданий равномерно возрастающей трудности, специфической формы, позволяющую качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся.

В одной из последних работ В.С.Аванесов (2005) несколько смягчил формулировку:

ПЕДАГОГИЧЕСКИЙ ТЕСТ определяется как система параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.

Сравнение обоих определений показывает, что произошло исключение требования равномерности возрастания трудности заданий. Обусловлено это тем, что обеспечить возрастание трудности заданий достаточно легко. Чтобы достичь этого составитель тестовых заданий ориентируется на различную сложность элементов предметной области. Для каждого элемента составляются задания и затем эмпирически проверяются, что действительно получены задания различной трудности. В самом тесте задания располагаются в порядке возрастания трудности.

Требование же равномерности возрастания трудности задания чрезвычайно сложно реализовать на практике. Хотя такой тест обеспечил бы линейную шкалу трудностей, что снизило бы ошибку измерения.

Исключение требования равномерности возрастания трудности задания заметно упрощает создание теста. Отметим, однако, что в этом случае, шкала трудностей получается нелинейной, с неравномерным покрытием заданного диапазона трудности заданий теста. Это, естественно, снижает точность педагогического теста как измерительного инструмента.

Определение Аванесова

Для лучшего понимания этого определения полезно дать краткое истолкование его основных терминов.

Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Здесь, в первую очередь, надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, их связь и упорядоченность. Для итоговой аттестации выпускников школ нужно разрабатывать интегративные задания, содержание которых охватывает систему знаний.

Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных, в зависимости от ответов. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.

Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается ни под каким предлогом. Например, проверка уровня интеллектуального развития является предметом психологического тестирования. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.

Теоретически оправданным критерием упорядочения содержания так называемого гомогенного теста является критерий трудности заданий. Внеучебное содержание (например, проверка уровня интеллектуального развития) в педагогический тест не включается. Это предмет психологического измерения.

Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий выше предыдущего. Пробежать дистанцию и успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен. Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, одни испытуемые "заваливаются" уже на самом легком, первом задании, другие - на последующих заданиях. Ученик среднего уровня подготовленности могут ответить правильно только на половину заданий теста и, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста.

Трудность задания может определяться двояко: а) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий, и б) после эмпирического опробывания заданий, с подсчетом доли неправильных ответов. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм (1).

К этому можно добавить еще один критерий - это критерий логической определенности тестового задания. Его можно сформулировать следующими словами: задание является определенным, если на него можно ответить утвердительно или отрицательно, и если существует эффективный процесс для нахождения такого ответа.

Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Критерии правильности заранее определяются авторами теста. Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания. При наличии сопоставимых шкал, эту вероятность выражают значением от нуля до единицы. Оценка ответов по степени их правильности проводится довольно редко, но при необходимости создаются задания с такими ответами, которые правильны в различной степени. Инструкция для испытуемых в таких случаях может быть такой: "Обведите кружком номер (нажимайте на клавишу с номером) наиболее правильного ответа!"

Посредством тестирования чаще других признаков проверяются знания, умения, навыки и представления. С точки зрения педагогических измерений полезно ввести два основных показателя качества знаний - уровень и структура знаний. Они оценивается посредством регистрации оценок, как за знание, так и за незнание всех требуемых компонентов проверяемого материала. Для объективизации этого процесса все компоненты должны быть одинаковы. Одинаковыми являются и правила выставления оценок испытуемым. Эти условия открывают дорогу для объективного сравнения индивидуальных структур знания и не знания.

Уровень знаний выявляются при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий ученик получил десять баллов. Эти баллы, скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильным профилем знаний ученика.

Если тестовый балл ниже требуемого уровня (измеряемого критерия), то проявленные при этом знания, умения, навыки и представления указывают на докритериальный уровень подготовленности испытуемого.

В истории науки и искусств известно немало случаев, когда имевшийся в соответствующие времена критериальный уровень требований к знаниям (или мастерству) мешал общественному признанию отдельных талантов. Поэтому признание нередко приходило только по мере изменения критериев оценки. Чаще всего после смерти авторов многих бессмертных произведений в сфере науки, музыки, живописи и др. Яркий пример такого рода - изменение критериев оценки творчества Ван Гога, творчества многих художников-импрессионистов, формалистов и др. Известны и такие, например, факты. Будущий лауреат Нобелевской премии Альберт Эйнштейн летом 1895 года не смог сдать экзамены в Цюрихский политехникум, а всемирно известный пианист С. Рихтер дважды отчислялся из консерватории за общую неуспеваемость.

Структура знаний оценивается на основе последовательности правильных и неправильных ответов на задания возрастающей трудности. Формой представления индивидуальной структуры знания и незнания является профиль знаний испытуемого, представляемый последовательностью единиц и нулей, получаемых каждым студентом.

Профиль знаний представляет собой упорядоченный набор оценок (вектор-строку) в матрице тестовых результатов. Если испытуемый отвечает правильно на первые, сравнительно легкие задания, можно говорить о правильной структуре знаний. Профиль называется правильным, если в строке баллов у испытуемого все нули следуют за всеми единицами.

Если же обнаруживается противоположная картина, (испытуемый правильно отвечает на трудные задания и неправильно - на легкие), то это противоречит логике теста и потому такая структура знаний может быть названа инвертированной. Она встречается редко, и чаще всего, из-за нарушения требования располагать задания по мере возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний.

Каждое учебное заведение должно стремиться, в первую очередь, к формированию правильных индивидуальных структур знаний, в которых не было бы пробелов (разрывов в знаниях), и на этой основе повышать уровень подготовки.

Человек не может хорошо учиться, если разрывы для него между известным и неизвестным слишком велики. Уровень знаний в значительной степени зависит от личных усилий и способностей учащихся. В то время как структура знаний зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля. В общем, от всего того, чего обычно у нас не хватает.

В результате анализа приведенных определений теста мы склоняемся к выводу, что приемлемым может оказаться следующее определение:

ПЕДАГОГИЧЕСКИЙ ТЕСТ - это система тестовых заданий различной трудности, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.

Это достаточно лаконичное и полное определение основано на определении В.С.Аванесова с некоторыми изменениями. Рассмотрим эти отличия.

1. Вместо слова «задание» использован термин «тестовое задание». Это позволило исключить требование «специфической формы», поскольку оно содержится в понятии «задание в тестовой форме» и, следовательно, в понятии «тестовое задание».

2. Исключено требование «параллельности» заданий. Это требование введено В.С.Аванесовым для повышения «живучести» теста, с тем, чтобы обеспечить возможность многократного использования теста, за счет варьирования в нем параллельных заданий. С этой точки зрения это вполне обоснованное требование. Однако, если мы определяем тест как таковой, отвлекаясь от привлекательной для практики его применения свойства «непотопляемости», то требование параллельности можно исключить.

3. Требование «возрастающей трудности» заменено требованием «различной трудности». Дело в том, что если мы располагаем тестовыми заданиями различной, известной трудности, то, формируя тест, легко можем расположить их в любом порядке, в частности, в порядке возрастания трудности.

Некоторые авторы предлагают размещать задания в порядке уменьшения трудности, аргументируя это оптимальным распределением умственного напряжения тестируемых во времени. К концу тестирования, когда испытуемые утомлены, целесообразно предъявлять им более легкие задания.

Иногда предлагается дать возможность выбора задания самими испытуемыми, которые будут соизмерять свои возможности с теми усилиями, которые им понадобятся при прохождении теста. Это позволит им показать наилучший результат.

При компьютерном тестировании зачастую используется случайный порядок предъявления заданий, при этом сам тест формируется «на лету». Тестовые задания автоматически извлекаются из банка заданий в соответствии с той или иной процедурой, заданной разработчиком теста. Если порядок предъявления одинаков для всех испытуемых, то, находясь в одном компьютерном классе, за соседними компьютерами, они могли бы подглядывать за ответами других испытуемых. При случайном порядке предъявления заданий уменьшается вероятность подобного нарушения процедуры тестирования.

Страница 19 из 25

Определение педагогического теста

Педагогический тест – система заданий специфической формы, определенного содержания, возрастающей трудности – система, создаваемая с целью объективно оценить структуру и качественно измерить уровень подготовленности учащихся. Тест – по прямому значению английского слова test – любая проба, любое испытание. В таком понимании термин «тест» применяется в технике, биологии, медицине и химии. Тест в психолого-педагогических исследованиях – нормированные по времени выполнения и трудности наборы заданий, используемые для сравнительного изучения групповых и индивидуальных особенностей.

Широкое распространение тесты нашли в прикладной психологии. Именно в этой области были разработаны методические критерии по конструированию, применению, проверке и обработке тестов. Эти критерии с некоторыми уточнениями должны признаваться обязательными и для тестов педагогических. Тест выступает в качестве измерительного инструмента, поэтому он должен удовлетворять строгим и ясным методическим требованиям. Случайно подобранный набор заданий тестом назвать нельзя.

Тесты не могут рассматриваться как универсальный и всеобъемлющий инструмент изучения уровня воспитанности. Ибо каждое задание теста и весь тест, поскольку он составлен из однородных заданий, направлены на выявление ограниченного комплекса качеств личности, и чем меньше признаков входит в комплекс, тем яснее возможная интерпретация результатов и тем лучше тест выполняет свою функцию. Лучше всего, если задание выявляет всего один признак, одно качество (свойство) личности. Задание, направленное на его обнаружение сразу и без возможностей последующего вычленения группы признаков, затрудняет интерпретацию. Успех или неуспех испытуемого не получает единственной и однозначной оценки, так как может зависеть от разных признаков. Педагог, не имея такой оценки, не сможет прийти к заключению о причинах, обусловивших конечный результат, и вряд ли сформулирует четкие выводы и проведет коррекцию мер воспитательного воздействия.

Метод тестирования имеет определенные границы применения. Есть такие характеристики воспитанности школьника, которые настолько сложны и многоплановы, что тестовые методики для их выявления не могут быть применены. Пока еще не найден тестовый эквивалент того, что можно было бы назвать общей подготовленностью или воспитанностью ученика. Многие учителя и методисты придают немаловажное значение этой характеристике. Тесты обладают лишь возможностью представлять отдельные составляющие этого сложного целого.

Приходится считаться и с тем, что характеристики, не имеющие ясного содержания, вообще не могут стать объектом тестирования. В частности, неясностью содержания отличается и характеристика общего развития и воспитанности. Учитель, конечно, может заранее оговорить, что эта характеристика, согласно его взгляду, состоит из таких-то и таких-то простых и поддающихся измерениям индивидуальных особенностей. В этом случае задача, которую он ставит перед собой, поддается решению. Вопрос только в том, удастся ли ему обосновать свой взгляд на эту характеристику.

Рассмотрим связь личностных тестов с другими количественными методами. Было бы ошибкой считать тестами все без исключения количественные методы, применяемые в исследованиях проблем воспитания. Сущность метода оценочных классификаций заключается в том, что отдельные лица («оценщики», «судьи»), хорошо знакомые с данным объектом, оценивают его по определенным стандартным критериям, шкалам и т.д. Путем соответствующей статистической обработки индивидуальные оценки трансформируются в совокупный количественный показатель. Однако лица, являющиеся объектами оценочных классификаций, не только не подвергаются какому-либо стандартизованному испытанию, но во многих случаях даже не ставятся в известность о производимом оценивании. Представления, исходя из которых оценщики выносят свои суждения, формируются у них на протяжении длительного общения или наблюдений в повседневной жизни.

Как и все другие методы педагогического контроля, тест имеет определенные достоинства и недостатки. При правильном и умелом использовании он может дать педагогу много важной информации, которую не получить никаким другим способом. Достоинством теста является то, что все сформулированные в нем задания, будучи предварительно глубоко обдуманы и экспериментально проверены, раскрывают в своей совокупности в максимально короткие сроки интересующие исследователя признаки ученика. Другим, еще более важным достоинством теста является его объективность. Известно, что учитель невольно вносит некоторую долю субъективизма в оценки качеств учащихся – в данном случае в оценки и самих учащихся. Этот оттенок субъективизма нередко оправдывается тем, что учитель, накопивший большой запас наблюдений о каждом ученике, не может отделаться от того, что некоторые особенности поведения, по его глубокому убеждению, возникли незакономерно, оказались плодом неблагоприятного сочетания случайностей.

Исследователь, впервые приступающий к использованию тестов в своей работе, должен решить такие наиболее существенные задачи, как: 1) разработка самого теста; 2) достижение его удовлетворительной надежности; 3) получение удовлетворительной валидности теста.

Научно обоснованный тест – это метод, соответствующий установленным стандартам надежности и валидности. В требованиях проверки теста на надежность и валидность реализуется важная идея методологического характера, что к истинному знанию ведет лишь истинный метод. Таким образом, качество педагогической информации оказывается зависимым от качества используемого для этого инструментария.

Тест не может считаться завершенным, если он не получил удовлетворительной оценки по надежности. Понятие надежности в тестологии имеет два смысла. С одной стороны, имеется в виду надежность теста как определенного инструмента. С другой стороны, говоря о надежности, мы имеем в виду относительную неизменность того предмета, который мы измеряем. При оценке надежности теста исходят из того, что тест тем надежнее, чем он более однороден.

Валидность – степень соответствия теста своему назначению. При установлении надежности все необходимое и достаточное исследователь находит в самом тесте: он сопоставляет одну часть заданий (с четными номерами) с другой (с нечетными номерами). Но для установления валидности этого мало. Валидность может быть выведена только при сопоставлении результатов по тесту с каким-то критерием, с какой-то оценкой, находящейся вне теста; ее обычно называют внешним критерием.

Оглавление
Педагогическая диагностика в воспитательном процессе.
ДИДАКТИЧЕСКИЙ ПЛАН
Понятие педагогической диагностики
Исторические аспекты формирования диагностики как специфического вида познания
Личность как предмет педагогической диагностики
Развитие личности в разные возрастные периоды
Принципы деятельности педагога в процессе педагогической диагностики
Диагностическая деятельность педагога
Научное познание и диагностика
Психодиагностика и педагогическая диагностика
Сущность и функции педагогической диагностики

Лекция 8. Педагогические тесты, их виды и предназначение.

1.Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях.

2.Задачи тестирования и виды тестов.

3.Классификация видов педагогических тестов.

4.Понятийный аппарат: предтестовое задание, тестовое задание, педагогический тест.

1. Нормативно-ориентированный и критериально-ориентированный подходы в педагогических измерениях

Общие подходы к интерпретации результатов педагогических измерений. При педагогических измерениях интерпретация баллов учащихся может иметь различный характер в зависимости от того, каким способом сравниваются оценки учеников. Согласно одному подходу проводится сопоставление баллов каждого учащегося с результатами определенной группы – выборки учащихся, выпол­нявших тот же самый тест, для определения места каждого балла по отношению к среднему результату в группе (нормативно-ори­ентированный подход). Согласно другому подходу результаты испытуемых интерпретируются по отношению к содержательной об­ласти, включенной в тест и снабженной определенными крите­риями выполнения (критериально-ориентированный подход).

Оба подхода дают информацию о подготовленности учащихся, однако она имеет различный характер. В соответствии с этими под­ходами к интерпретации результатов тестирования выделяют нор­мативно-ориентированные и критериально-ориентированные те­сты.

Нормативно-ориентированный подход и нормы. Стандартизация тестов . Основная цель нормативно-ориентированного тестирова­ния заключается в дифференциации испытуемых по результатам выполнения теста. При интерпретации результатов относительная позиция испытуемого может оцениваться по-разному, поскольку он будет выглядеть лучше на фоне более слабой, чем более силь­ной группы. Для корректной интерпретации результатов тестиро­вания балл каждого учащегося необходимо сравнивать с нормами выполнения теста.

Нормы – это совокупность показателей, отражающая резуль­таты выполнения теста четко определенной выборкой испытуе­мых – релевантной нормативной группой, репрезентативно пред­ставляющей генеральную совокупность тестируемых учащихся . К нормам обычно относят среднее значение тестовых бал­лов и показатель разброса (вариативности) вокруг среднего зна­чения всех остальных баллов, полученных представительной вы­боркой тестируемых учащихся, (методы подсчета среднего значения и показателей вариативности, приведены в главе 9). Имея нор­мы можно установить положение каждого результата по отноше­нию к среднему баллу по тесту, посмотреть, насколько результат учащегося выше или ниже среднего.

Процесс определения норм называется, стандартизацией тес­та. Стандартизация всегда осуществляется на репрезентативной выборке испытуемых, формирование которой – обязательный момент при определении норм теста.

Относительность норм и выборка стандартизации . Тестовых норм, пригодных для интерпретации результатов всех учащихся по лю­бым тестам; не существует. Область применимости любой нормы ограничивается данным тестом и конкретной совокупностью ис­пытуемых, поэтому нормы не абсолютны и не постоянны. Они отражают результаты выборки стандартизации на момент созда­ния теста и подлежат систематическому, обновлению и перепро­верке.

К нормам предъявляют следующие требования:

Нормы должны быть дифференцированными. Например, тес­ты для общеобразовательных и профильных школ необходимо стандартизовать на различных выборках, в результате чего полу­чатся, скорее всего, существенно различающиеся нормы;

Нормы должны отражать реальный контингент и актуальные требования к качеству учебных достижений, вытекающие из со­временной ситуации в образовании;

Нормы должны быть репрезентативными, поэтому они все­гда устанавливаются эмпирически в соответствии с результатами тестирования выборки стандартизации (федеральной – для ЕГЭ, муниципальной – для аттестации школ, внутришкольной – для аттестации учащихся в школе).

«Норма» – относительное понятие, тесно связанное с каче­ством выборки, использованной для стандартизации. Выборка должна точно отражать категорию (или несколько категорий) лиц, для которых предназначен тест, а также быть достаточно большой и сбалансированной для обеспечения столь малой стандартной погрешности, чтобы ею можно было пренебречь в процессе стан­дартизации теста. Таким образом, при формировании выборки стандартизации необходимо учитывать две переменные – объем и представительность, обеспечивающие в совокупности высокую точность при оценивании норм выполнения теста.

Стратификация выборки. Для равномерного представления раз­личных групп учащихся в популяции испытуемых используют спе­циальный процесс – стратификацию. Стратификация – расслое­ние выборки на страты, размеры которых должны быть пропорциональны размерам соответствующих популяций в генеральной совокупности учащихся . Обычно в качестве оснований для стратификации выделяют факторы, наиболее связанные с переменной измерения. В ЕГЭ к числу таких факторов можно отнести социальное положение родителей выпускника, регион, где рас­положена школа, ее принадлежность к числу сельских или город­ских школ и т.д.

Наличие многих факторов стратификации, необходимость ана­лиза пропорций генеральной совокупности испытуемых, прове­дение апробационного тестирования для определения норм дела­ют работу по стандартизации тестов довольно дорогостоящей и трудоемкой процедурой. Современный уровень развития тестовых технологий позволяет моделировать тесты с прогнозируемыми нор­мами с помощью IRT , банка калиброванных тестовых заданий и специальных программ для компьютерной генерации вариантов теста.

Информация, прилагаемая к стандартизированным тестам . К стандартизованному тесту необходимо приложить:

Нормы выполнения теста, которые определяются на выборке стандартизации;

Объем выборки стандартизации, основания для ее стратифи­кации и временной период ее использования;

Необработанные результаты выполнения теста для выборки стандартизации.

Сопоставление норм по различным тестам возможно лишь в том случае, если есть основания для утверждения об адекватности выборок стандартизации.

Критериально-ориентированный подход в педагогических изме­рениях . При критериально-ориентированном подходе в педагоги­ческих измерениях результаты учащихся интерпретируются по от­ношению к содержательной области или требованиям, установ­ленным к учебным достижениям. При дихотомическом оценивании («1» или «0») результатов выполнения отдельных заданий балл каждого учащегося подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. В случае политомических оценок в проценты переводится отношение сырого балла учащегося, накопленного по заданиям, к максимально возможному баллу по тесту. Полу­ченный для каждого учащегося процент сравнивается со стандар­тами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста .

При критериально-ориентированном подходе по результатам тестирования можно:

- выявить освоенные и не освоенные знания, умения и навыки и построить индивидуальную образовательную траекторию каж­дого учащегося;

Ранжировать тестируемых по проценту выполнения и по­строить рейтинговые шкалы;

Разбить испытуемых на две группы с помощью одного крите­риального балла или на несколько групп с помощью нескольких критериальных баллов, поставив, например, школьные отметки – «два», «три», «четыре», «пять».

Недостатки критернально-ориентированного подхода. Критери­ально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100 %, в одном тесте. Аттестационные критериально-ориентиро­ванные тесты нередко получаются очень длинными – из 150 - 300 заданий, выполнить которые даже в старших классах при одноразовом предъявлении просто невозможно. Поэтому при ат­тестации нередко применяют адаптивное тестирование, позво­ляющее за счет оптимизации трудности заданий значительно со­кратить длину теста. Используют также сокращение содержания теста за счет минимизации целей оценивания. Для этого крите­риально-ориентированные тесты нередко применяют для про­верки одного-двух умений или навыков, а при охвате более раз­нородного содержания выбирают нормативно-ориентированные тесты.

Критериально-ориентированные тесты имеют к тому же довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения и навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения те­стов. В более сложных и менее структурированных областях зна­ний, связанных с решением задач творческого уровня, опреде­лить верхний предел зачастую невозможно.

Иногда при выполнении таких заданий школьник руководству­ется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполне­нием задач творческого уровня, следует отдавать предпочтение нормативно-ориентированному подходу или стараться совмещать оба подхода в одном тесте .

Различия в нормативно-ориентированном и критериально-ори­ентированном подходах. Нормативно-ориентированные и крите­риально-ориентированные тесты различаются по целям создания, методике отбора содержания, характеру распределения эмпири­ческих результатов, тестирования, методам их обработки, крите­риям качества тестов и тестовых заданий, а главное, по интерпре­тации результатов испытуемых, выполнивших тест.

В критериально-ориентированных тестах, используемых для аттестации, задания достаточно простые, поскольку педагоги все­гда стараются спланировать процент «двоек» и ограничить число неаттестованных учеников. Например, если «двойки» не должны превышать 10% и критерий отсева неуспевающих планируется ус­тановить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают «два»), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить 90% тестируе­мых учеников (рис. 9). Нормативно-ориентированные тесты обыч­но намного труднее. В них включают от 50 до 70 % заданий средней трудности, т.е. тех, которые смогла выполнить верно только по­ловина тестируемых учеников (рис. 10).

Рис. 9. Распределение заданий по трудности, в нормативно-ориентирован­ном тесте

Рис. 10. Распределение заданий по трудности в критериально-ориенпированном тесте

В силу того, что распределения сырых баллов репрезентативной выборки испытуемых по нормативно-ориентированным и крите­риально-ориентированным тестам имеют, как правило, различную форму (рис. 11), приходится использовать различающиеся ме­тоды оценивания надежности и валидности результатов педагоги­ческих измерений, методики шкалирования и выравнивания.

Рис. 11. Типичное распределение баллов по тестам для репрезентативной

выборки учащихся

Наиболее существенные различия между нормативно-ориен­тированными и критериально-ориентированньми тестами пред­ставлены в табл. 1.

Таблица 1

Различия между нормативно-ориентированными и критериально-ориентированными тестами

Характеристики	Нормативно-ориентированные тесты	Критериально-ориентированные тесты
Типичное среднее чис­ло учеников, выполнивших правильно поч­ти все задания теста
Область для сравнения результатов учащихся	Результаты других учеников
Диапазон охвата целей проверки	Широкий, охватывает многие цели и виды учебной деятельности	Узкий, обычно охва­тывает несколько це­лей контроля
Репрезентативность охвата содержания предмета	Умеренная, фрагментарная, – обычно включают не все раз­делы	Большая, обычно включают все то, что можно операционализировать и принять за 100%
Разброс результатов учащихся (вариатив­ность баллов)	Высокий, поскольку основная цель тестирования – дифференциация испытуемых по уровню подготовки	Низкий, внутри ре­зультатов группы учащихся, превысивших по своим результатам критериальный балл, почти нет вариативно­сти
Подбор заданий по трудности	Распределение оценок трудности близко к нормальному. Основ­ная часть заданий име­ет трудность 40-60%	Распределение ско­шенное. Основная часть заданий имеет трудность 80-90%

Для учителя наиболее информативной является ситуация, ког­да оба подхода взаимно дополняют, друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, что результаты учащих­ся можно соотносить как с нормами, так и с содержанием теста. Пример – контрольно-измерительные материалы (КИМ) ЕГЭ.

2. Задачи тестирования и виды тестов

Общая классификация задач, решаемых с помощью тестов . В со­ответствии с видами контроля при тестировании можно выделить:

Задачи, стоящие на входе в обучение (входной контроль);

Текущие задачи (текущий контроль);

Задачи, соответствующие концу определенного периода учеб­ного процесса (итоговый контроль) .

Тестирование во входном контроле . Началу обучения соответ­ствует входное тестирование, позволяющее выявить степень вла­дения базовыми знаниями, умениями и навыками, необходимы­ми для начала обучения, и определить уровень владения новым материалом до начала его изучения в классе. Последняя ситуация кажется не типичной для школы, вместе с тем достаточно вспом­нить классический пример, когда в первый класс поступают хо­рошо читающие дети и начинают скучать на уроках.

Тесты для входного контроля, обычно называемые претестами (предварительными тестами), делятся на два типа.. Претесты первого типа позволяют выявить готовность к усвоению но­вых знаний в классе. Они разрабатываются в рамках критериаль­но-ориентированного подхода и содержит задания для проверки базовых знаний, умений и навыков, необходимых для усвоения нового материала. В основном эти претесты предназначены для наиболее слабых учеников, находящихся на границе между явно подготовленными и явно не подготовленными к началу усвоения нового материала. По результатам выполнения претеста проводится деление тестируемых на две группы, в одну из которых попадают те, кто может двигаться дальше, а в другую – те, кто нуждается в дополнительной работе и консультациях педагога.

Претесты второго типа разрабатываются в рамках нор­мативно-ориентированного подхода. Они охватывают планируемые результаты предстоящего обучения и построены полностью на но­вом материале. По результатам выполнения претеста преподаватель принимает решение, позволяющее внести элементы индивидуали­зации в массовый учебный процесс. Если ученик показал некоторые предварительные знания по новому материалу, то план его обуче­ния необходимо перестроить и начать с более высокого уровня, чтобы учебный материал имел для него действительный характер новизны. Иногда роль входного претеста выполняет итоговый тест, который предназначен для будущей оценки результатов усвоения нового материала после завершения его изучения.

На рис. 12 показаны возможные функции входного тестирова­ния в учебном процессе.

Рис. 12. Упрощенная модель функций входного тестирования в учебном

процессе, соотнесенная с задачами педагога.

Тестирование в текущем контроле . Для текущего контроля раз­рабатывают корректирующие и диагностические тесты. Корректи­рующие тесты, как правило, являются критериально-ориентиро­ванными: если процент ошибок учащегося превышает критери­альный балл, то его знания нуждаются в коррекции. С помощью корректирующих тестов, можно найти слабые места в подготовке учащихся и выявить направления индивидуальной помощи в осво­ении нового материала.

Корректирующие тесты не следует путать со средствами теку­щего контроля знаний учеников, однако они в какой-то мере близ­ки, хотя бы по целям применения. Однако между первыми и вто­рыми средствами есть существенные различия технологического и содержательного характера. Традиционные средства текущего кон­троля менее эффективны и в основном ориентированы на про­верку и систематическую оценку знаний учеников по небольшим единицам учебного материала. Корректирующие тесты предназначены для выявления пробелов в знаниях по группе учебных еди­ниц, включающих содержание нескольких тем или даже разделов. Обычно они содержат задания, расположенные по нарастанию трудности, с тем чтобы выявить первые же проблемы в усвоении учебного материала.

Если затруднения ученика при выполнении заданий носят систе­матический характер, то педагог может прибегнуть к помощи диаг­ностических тестов. Основная цель диагностики – установление причин пробелов в знаниях учеников – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчи­танные по форме представления на отслеживание отдельных этапов выполнения каждого задания корректирующего теста. Подробная де­тализация позволяет выявить причины устойчивых ошибок учени­ков, конкретизировать характер возникающих затруднений и полу­чить выводы о несформированности тех или иных учебных умений.

Например, задание с выбором одного правильного ответа из коррек­тирующего теста по математике для начальной школы может иметь сле­дующий вид:

2+6:3 – 8:4=

A. 2

Б. 3

B. 1

Г 4

Максимальное число заданий диагностического теста определяется количеством действий при выполнении задания корректирующего теста. Например, для рассматриваемого числового выражения, можно предло­жить четыре задания, если у педагога нет желания проверять знание уча­щимся порядка действий:

1) 6:3= А. 3 Б. 2 В. 4

2) 8:4= А. 2 Б. 4 В. 1

3) 2+6:3= А. 5 Б. 6 В. 4

4) 2+6:3-8:4 = А. 3 Б. 2 В. 0

Подбор заданий в диагностический тест осуществляется в ин­дивидуализированном режиме, в зависимости от тех заданий, которые выполнил неверно каждый учащийся в корректирующем тесте. Особенно эффективны процессы коррекции и диагностики при компьютерной генерации и предъявлении тестов в сочетании с обучающими модулями по каждой единице неусвоенного учеб­ного материала. В этом случае коррекция проводится незамедли­тельно, поскольку после выявления очередного пробела и уста­новления его причины компьютер сам подбирает обучающий мо­дуль и сразу же выдает его ученику.

Упрощенная модель функций текущего тестирования представ­лена на рис. 13.

Рис. 1З. Модель функций тестирования в текущем контроле

Итоговое тестирование. Основная цель итогового тестирова­ния – обеспечение объективной оценки результатов обучения, которая ориентирована на характеристику освоения содержания курса (критериально-ориентированные тесты) или на дифференциацию учащихся (нормативно-ориентированные тесты). На рис. 14 приведена модель функций итогового тестирования.

Рис. 14. Модель функций итогового тестирования

Итоговые тесты обычно подвергаются стандартизации, по­скольку чаше всего они применяются для принятия администра­тивных управленческих решений в образовании, Если проведе­ние входного и текущего тестирования – функция учителя, то итоговое тестирование часто проводится внешними структурами и носит характер независимых проверок. Примером независимо­го итогового тестирования в России является ЕГЭ, тестирова­ние при аттестации школ и т.д. внутри школы итоговые тесты можно, использовать при переводе учащихся из класса в класс, при отборе отстающих учеников для определения их в коррекционные классы и т.д.

3. Классификация видов педагогических тестов

Основные подходы к классификации тестов. В отечественной и иностранной литературе существуют различные подходы к классификации педагогических тестов, различающиеся по признакам, которые положены в основу демаркации видов. В соответствии с подходом к интерпретации данных выделяют нормативно-ориентированные и критериально-ориентированные тесты.

По размерности конструкта педагогические тесты делятся на гомогенные (измеряющие только одну переменную и потому од­нородные по содержанию) и гетерогенные (измеряющие более одной переменной – случай многомерного конструкта) тесты. Гетерогенные тесты бывают полидисциплинарными и междисцип­линарными . Полидисциплинарные тесты состоят из гомо­генных субтестов по отдельным дисциплинам. Результаты учени­ков по субтестам объединяются для подсчета итоговых баллов по всему полидисциплинарному тесту. Для выполнения заданий междисциплинарных тестов требуется применение обобщенных, меж­предметных, интегративных знаний и умений. Междисциплинар­ные тесты всегда многомерны, их разработка требует обращения к факторным методам анализа данных, математико-статистическим методам многомерного шкалирования и т.д.

По характеру измеряемых переменных выделяют тесты для про­верки знаний, учебных, практических умений, навыков, а также компетентностные тесты. Иногда в отдельную группу выделяют ско­ростные тесты, требующие жесткого временного ограничения на выполнение каждого задания и содержащие всегда избыточное число заданий, не позволяющее выполнить весь тест. В зависимости от формы предъявления различают бланковые и компьютерные, устные и письменные тесты.

Наиболее общая классификация тестов в учебном процессе позволяет разделить их на две неравные группы: стандартизован­ные тесты, обладающие нормами выполнения, и нестандартизованные тесты, которых значительно больше, поскольку для использования в повседневном учебном процессе их готовит каж­дый педагог. Нестандартизованные тесты нередко называют учи­тельскими, или авторскими, тестами.

Классификация по видам контроля, их функциям и характеру решаемых задач. Если в качестве признака демаркации выбрать виды контроля и характер задач, решаемых преподавателем с по­мощью тестов, то получится классификация видов педагогичес­ких тестов, представленная на рис. 15.

Рис. 15. Классификация педагогических тестов

Анализ классификационной таблицы позволяет выделить в ка­честве основополагающих четыре вида педагогических тестов, среди которых, наибольшую важность по сфере использования имеют итоговые нормативно-ориентированные тесты.

Увеличение влияния тестирования на принятие управлен­ческих решений на основе данных мониторинга и анализа ка­чества образования во многих странах привело в XXI в. к воз­никновению нового вида тестов административно-управленческого предназначения (в англоязычной литературе – High - Stakes tests ). Данные административно-управленческого тестирования являются важным информационным источником для анализа последствий образовательных реформ и инноваций в образова­нии, проведения сравнительных исследований качества подго­товленности выпускников различных регионов России, аттес­тации учебных заведений и оценки эффективности их деятельности.

4. Основные определения понятийного аппарата

Понятийный аппарат при разработке и использовании тестов. Необходимость создания четкого понятийного аппарата для раз­работки тестов не всегда понятна преподавателям-практикам. От­части это объясняется кажущейся простотой самих понятий, так как нередко любой набор заданий в тестовой форме в представле­нии учителя ассоциируется с тестом. Такие псевдотесты сплошь и рядом публикуются в специальных сборниках. Их можно исполь­зовать в текущем контроле, но не в работе аттестационных цент­ров.

Несоответствие псевдотестов научно обоснованным критери­ям качества может привести к значительному ошибочному ком­поненту в оценках подготовленности учащихся, следствием кото­рого будут неправильные выводы относительно эффективности работы отдельных преподавателей или педагогических коллекти­вов. Таким образом, понятийный аппарат необходим, поскольку он служит целям отделения тестов от того, что нередко за них принимается.

Предтестовое задание . Определение предтестового задания яв­ляется базовым, содержащим специфические требования, с тем чтобы отличить его от традиционного контрольного задания. Пред­тестовое задание – это единица контрольного материала, содер­жание, логическая структура и форма представления которого удовлетворяют ряду требований и обеспечивают однозначность оценок результатов выполнения благодаря стандартизованным правилам проверки .

В предтестовых заданиях проверяются наиболее существенные опорные элементы содержания дисциплины. В каждом предтестовом задании определяется то, что однозначно считается правиль­ным ответом с запланированной степенью его полноты.

Требования, предъявляемые к форме пред тес­товых заданий , можно условно разделить на специальные, отражающие специфику формы, и общие, инвариантные относи­тельно выбранной формы. Согласно, общим требованиям задание должно иметь определенный порядковый номера стандартную ин­струкций по выполнению, адекватную форме, эталон правильно­го ответа, стандартизованные правила по оценке результатов его выполнения и т. д. (см. Лекцию 10). Специальные требования к форме довольно многочисленны, частично они представлены в Лекции 10, посвященной формам предтестовых заданий.

Преимущества предтестовых заданий по сравнению с традиционными контрольными заданиями обеспечиваются предельной стандартизацией при предъявлении и оценивании результатов их выполнения, что в целом повышает объективность оценок уча­щихся по тесту.

Тестовое задание . Предтестовые задания должны пройти обязательную эмпирическую проверку, по результатам которой часть из них превращается в тестовые, а оставшаяся часть удаляется из первоначальной совокупности заданий теста. Предтестовое зада­ние превращается в тестовое, если количественные оценки его характеристик удовлетворяют определенным критериям, нацелен­ным на эмпирическую проверку качества содержания, формы и системообразующих свойств предтестовых заданий.

Обычно требуется не менее двух-трех апробаций, по результа­там которых ведется коррекция содержания, формы, трудности задания, его валидности и статистических свойств, характеризу­ющих качество его работы вместе с остальными заданиями теста. Исследование системообразующих характеристик тестового зада­ния проводится на основе анализа дескриптивной (описательной) статистики, а также методов корреляционного, факторного и латентно-структурного анализа. Интерпретация результатов ана­лиза – это всегда сложная аналитическая работа, результаты ко­торой зависят от множества условий, в том числе и от вида создаваемого теста. Статистические характеристики тестовых заданий и требования к их качеству рассмотрены в Лекции 12.

В длительной апробации и коррекции нуждаются в основном итоговые тесты, используемые для принятия управленческих ре­шений в образовании. Например, при разработке учительских те­стов для текущего контроля корреляционный и факторный анализ не нужны, но дескриптивная статистика, позволяющая без особых усилий отобрать валидные задания приемлемой трудно­сти, будет также очень полезна.

Педагогический тест. В отличие от первых двух определений, инвариантных относительно целей тестирования и решаемых задач, определение педагогического теста должно быть ориентиро­вано на конкретный вид теста. В частности итоговый нормативно-ориентированный тест – это система тестовых заданий, упорядо­ченных в рамках определенной стратегии предъявления и обладающих такими характеристиками, которые обеспечивают высокую дифференциацию, точность и обоснованность оценок качества учебных достижений.

Из этого определения следуют два важных вывода. Первый: нет и не может быть тестов, качественных вообще, так как оценка дифференцирующего эффекта теста, точности измерений (надежности) и их адекватности поставленным целям (валидности) за­висит не только от характеристик тестовых заданий, но и от осо­бенностей тестируемого контингента учащихся. Второй: для оцен­ки качества теста необходимы эмпирические данные тестирова­ния, полученные на репрезентативной выборке учащихся. Работа по коррекции теста консолидирует систему тестовых задании – постепенно нарастают внутренняя связь и целостность, интегративностъ системы, совершается переход от совокупности предтестовых.заданий к профессионально разработанному тесту.

Итоговый критериально-ориентированный тест – это система тестовых заданий, упорядоченных в рамках определенной страте­гии предъявления и обладающих такими характеристиками, ко­торые обеспечивают валидную содержательную интерпретацию учебных достижений по отношению к установленным, статисти­чески обоснованным критериям выполнения . В определении не конкретизируется базовая содержательная область, используе­мая при интерпретации, что позволяет применять его для различ­ных разновидностей критериально-ориентированных тестов.