Анализ пробных тестирований по ент. Современные проблемы науки и образования. Статистика тестовых заданий

Система тестирования собирает и хранит различную информацию о самом тестировании и результатах участников. В ней доступны как итоговые результаты участников, так и их детальные ответы на каждое из заданий, а также сводная информация по тестовым заданиям, позволяющая оценить их качество. Рассмотрим как работать с результатами тестирования.

Результаты участников тестирования собираются в соответствии с анкетой персональных данных , которая была создана в системе. На основе данных, вводимых участниками тестирования, можно идентифицировать их результаты и использовать для анализа.

После получения ссылки на тест (например, http://app.startexam.com/Center/Web/kosmos) и выбора теста, участник тестирования вводит свои персональные данные в анкету и нажимает кнопку Далее .

После этого участник тестирования начинает знакомиться с вопросами и проходить тест.

Одновременно с этим инициатору тестирования уже доступна информация об участниках принимающих участие в тестировании, но без наличия результатов, т.к. тест ими еще не завершен. Администратор тестирования может посмотреть начатые сеансы тестирования, кликнув по ссылке Сеансы в центрах тестирования.

Перед Вами откроется окно с запущенными сеансами тестирования.

На этой странице доступна информация обо всех участниках, принимающих участие в тестировании. По каждому сеансу доступны следующие данные:

• Центр – название центра тестирования, под которым запущен тест
• Тест – название теста, которые решает участник
• Имя участника - фамилия, имя и отчество участника тестирования
• Дата начала сеанса тестирования
• Состояние сеанса тестирования (завершен/не завершен)
• и результаты тестирования

Как видно на изображении результаты еще недоступны, т.к. сеансы не завершены и информация по ответам участников не получена. По мере завершения сеансов их состояние будет меняться, но уже сейчас можно ознакомиться с персональными данными участников, кликнув на состояние сеанса.

Будет открыта страница с подробной информацией о сеансе участника тестирования и его персональных данных.

По мере выполнения теста участниками состояние сеансов будет меняться.

Как только участники тестирования завершат тестирование, состояние всех сеансов примет статус Завершен и результаты будут доступны в системе.

Теперь рассмотрим более подробно какие результаты собираются и какие средства для работы с ними имеются в системе тестирования. На странице с сеансами тестирования доступна следующая информация:

• Время , которое было затрачено на тестирование
• Макс - максимальный балл, который можно было набрать по тесту
• Балл – набранный участником балл
• (%) – результат участника в процентах
• Уровень , показанный участником в соответствии с созданной шкалой оценки
• Отзывы , оставленные участниками на задания, если такая опция была включена в тесте

Сеансы тестирования могут быть отфильтрованы в соответствии с Вашими предпочтениями. В системе можно вывести результаты за определенный период времени:

• последний час
• сегодня
• вчера
• на этой неделе
• на прошлой неделе
• в этом месяце
• в прошлом месяце
• в этом году
• в прошлом году
• за все время

Кроме того, можно показать нужное количество результатов на одной странице: 10, 50, 100 или все сразу.

Ненужные результаты могут быть удалены – для этого есть соответствующая кнопка Удалить , для удаления нужно предварительно отметить нужные результаты чекбоксами.

Результаты тестирования могут быть экспортированы в различные форматы:

• формат электронных таблиц Excel
• формат языка разметки XML
• результаты, упакованные в zip-архив

Результаты экспортируются в соответствии с выбранными Вами фильтрами. Если Вы выберите результаты только за неделю, то и экспортированы будут результаты, полученные на неделе. Кроме того, Вы можете отметить нужные Вам результаты для экспорта чекбоксами и только эти результаты будут представлены в выдаче.

При экспорте в Excel в таблицу будут добавлены не только результаты, но и персональная информация, указанная участником тестирования.

Результаты тестирования по определенному тесту

В системе тестирования можно посмотреть результаты тестирования как по всем тестам сразу, так и по каждому тесту в отдельности. Просмотр результатов по тестам имеет дополнительные возможности для работы с результатами.

Для просмотра результатов по определенному тесту, Вам необходимо перейти в проект и открыть вкладку Тесты .

Здесь будут доступны все тесты проекта. Возле каждого теста имеется ссылка Сеансы, нажав на которую можно посмотреть сеансы тестирования именно по этому тесту. Набор функций в целом аналогичен результатам в центрах тестирования , но имеются некоторые полезные дополнения.

Первое отличие – здесь доступен еще один вид отчетов – . В матрице ответов представлены все задания теста и ответы участников по каждому заданию.

С помощью этого вида отчета Вы можете экспортировать результаты в таблицу Excel и посмотреть на какие задания участники отвечали правильно, а где давали неправильные ответы.

По вертикальной оси представлены задания, которые входили в тест, по горизонтальной – имена участников, на пересечении представлены ответы участников. Единица означает, что участник дал правильный ответ на задание, ноль – ошибся. Если значения не будет, значит задание не попалось в окончательный набор заданий участника тестирования.

Детальные ответы участников тестирования

В сеансах тестирования по определенному тесту доступна статистика по ответам каждого участника. Для ее просмотра кликаем по состоянию сеанса тестирования.

Открывается страница с персональными данными, которые можно было посмотреть и в центрах тестирования, но здесь присутствует еще одна вкладка – Ответы .

На странице отображаются результаты ответов участника на каждое задание теста, аналогичные тем, что были представлены в матрице ответов.

Здесь можно посмотреть ответ, который дал участник тестирования на определенное задание. Например, нам хочется узнать какой вариант ответа выбрал участник на вопрос, в котором допустил ошибку. Кликаем по тесту вопроса и получаем результат.

Представлено задание теста и ошибочный вариант ответа, данный участником. Неправильно решенное задание отображается на красном фоне.

Аналогичным образом можно посмотреть задание, в котором участник ответил верно.

Оно отображается на зеленом фоне.

Статистика тестовых заданий

При детальном просмотре результатов участников тестирования доступна также статистика по каждому тестовому заданию. Кликнув по вкладке Статистика можно посмотреть информацию о задании и оценить его качество.

Здесь доступна информация о задании:

• дата создания тестового задания
• автор задания
• статус
• метод оценки

А также доступна статистика по нему:

• Кол-во результатов – количество решений задания участниками тестирования
• Выполнено – количество завершенных результатов (на задание был дан ответ)
• Пропущено – количество неоконченных результатов (на задание не был дан ответ)
• Средний балл – отношение количества правильных ответов на задание к общему количеству завершенных результатов
• Правильных ответов – процент правильных ответов на задание

Статистика тестового задания позволяет сделать вывод о его качестве. Хорошие задания должны попадать в интервал правильных ответов от 20% до 80%. Подробнее вопросы качества тестовых заданий рассмотрены на уроке Мастерство создания тестов .

Мы рассмотрели основные возможности использования результатов тестирования в системе OpenTest, которая включает в себя весь спектр процессов тестирования от создания задания до проведения тестирования и анализа результатов.

учащегося 11 «Б» класса Байгунакова Азата.

Городские тестирования

Школьные тестирования

Результаты городских тестирований по всем предметам соответствуют оценке «удовлетворительно». В сумме с баллами по казахскому языку общий результат ниже проходного. В ряду «западающих» тем большая часть разделов школьной программы. Наибольшее количество баллов набирает по казахскому языку. Очень низкие результаты по математике и всемирной истории

Результаты школьных тестирований также свидетельствуют о больших пробелах в знаниях. В то же время эти результаты объективно отражают уровень подготовки ученика и соответствуют итогам текущей и промежуточной аттестации. Байгунаков А. по всем предметам школьной программы в течение всего курса обучения занимался с основной оценкой «удовлетворительно».

С анализом ознакомлен ____________________________А. Байгунаков

Анализ результатов пробных тестирований

учащегося 11 «Б» класса Богуненко Александра.

Городские тестирования

Школьные тестирования

Результаты городских тестирований по физике нестабильны: результат 22.11.13 почти в два раза ниже предыдущего. Отмечается положительная динамика результатов по казахскому языку. Стабильно высокий балл по русскому языку, при этом оценки «удовлетворительно» по таким предметам, как физика и математика не соответствуют текущим оценкам, оценкам за четверть.

Итоги школьных тестирований характеризуются положительной динамикой результатов по физике, стабильно высоким баллом по русскому языку, более высо-

кими, в сравнении с городскими тестированиями, результатами по математике, большой разницей результатов по казахскому языку. Особого внимания требует подготовка по истории Казахстана. Суммарные баллы за все пробные тестирования выше проходного.

По результатам всех тестирований учителями-предметниками осуществлён поэлементный анализ с обязательным выявлением «западающих» тем и разработкой рекомендаций по устранению пробелов.

С анализом ознакомлен ____________________________А. Богуненко

Анализ результатов пробных тестирований

учащегося 11 «Б» Бурчица Богдана.

Городские тестирования

Школьные тестирования

Результаты городских тестирований в целом выше, чем итоги школьных. Во всех городских тестированиях суммарный балл выше проходного. В трёх из пяти школьных тестов сумма баллов без учёта результатов по казахскому языку ниже пятидесяти. Итоги тестов по казахскому языку, проходивших на базе школы, соответствуют оценке «хорошо», самые низкие результаты - по математике, что соответствует итогам текущей и промежуточной аттестации (учащийся имеет за полугодие одну «тройку» по алгебре). Необходимо усилить работу по подготовке к тестам по русскому языку, т.к. они отличаются нестабильностью и соответствующие им оценки ниже текущей успеваемости учащегося.

По результатам всех тестирований учителями-предметниками осуществлён поэлементный анализ с обязательным выявлением «западающих» тем и разработкой рекомендаций по устранению пробелов.

С анализом ознакомлен ____________________________Б. Бурчиц

Анализ результатов пробных тестирований

учащейся 11 «Б» Кабаковой Анастасии.

Городские тестирования

Анализ результатов пробного тестирования гимназии № 1

2011-2012 учебный год

6.10 2011 года в гимназии проведено третье пробное тестирование, целью которого является адаптация учащихся к проведению ЕНТ, их информированности о технологии тестирования, контроля за качеством знаний и подготовки к ЕНТ.

Тестирование учащихся проведено по тестам НГЦТО КЭУ, результаты следующие

Всего в тестировании принимало участие 45 выпускников (из 49), т. е. 93 % учащихся.

100 и более баллов набрали 4 учащихся

Из результатов видно, что по сравнению с прошлым тестированием средний балл ниже на 2 ,8 балла. Учащиеся сидели по одному, сумки и сотовые телефоны убраны на последней парте, условия тестирования приближенные к условиям ЕНТ. Из предварительных результатов можно ожидать в этом году низкие результаты, поэтому необходимо активизировать подготовку к ЕНТ, использовать различные формы и методы работы.

Мониторинг результатов тестирований

Из диаграммы видно, что результаты нестабильные, ниже чем в прошлом году, однако наблюдается рост результатов в течение нескольких тестирований в этом году.

Результаты по сравнению с 1 тестирование несколько выше.

Результаты по математике повысились.

По всеобщей истории сдают 4 учащихся. результаты ниже, чем в прошлом году. Самое низкое качество знание по физике и математике. Плохо сдали на этом тестировании биологию.

Претендент на Алтын Белги первый раз подтвердила все пятерки.

Мониторинг тестирований претендентов на аттестат с отличием и Алтын Белги.

Из результатов видно, что только имеет одну 4, остальные претенденты имеют тройки. Необходимо организовать индивидуальную работу с отличниками по подготовке к ЕНТ.

Пока никто не подтверждает все пятерки, плохие результаты по биологии, истории, математике.

1.Самые низкие результаты по физике, математике и истории Казахстана, высокие по англ. яз, каз. яз. Двоек нет. В этом учебном году 4 претендентов на аттестат с отличаем и 1 претендент Алтын белги все пятерки набрала только

2. Сравнительные результаты тестирования показывают нестабильность, рекомендовано всем преподавателям подготовить мониторинг индивидуальных результатов по пробным тестированиям.

3. Учителям–предметникам составить планы работы со слабоуспевающими и отличниками.

4. Классным руководителям проводить родительские собрания по субботам, пригласить родителей учащихся которые не набирают пороговый уровень поступления в ВУЗы.

тестовых результатов

Результаты тестирования нуждаются в такой интерпретации, которая соответствует цели тестирования (см. табл. 4.1).

Таблица 4.1 - Сферы применения тестов, цель тестирования и интерпретация его результатов

Как следует из табл. 4.1, тест надо рассматривать как единство: 1) метода; 2) результатов, полученных определённым методом; и 3) интерпретированных результатов, полученных определённым методом.

Интерпретация результатов тестирования ведется преимущественно с опорой на среднее арифметическое, показатели вариации тестовых баллов и на так называемые процентные нормы, показывающие, сколько процентов испытуемых имеют тестовый результат худший, чем у интересующего испытуемого.

При вступительном тестировании, профессиональном отборе или определении рейтинга в группе основная задача при интерпретации результатов заключается в ранжировании испытуемых по уровню подготовленности. При мониторинге или текущем контроле более важной задачей является анализ структуры и профиля знаний. При самостоятельной работе (дистанционное обучение, обучение с помощью мультимедийных учебников и т.п.) основное назначение тестов - стимулировать познавательную деятельность обучаемых, дать им возможность оценить собственные успехи, выявить пробелы в полученных знаниях.

Независимо от сферы применения теста, результаты тестирования должны подвергаться статистической обработке с целью определения основных характеристик заданий теста, проверки надежности измерений и валидности тестовых результатов.

Вступительное тестирование. Первичная обработка результатов, полученных при вступительном тестировании, сводится к составлению таблицы (матрицы) тестовых результатов по правилам, описанным ранее (см. табл. 3.4). Это позволяет не только наглядно оценить уровень и структуру подготовленности испытуемых, но и выделить наиболее «сильных» в группе, проходившей тестирование.

Как отмечалось в главе 3, распределение результатов тестирования по хорошо составленным тестам в идеале должно быть близким к нормальному закону (в достаточно больших группах – не менее 20 чел.). На рис. 4.1 в качестве примера показано распределение баллов, набранных при вступительном тестировании в группе из 80 человек. Задача состояла в отборе из этой группы 50, наиболее подготовленных человек. Тест содержал 24 задания, за каждый правильный ответ выставлялся 1 балл. По сумме набранных баллов приемной комиссией были выделены первые 50 человек, набравшие наибольшее количество баллов и определен проходной балл (в данном примере - 11 баллов).

Рис. 4.1 - Определение проходного балла при вступительном тестировании (пример).

Максимально возможное количество баллов в данном примере – 24.

Пример, показанный на рис. 4.1, является в некотором смысле «идеальным». Так, если бы в этом же примере нужно было отобрать не 50, а 52 человека (или например 47 человек), с установлением проходного балла возникли бы определенные трудности – при меньшем его значении (10 баллов) прошедших тестирование было бы больше, чем необходимо и наоборот. В этой ситуации может быть предложен такой выход: приемная комиссия устанавливает более высокий проходной балл, при котором число прошедших тест меньше необходимого. Недостающее количество людей комиссия добирает из числа тех, которые немного «не дотянули» до проходного балла. При этом предпочтение отдается тем, которые в наибольшей степени соответствуют требованиям (например, имеют стаж работы по выбранной специальности, льготы при поступлении, более высокий средний балл по документам о базовом образовании и т.п.). Этим же людям за дополнительную плату может быть предложено пройти подготовительные курсы и т.п.

При вступительном тестировании, помимо определения проходного балла, достаточно важен анализ структуры и профиля знаний (будет рассмотрен далее).

Текущий контроль (мониторинг). Тесты для текущего контроля и мониторинга создаются по тем же принципам, что и тесты иного назначения. Но основной целью тестирования в данном случае является отслеживание хода образовательного процесса, выявление пробелов в структуре знаний, искажений профиля знаний у каждого из испытуемых и выяснение возможных причин их появления.

Под структурой знаний в общем случае следует понимать такую степень полноты знаний и умений учащегося, которая равномерно охватывает все разделы дисциплины (или нескольких дисциплин) и позволяет испытуемым успешно выполнять задания теста вне зависимости от того, к какому разделу дисциплины они относятся.

Если испытуемый выполняет задания (в том числе, достаточно трудные), относящиеся к одному разделу дисциплины и не может выполнить задания по другому разделу (в т.ч. невысокой трудности), то это говорит о нарушении (пробелах) в структуре знаний. Вполне очевидно, что такие нарушения могут быть как индивидуальными, так и наблюдаться у достаточно большого числа испытуемых. В последнем случае необходимо проанализировать причины появления пробелов (неудачное изложение раздела или отдельной дисциплины, нехватка или отсутствие методического обеспечения и т.п.) и принять меры к их устранению.

Необходимым условием, обеспечивающим получение достоверной информации о структуре знаний, является репрезентативность заданий теста по отношению к объему знаний, который проверяется с его помощью. Другими словами – задания, включаемые в состав теста, должны достаточно полно и равномерно охватывать все разделы дисциплины, курса и т.п. При этом желательно, чтобы каждый раздел дисциплины был представлен несколькими заданиями различного уровня сложности.

Для удобства анализа структуры знаний тестовые результаты в матрице желательно располагать так, как показано в примере (табл. 4.2). В этом примере каждый раздел дисциплины представлен в тесте пятью заданиями различного уровня сложности. Результаты испытуемого №2, выполнявшего задания теста по варианту №7, показали практически полное отсутствие знаний раздела 2 дисциплины, в то время как с заданиями по разделу 1 он более-менее справился. В таких случаях говорят о пробелах в структуре знаний.

Термин профиль знаний , которым тестологи называют совокупность баллов в каждой строке таблицы тестовых результатов, можно проиллюстрировать на примере, приведенном в табл. 4.3 (фрагмент матрицы из табл. 3.4).

Таблица 4.2 – Анализ структуры знаний по матрице тестовых результатов

Таблица 4.3 – Искаженный (строка №6) и неискаженные (строки №5 и №7) профили знаний

Как видно из примера, испытуемые, результаты которых находятся в строках 5 и 6, набрали одинаковое количество баллов по тесту, однако, испытуемый №5 справился с первыми 5-ю, наиболее легкими заданиями, не справившись с остальными. Результаты же испытуемого №6 несколько нелогичны – не справившись с относительно легкими заданиями в начале теста, он сумел выполнить более трудные задания. В таких случаях говорят об искаженном (инвертированном) профиле знаний.

Причины искажений профиля знаний могут быть самыми разными –некачественно составленный тест, индивидуальные психологические особенности тестируемого, низкое качество преподавания, отсутствие методического обеспечения и литературы и др. По мнению проф. В.С. Аванесова и других специалистов-тестологов, задача хорошего образования – порождать правильные (неискаженные) профили знаний .

Анализ структуры и профиля знаний при вступительном тестировании и текущем контроле (мониторинге) позволяет педагогам получить общее представление об уровне подготовленности испытуемых, своевременно выявить пробелы в знаниях, ошибки в методике преподавания и принять соответствующие меры. В учебных заведениях, внедряющих системы менеджмента качества, постоянный мониторинг процесса обучения с использованием тестовых технологий должен быть одним из основных инструментов постоянной корректировки (улучшения) образовательного процесса.

Дистанционное обучение. В существующих системах дистанционного обучения (СДО «Прометей», «Web-класс ХПИ», Lotus Learning Space и др.), как правило, предусмотрен текущий и итоговый контроль усвоения учебного материала. Контроль может осуществляться с помощью отдельной программы для тестирования или же модули (программы) для тестирования встраиваются непосредственно в дистанционные курсы .* 15 В последнем случае дистанционный курс может использоваться для самостоятельной работы, без участия преподавателя.

Системы дистанционного обучения или же собственно дистанционные курсы, должны снабжаться такими программами, которые «умеют» не только сохранять тестовые результаты каждого испытуемого, но и дают возможность преподавателю (тьютору) или разработчику курса с минимальными затратами времени производить их статистическую обработку с целью определения надежности педагогического измерения и валидности тестовых результатов. К сожалению, далеко не все из используемых систем дистанционного обучения предоставляют такую возможность.

К тестам, разрабатываемым для использования в дистанционном обучении, предъявляются те же требования, что и к тестам для текущего контроля (мониторинга).

Самостоятельная работа . Как отмечают специалисты, качественно разработанные тесты имеют высокий обучающий потенциал, позволяющий существенно повысить мотивацию к обучению и соответственно повысить его эффективность. В последнее время в учебном процессе все чаще используются такие средства обучения как обучающие курсы, мультимедийные учебники, электронные тренажеры и т.п., которые можно назвать обучающими электронными изданиями (ОЭИ). Основным их достоинством является возможность самостоятельного обучения с минимальным вмешательством преподавателя. ОЭИ обязательно должны снабжаться тестами для текущего и итогового контроля, и желательно такими, которые позволили бы обучаемому не только увидеть, что именно он не знает, но и «объясняли», почему тот или иной ответ является неправильным и «рекомендовали» вернуться к соответствующему разделу для повторного изучения.

Тесты для ОЭИ, также как и тесты другого назначения, должны быть репрезентативны по отношению к совокупности проверяемых знаний и навыков. Не менее важна и предварительная апробация заданий, включаемых в эти тесты, с целью определения их трудности и других характеристик. Имея информацию о трудности каждого задания, разработчик ОЭИ может сделать так, чтобы при тестировании программа «выдавала» их испытуемому по принципу «от наиболее легкого - к наиболее трудному». При этом желательно иметь достаточно большое количество параллельных заданий, чтобы при повторном тестировании испытуемому выдавались новые задания, которых он не выполнял ранее.

В мультимедийных учебниках и других ОЭИ, как правило, нет необходимости сохранять результаты тестирования и, тем более, производить их статистическую обработку. Основная задача тестов, используемых в ОЭИ - стимулирование познавательной деятельности обучаемого и корректировка его индивидуальной «траектории обучения».