Операциональная валидность. Обосновать типологию валидности психологического эксперимента (внутренняя, внешняя, конструктная, операциональная валидности)

Валидность - соответствие конкретного исследования принятым стандартам (безупреч­ному эксперименту).

Валидность внешняя - соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и / или обоб­щения результатов на другие объекты и условия исследования. Зависит от репрезента­тивности выборки и соответствия контролируемых в исследовании дополнительных пе­ременных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выво­ды конкретного исследования на реальные условия, а не на иные лабораторные условия.

Валидность внутренняя - соответствие конкретного исследования идеальному; оцени­вает изменение зависимой переменной, определяется влиянием независимой перемен­ной, а не другими причинами. Внутренняя валидность зависит от систематического изме­нения влияния независимой и других переменных от неэквивалентности и изменения сравниваемых групп в ходе эксперимента.

Валидность конструктная - характеризует точность реализации теоретической гипоте­зы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте. В психологической диагнос­тике конструктная валидность характеризует степень измеряемого свойства в результа­тах тестирования.

Валидность критериальная - отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям; включает в себя текущую и прогностическую валидность.

Валидность операциональная - соответствие операций экспериментатора теоретиче­скому описанию переменных, контролируемых в исследовании. Варьируемые экспери­ментатором условия должны соответствовать независимой переменной. Операциональ­ная валидность является одним из проявлений внутренней валидности.

35. Привести классификацию экспериментальных планов: доэкспериментальные планы, планы истинных экспериментов и квазиэкспериментальные планы.

Доэксперементальные планы

Квазиэкспериментального планы строятся, исходя из такого определения понятия квазиэксперимента: квазиэкспериментом является исследование, направленное на установление причинно-послед- ного связи между двумя переменными, в котором, однако, отсутствует процедура предварительного выравнивания групп, то есть параллельный контроль с участием контрольной группы заменяется сравнением результатов тестирования группы до и после измерений. Существует несколько видов квазиэкспериментальных планов, например: план для двух неэквивалентных групп с тестированием до и после испытания; план по предыдущим и итоговым тестированием двух рандомизированных групп; планы дискретных временных серий для одной группы или для двух неэквивалентных групп. Квазиэксперимент очень распространены в современной психологии и является не хуже истинные. Для некоторых задач психологического исследования они необходимы и, несмотря на отсутствие процедуры предварительного выравнивания групп, они специальным средством решения проблем экспериментирования, если независимая переменная не является объектом манипулирования исследователя, а избирается им путем отбора неквивалентних групп. Скажем, если задачей эксперимента является проверка, как влияет уровень личностной тревожности учащихся на успешность сдачи ответственного итогового экзамена, специально формируются эквивалентны группы по предварительно измеряемым высоким и низким уровнями тревожности и изучается ее влияние на зависимую переменную - успешность выполнения тестов. Результаты выполнения тестов относятся в зависимость от этой личностной характеристики испытуемых, которая выбрана для создания неэквивалентных групп. Такой квазиэксперимент ничем не уступает реальному. Рассмотрим несколько примеров квазиэкспериментального плана. Например, в эксперименте с неэквивалентного контрольной группой сопоставляются результаты неэквивалентных групп до и после испытания. Это дает возможность осуществить контроль отдельных угроз валидности, причем в экспериментах с такими планами сравниваются изменения показателей - передекспериментального и постекспериментального тестирований в неэквивалентных группах. Эта разница между показателями потом оценивается по критерию t-Стьюдента для установления уровня значимости разногласий. Приведем пример эксперимента с работы Д. Мартина "Психологические эксперименты" . Цель эксперимента заключалась в том, чтобы исследовать, повышается производительность труда работников машиностроительного завода при оплате "от выработки». Независимая переменная - способ оплаты, зависимая переменная - производительность труда. В эксперименте участвовали две группы работников завода. Предварительно измерялась производительность их труда, после чего для одной из групп (группа А), участники которой добровольно согласились на эксперимент, вводилась оплата "от выработки». Измерение после эксперимента показали, что производительность труда участников группы А повышалась. В этом квазиэксперимент есть угрозы валидности, а именно: взаимодействие тестирования с результатами экспериментального воздействия, то есть предыдущий уровень производительности труда, может усиливать экспериментальный влияние. 50. Схемы контроля переменных в эмпирическом исследовании.


36. Объяснить факторный эксперимент. Переменные, гипотезы и схемы в факторном эксперименте.

Доэкспериментальные планы, точнее - исследования, которые проводились и проводятся до сих пор по определенным схемам, не учитывают требований, предъявляемых к плану классического экспериментального исследования. Причина - не­знание этих требований или невозможность их учета при проведении реального ис­следования в конкретных условиях. Исследования по схеме доэкспериментальных планов проводились еще до возникновения теории планирования эксперимента. Доэкспериментальные планы служат, скорее, в качестве иллюстрации. В прак­тике научных исследований по возможности их следует избегать. Квазиэкспериментальные планы являются попыткой учета реалий жизни при проведении эмпирических исследований. Квазиэкспери­ментальные планы создаются специально с отступлением от схемы «истинного экс­перимента». Исследователь осознает те источники артефактов - внешние перемен­ные, которые он не может контролировать. Для частичной компенсации и контроля эффектов, возникающих при нарушении планов «истинных экспериментов», иссле­дователи используют искусственные схемы, которые и называются квазиэкспери­ментальными планами. Квазиэксперимент является своеобразным компромиссом между реальностью и «строгостью» методологических предписаний. Однако квазиэксперимент использу­ется не только для решения прикладных проблем, но и для проведения научных ис­следований. Квазиэкспериментальный план используется тогда, когда применение лучшего плана невозможно.

Операционализация переменных, операциональная и конструктная валидность

Средства операционализации переменных – это психологические методики и их выбор . Значения переменных – результаты использования методик.

В экспериментальном исследовании может присутствовать как минимум две методики : для задания НП и измерения ЗП . Они оцениваются в аспектах репрезентативности конструктов НП и ЗП, соответствия реальным условиям, аспекты кот. моделируются.

Операционализация средств , т.е. разработка методического арсенала при проверке пи гипотез –творческий компонент.

Путь связи сути псих. переменной с методикой – косвенная реконструкция того, что репрезентуется показателем. 2 условия:

1) представленные в гипотезе эмпирически нагруженные понятия НП и ЗП должны быть операционализированы (должен быть конкретизирован путь их методического представления в исследовании);

2) Операционализация должна быть такой, чтобы управление экспериментальным фактором или изменения базисного процесса могли быть представлены в виде шкалы, т.е. могли быть измерены.

Надо разделять понятия «метод » и «методика » как разноуровневые единицы анализа пси реальности. Из методики не следует метод. Метод – более крупная единица анализа исследования.

Психологическая методика – способы фиксации псих. данных, техники построения псих. показателей.

Взаимосвязь метода и методики важна в методической операционализации переменных. Этим понятием охватывается решение проблемы выбора методик для задания, фиксации и измерения переменных , как представляющих:

Те или иные конструкты;

Конкретизации переменных в экспериментальной гипотезе;

Реалии моделируемой предметной (эксп) деятельности;

Условия актуализации изучаемых базисных процессов.

Уровни экспериментальных факторов становятся психологическими благодаря тому, что в ЭГ они связываются с ожидаемыми изменениями базисного процесса .

Базисный процесс – центральное звено регуляции изменений, отражаемых в показателях ЗП.

Операциональная валидность – оценка эксперимента с точки зр. степени соответствия эмпирически нагруженным понятиям НП, ЗП и ДП тех методик задания и измерения переменных, которые используются в исследовании.

Оценка операциональной валидности связана с тем, насколько удачно совершен переход от формулирования гипотез к выбору методик .

Конструктная валидность – это оценка обоснованности перехода от представленных в теоретической гипотезе понятий – психологических конструктов – к эмпирическим их репрезентациям как НП, ЗП и ДП.

Оценка возможности обобщения зависит от конструктной валидности (и от внешней).

Взаимосвязь операциональной и конструктной валидности.

Эти виды валидности позволяют оценить содержательное планирование исследования .

Психологическая гипотеза, выводимая как следствие из теоретической концепции , при повторных проверках может несколько видоизменяться , если изменяются средства операционализации переменных . концептуальные репликации - когда предполагается выявление одной и той же теоретической зависимости, но пси конструкты конкретизируются разными методическими ср-вами . При множественных измерениях ЗП разными методиками повышается обоснованность утверждения о характере изучаемого процесса . Измерения типов задания НП также расширяют диапазон обобщений .

В психологии часто при использовании одного понятия изучаются разноуровневые базисные процессы . Пример: понятие импульсивность (как генерализованная черта, как когнитивный стиль и проч).

Валидность (действительный, пригодный, имеющий силу) - фундаментальное понятие экспериментальной психологии. Степень валидности определяет, насколько результаты эксперимента соответствуют поставленной задаче. В психодиагностике валидностью называют комплексную характеристику методики (теста), включающую сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним. А. Анастази дает более простое определение валидности в психодиагностике - «…понятие, указывающее нам, что тест измеряет и насколько хорошо это делает».

В словаре Л.Ф. Бурлачука приводятся определения более 10 видов валидности, используемых в психодиагностике для характеристики измерительных возможностей тестов. В экспериментальной психологии в основном используют четыре вида валидности: внешняя, операциональная, внутренняя и экологическая.

Внешняя валидность . В.Н.Дружинин определяет внешнюю валидность как характеристику меры соответствия экспериментальной процедуры реальности. От степени внешней валидности зависит правомочность перенесения результатов исследования из лабораторных условий на реальные процессы и обобщение их на другие сферы реальности. Причем связь теории и реальности отражается в адекватности теории, реальности и прогностичности ее предсказаний.

К.А.Рамуль приводит эксперимент, проведенный вVII веке до н.э. египетским фараоном Псамметихом. Этот фараон задался целью выяснить, какой народ из всех живущих на земле наиболее близок к Богу. На языке современной экспериментальной психологии в этом вопросе (вопросе богоизбранности) заключалась проблема исследования. Основное теоретическое положение, положенное Псамметихом в основу исследования, утверждало, что богоизбранный народ обладает первоязыком. В эксперименте проверялась гипотеза, что первоязыком обладает именно народ Египта. В случае неопровержения этой гипотезы египетский народ получал доказательство своей богоизбранности, что имело важное политическое значение (один из первых отмеченных в истории случаев попытки применения результатов психологического исследования к задачам практики).

Сам эксперимент проводился следующим образом. Двоих новорожденных детей отдали в горы пастухам со строгой инструкцией: кормить детей козьим молоком и ни в коем случае не произносить при детях ни одного слова. Целью эксперимента было выяснить первое, генетически заложенное слово.

Через два года дети выбежали на встречу экспериментатору с криком «бекос» (в русской транскрипции).

Таким образом, первое генетически заложенное слово определили, но, к досаде древнеегипетских исследователей, в словаре египетского языка это слово отсутствовало. Зато это слово нашли в словаре языка фригийцев, более того, у фригийцев это слово обозначало «хлеб», т.е. понятие, играющее первостепенную роль в жизни каждого народа.

Псамметих как честный ученый был вынужден признать, что богоизбранным народом являются фригийцы, или отказаться от первоначальных теоретических построений. Что именно он предпочел, история умалчивает.

Насколько описанный эксперимент отвечает критерию внешней валидности?

К организации и проведению самого эксперимента придраться трудно. Сомнения вызывают теоретическое обоснование и постановка проблемы проведенного эксперимента. Сегодня с высоты современных представлений очевидна некорректность самой постановки проблемы и основного теоретического положения эксперимента Псамметиха. Оставляя в стороне вопрос о том, «есть ли Бог», нам известно, что их язык и речь не закладываются генетически в готовом к употреблению виде, а являются продуктом социального развития на основе генетически заложенных предрасположенностей. Но попробовали бы мы заявить это в Древнем Египте, в лучшем случае нас бы посчитали неграмотными сумасшедшими.

Более современный пример нарушения внешней валидности - применение положений теории информации в психологии. Наряду с несомненной пользой - привлечение к проблемам психологии математиков, физиков и инженеров, необходимость занятий математикой для психологов, определяющих более строгое мышление, оперирование строго определенными понятиями (сигнал, шум, канал связи и т.д.) - есть в этом достаточно большие проблемы. Непосредственное применение к человеку современного математического аппарата теории информации вызывает некоторое сомнение в основном потому, что мы до сих пор не знаем принципов работы приемника (системы переработки информации нашей психикой). Но эксперименты по применению теории информации в психологии в свое время были очень популярны. Схема этих экспериментов такова: описывают набор стимулов термином из теории информации, чаще всего энтропией (Н=УP1lgP1, , где Р1 -вероятность появления стимула в наборе), и исследуют зависимость времени реакции на стимулы от энтропии. Если какая-нибудь зависимость проявляется, значит, теория информации подходит для описания работы психики. Но связь времени реакции со структурой набора очевидна и без теории информации. Опять несоблюдение внешней валидности.

Не всегда нарушение внешней валидности приводит к неправильным выводам. Вспомним теорию гомункулуса - маленького человечка, который живет у нас в голове и осуществляет все наши психические процессы. Исходя из этой теории построим эксперимент по проверке гипотезы: количество воспринятых знаков растет с ростом экспозиции (время предъявления), т.е. чем дольше мы предъявляем нашему гомункулусу картинку, тем более подробно он ее воспринимает (больше деталей). Эксперимент нашу гипотезу не опровергает, но это не означает, что теория гомункулуса верна.

Так что такое внешняя валидность? Соответствие результатов эксперимента «истине», которая, как известно, недостижима, или принятой в данное время научной парадигме? Наверное, все-таки последнее.

Научная парадигма представляет собой достаточно устойчивое образование. Смена парадигм случается очень редко, и этот процесс очень болезненно переживается научной общественностью. Не зря Кун назвал смену научной парадигмы революцией. Поэтому результаты экспериментов, которые противоречат существующей парадигме, как правило, относят к артефактам.

Примером может служить знаменитый опыт Майкельсона-Морали, результаты которого противоречили доминирующей в то время теории эфира. Впоследствии эти результаты были признаны как подтверждающие специальную теорию относительности, но это было поле того, как Эйнштейн разработал эту теорию и она получила если не признание, то по меньшей мере известность. Причем сам Эйнштейн, создавая свою знаменитую теорию, не знал об опытах Майкельсона-Морали. Для смены научной парадигмы мало даже большого количества противоречащих ей экспериментальных результатов. Главное для этого - появление равноценной теории, объясняющей эти результаты.

По словам Тулмина, задача ученого состоит в том, чтобы в интеллектуальной ситуации, предъявляющий ряд требований, приспособить некоторое новое открытие к унаследованным идеям, не создавая без нужды угроз интеллектуальным достижениям своих предшественников(10).

Научная парадигма появляется не на пустом месте. Перед тем как занять свое главенствующее положение, теории, представляющие парадигму, показали свою адекватность реальности и свою прогностическую силу.

Внутренняя валидность отражает степень соответствия изменений зависимой переменной изменениям независимой. Полная внутренняя валидность достигается, если удается установить строгую функциональную зависимость между этими переменными: R=f (S), где R - зависимая переменная (реакция испытуемых); S - независимая переменная (релевантный стимул).

Если при проверке общей эрудиции мы задаем вопросы, а ответов нет, то это не значит, что низка эрудиция и испытуемый не может учиться в институте. Смотря какие вопросы мы задаем. В вариантах текстах Векслера спрашивали про цвета советского флага и имена первых трех космонавтов, летавших после Гагарина. но сегодня мало кто помнит космонавтов после Титова, и где это пятилетний малыш мог видеть советский флаг? Один молодой англоязычный психиатр подрабатывал санитаром а отделении для буйных в одной испаноязычной клинике. В это время в стране испытывался препарат «резерпин». Он свято верил в действенность резерпина, и действительно в отделение, куда раньше санитары могли входить только вдвоем - втроем, после применения резерпина, которое совпало с его прибытием, психиатр входил спокойно и его встречали спокойные приветливые больные. Разумеется, он написал отчет о чудесном действии резерпина. Но оказалось, что именно в его клинику было прислано плацебо, т.е. таблетки, не содержащие резерпина, просто какой-нибудь кальций глюканат. А больных успокаивало не Действие лекарства, а спокойная доброжелательная улыбка врача, который сменил злых от страха санитаров.

Выявлен ряд факторов, которые могут угрожать внутренней валидности. Самые распространенные из них следующие:

  • 1) Изменение во времени. Время суток, время года, человек все время меняется, растет усталость, рассеивается внимание, изменяется заинтересованность и т.д.
  • 2) Эффект последовательности. Влияние одного из условии на следующее за ним (перенос) - обучение в ходе эксперимента, усталость послевкусие при дегустации, иконическая или эхоническая память (остаточное возбуждение рецепторов), адаптация, попытка угадывать правильный ответ или появление стимула (субъективная вероятность);
  • 3) Эффект Розенталя (Пигмалиона). Влияние предубеждения экспериментатора на результаты исследования, попытки подогнать результаты под желаемую теоретическую схему.
  • 4) Эффект Хоторна. Испытуемый старается угодить экспериментатору, старается ему понравится, боится обидеть. Это влияет на выбор стратегии решения экспериментальных задач.
  • 5) Эффект плацебо. На испытуемого действует сама атмосфера проведения эксперимента.
  • 6) Эффект аудитории. В присутствии зрителей изменяется поведение, изменяются результаты. Особенно в группах, где присутствую представители разного пола.
  • 7) Эффект впечатления. Оно, как правело, доминирует, и испытуемому трудно изменить первоначально сложившиеся мнение, особенно приоценке личности.
  • 8) Эффект Барнума. Склонность людей принимать за чистую монету описания или общие оценки своей личности, если они даются под научным, магическим или ритуальным соусом.
  • 9) Сопутствующие смешение. Влияние на зависимую переменную нерелевантных стимулов, от которых принципиально невозможно избавиться.
  • 10) Фактор выборки. Неграмотно составленная выборка испытуемых может полностью уничтожить внутреннюю валиддность.

Операциональная валидность определяет степень соответствия методики и плана эксперимента проверяемой гипотезе. Операциональная валидность представляет частный случай внешней.

Примером нарушения операциональной валидности может служить эксперимент, проведенный Куртом Левиным. Он поставил пред собой задачу исследовать при каком режиме - демократии, анархии или диктатуре - люди чувствуют себя наиболее комфортно. Моделями исследования были искусственно созданные ситуации общения детей и взрослых в детских оздоровительных лагерях. Демократии соответствовала группа, в которой дети и взрослые совместно решали повседневные вопросы. В модели диктатуры все решения принимались исключительно взрослыми. Анархию моделировала группа, в которой взрослые отсутствовали и все решения дети принимали сами. По результатам исследования был сделан вывод, что лучше всего человек чувствует себя в демократическом обществе(2 стр. 464). Понятно, насколько далеки были от действительности экспериментальные модели Курта Левина.

Экологическая валидность определяет, насколько условия эксперимента имитируют исследуемую реальность. В полевых экспериментах экологическая валидность достигает максимума естественным образом, соответственно в лабораторных экспериментах соблюсти высокую степень экологической валидности достаточно тяжело, причем не всегда это необходимо.(6 стр.62)

В любом случае, конструктная валидность обусловливает теоретическую точность экспериментального исследования, т.е. насколько соотносится причинно-следственное отношение, сформулированное в теории, и причинно-следственная связь независимой и зависимой переменных, обнаруженная в результате исследования: « … конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? … ».

Другими словами, конструктная валидность выражает точность экспериментальной реализации гипотезы в исследовательской процедуре: « … валидность конструктная – характеризует точность реализации теоретической гипотезы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте … »

Конструктная валидность контролируется содержательным планированием. Она определяет теоретическую точность конструирования идеального эксперимента. Уверенность в конструктной валидности приходит по мере получения всё большего количества подтверждающих результатов: « … конструктная валидность – особенно подходит для экспериментальных исследований. Она имеет отношение сразу к двум вопросам: является ли оцениваемый конструкт валидным, а инструмент, с помощью которого производится оценка, - наилучшим. Конструктная валиднось тесно связана с сущностью теории, построением гипотеза на основании теории и оценкой теорий, выведенных из результатов исследования. Конструктная валидность как таковая никогда не подтверждается и не разрушается одним исследованием, а также её невозможно доказать по тем же причинам, по каким невозможно доказать теорию. Уверенность в конструктной валидности растёт постепенно по мере получения исследователями подтверждающих результатов … »

Залогом высокой конструктной валидности нашего экспериментального исследования является исторический (креативный) метод обоснования конструекции идеального эксперимента, а практическим подтверждением высокой конструктной валидности исследования является реальный рост учебной мотивации. Как известно, в условиях современного образовательного процесса динамика учебной мотивации имеет противоположный знак.

Операциональная валидность

Ещё один вид внутренней валидности – операциональная валидность. Операциональная валидность обусловливает адекватность методики и плана экспериментального исследования проверяемой гипотезе. Операциональная валидность обусловливает соответствие реального эксперимента теоретической гипотезе, поскольку именно в гипотезе фиксируется характер связи независимой и зависимой переменных: « … валидность операциональная – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Операциональная валидность является одним из проявлений внутренней валидности … » .


Другими словами, операциональная ваалидность отвечает за то, что установленная в реальном исследовании связь представляет собой именно ту связь, которая сформулирована в гипотезе: « … решение вопроса о том, что установлена именно представленная в гипотезе связь, а не какая-то другая, зависит от оценки внутренней и операциональной валидности эксперимента … »

Способом контроля операциональной валидности, так же как и конструктной, является содержательное планирование. В данном случае с помощью содержательного планирования была операционализирована «независимая переменная» («схема» организации онтологического общения), «зависимая переменная» (психологическая сложность предметных задач), оценено влияние дополнительной переменной («разный психический возраст учащихся») и найдено решение за счёт дифференциации требований к учащимся различный психических возрастов: « … содержательное планирование включает решение (разрешение) всех вопросов конструктной и операциональной валидности, заключающихся в конкретизации и операционализации НЗП (независимой переменной), ЗП (зависимой переменной) и выбора уровней ДП (дополнительной переменной). Оно предполагает развёртывание содержательных доводов как с точки зрения обоснования экспериментальных гипотез, так и с точки зрения соотнесения используемых психологических конструктов и методических процедур измерения переменных … ».

Внешняя валидность

Внешняя валидность – является мерой соответствия экспериментальной процедуры исследуемому реальному объекту.

На внешнюю валидность влияют дополнительные переменные. Внешняя валидность контролируется путём контроля дополнительных переменных: « … соответствие реального исследования изучаемой объективной реальности назовём внешней валидностью … ».

Внешняя валидность зависит от репрезентативности выборки и сопоставимости контролируемых дополнительных переменных дополнительным переменным в других условиях: « … валидность внешняя – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на иные лабораторные условия … »

От внешней валидности зависит перенос результатов из лабораторных условий в реальность и обобщение результатов (выводов): « … внешняя валидность … - возможность переноса результатов эксперимента на определённую реально существующую совокупность, ситуацию или условия, отличающиеся от условий эксперимента … »

Поскольку наше исследование во многом организовывалось как полевое (естественное), особые проблемы с внешней валидностью не стояли. В результате экспериментальное обучение было проведено в условиях большого количества дополнительных переменных (наполняемость классов; возраст учащихся; тип образовательных учреждений; степень урбанизированности культурной и социальной среды; культура; этнопсихологические особенности; степень периферийности учебного заведения; стиль преподавания; социально-психологический климат в учебном заведении; социальное происхождение учащихся и пр. и пр.).

Полученные в результате данные свидетельствуют о их высокой внешней (экологической) валидности.

Критериальная валидность

В проведённом исследовании особое значение имел ещё один вид валидности – критериальная валидность. Необходимость её рассмотрения связана с тем, что в условиях экспериментального обучения получаемые результаты всегда соотносятся с критериями, на основании которых производится оценка эффективности и успешности экспериментального обучения: « … валидность названа «критериальной», потому что результаты рассматриваемых измерений соотносятся с некоторым значением или критерием … ».

Важность критериальной валидности заключается в том, что позволяет оценить эффективность экспериментального обучения с возможной эффективностью реальной жизнедеятельности: « … валидность критериальная – отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям, включает в себя текущую и прогностическую валидность … »

С этой точки зрения критериальная валидность представляет большую важность как мера прогностичности идеального исследования: « … отношение идеального исследования к реальности можно охарактеризовать как теоретическую, или прогностическую, валидность … ».

Эксперименты, направленные на выделение независимой переменной, часто предпринимаются, чтобы проверить истинность теории. В настоящее время теории, как правило, абстрактны, в то время как эксперименты должны быть конкретными. В связи с обсуждаемыми новыми экспериментами встает по-новому вопрос относительно внешней валидности, а именно – вопрос, тот ли эксперимент был проведен. Необходимо, чтобы конкретная методика эксперимента вполне соответствовала экспериментальной гипотезе, изложенной в более абстрактных терминах. Например, можно выдвинуть гипотезу, что отклонения в поведении подростков преодолеваются более эффективно рациональным путем («убеждением»), чем наказанием. Экспериментатор должен применить какой-то конкретный вид наказания. Предположим, в качестве такового он выбрал неприятный звук зуммера. Является ли этот звук адекватной экспериментальной операционализацией абстрактного термина наказание? Безусловно, нет. Скорее всего, он будет действовать на рефлекторном уровне. (При этом может оказаться, что и самому экспериментатору придется надеть наушники.)

Исследовательская гипотеза, которую проверяют в эксперименте формулируется, как правило, в довольно общих и абстрактных понятиях, которые должны репрезентироваться в конкретном эксперименте. Например, насколько громкий звук зуммера может репрезентировать абстрактное понятие наказания. На самом деле он очень мало похож на наказание. Обычно наказание связывается с представлением о боли, лишении собственности или свободы, общественном осуждении. Именно в вопросе перевода абстрактных или теоретических понятий на язык конкретного эксперимента даже лучшие психологи подчас демонстрируют сомнительную логику. Если такой перевод вызывает сомнения, то говорят, что эксперимент лишен операциональной валидности.

Эксперимент в социальной психологии. Классическое исследование влияния авторитарной, демократической и анархической обстановки на групповое поведение 10-летних мальчиков. Можно назвать описанные ситуации соответственно как деспотию, либеральную монархию и демократию. Эти действительные режимы не смогли реализоваться полностью (кроме взрослого лидера) из-за недостатка времени. Другой вопрос, связанный с операциональной валидностью, – насколько эти кратковременные эксперименты с детьми, живущими в очень разной домашней обстановке, могут вообще что-либо говорить о поведении индивидов, которые постоянно находятся в соответствующих социальных условиях.

Таким образом, операциональная валидность означает, что конкретные экспериментальные операции (создание условий и получение зависимой переменной) репрезентируют независимую и зависимую переменные в недостижимом эксперименте полного соответствия. В данном случае эксперимент полного соответствия невозможен, потому что он существует в мире теорий, а не в сфере конкретных операций.

Источники экспериментальных гипотез. Для прикладных исследований экспериментальные гипотезы довольно часто рождаются непосредственно из повседневной жизни, возникают из насущных потребностей или, по меньшей мере, из желания что-либо улучшить. Для научных исследований, как направленных на улучшение понимания поведения, более типично основываться на предшествующих экспериментах. Даже если в голову приходит блестящая оригинальная идея необходимо просмотретьлитературу (так называются опубликованные работы по данной проблеме). Лучше посмотреть самые поздние научные обзоры по общей проблеме. Вы выясните актуальные проблемы и получите также целый ряд ссылок на оригинальную литературу. Чтобы хорошо проводить эксперименты, вы должны знать теоретический контекст. Возможно, что изучение источников даст вам ориентировку в интересующей проблеме и покажет, что необходимо изучить далее для успешной разработки других проблем.

Испытуемые. В экспериментах с выделением независимой переменной экспериментатор редко сталкивается с проблемой выбора таких испытуемых, которые представляют всю популяцию. Для выделения независимой переменной можно использовать любых испытуемых. Вместо этого исследователь сосредоточивается на вопросах внутренней валидности и проблему обобщения результатов решает путем обследования разных групп испытуемых в отдельных экспериментах. Если мы проверяем гипотезу о наличии какой-то способности, достаточно проверить ее на одном человеке. Раз один человек может одновременно слушать и понимать сразу два сообщения, значит, это – в пределах человеческих возможностей.

В этой главе абстрагирование и обобщение тесно взаимосвязаны. Здесь мы уже не задавали себе вопрос, какое условие или уровень независимой переменной действует лучше. Вместо этого мы отвечали на вопрос, что именно в данном условии обусловливает разницу в поведении. Слова «обусловливает разницу в поведении» предполагает меньший, чем ранее, интерес к условиям «лучшим, чем другие». Это связано с тем, что в научных исследованиях понятие «лучшее», как правило, неадекватно. Таким образом, действие изолированной (абстрагированной) независимой переменной может быть широко обобщено.