Понятие и виды валидности. экспериментальная психология

Способы установления валидности методики

Чаще всего понятие «валидность» обсуждается в контексте конкретных методик или экспериментов. При этом может быть поставлен вопрос и о валидности определенного метода в целом (например, метода тестирования или ассессмент центра). Подобные исследования проводятся с помощью мета-анализа.

Существуют три основных способа установления валидности методики.

I. Оценка содержательной валидности.

Содержательная валидность — степень соответствия содержания заданий методики той реальной деятельности, в которой проявляется измеряемое в методике свойство. Частным случаем содержательной валидности является так называемая очевидная (лицевая или фейс) валидность — степень соответствия методики ожиданиям оцениваемых. Для большинства методик считается важным, чтобы для участника оценки была очевидна связь между содержанием процедуры оценки и той реальной деятельностью, которая является объектом оценки (профессиональная, учебная, семейная и т. п.).

II. Оценка конструктной валидности.

Конструктная валидность — это степень обоснованности того, что методика действительно измеряет заданные и при этом научно обоснованные конструкты. Существуют, как минимум, две стратегии установления конструктной валидности.

Подход первый — «конвергентная валидизация» — это проверка ожидаемой связи результатов конкретной методики с показателями других методик, измеряющих сходные характеристики. Например, если для измерения какой-либо черты существует несколько методик, целесообразным было бы провести эксперименты по хотя бы двум, и тогда при обнаружении высокой положительной корреляции их результатов между собой можно говорить о валидности. Основной целью конвергентной валидизации является определение того, будут ли оценки теста варьироваться в соответствии с ожиданиями.

Подход второй — . Проверка валидности здесь заключается в том, что тест не должен измерять никакой черты, с которой он теоретически и не должен быть связан.

III. Оценка критериальной валидности.

Критериальная валидность — это определенная статистическими методами степень соответствия результатов методики и определенных заранее внешних критериев. В качестве подобных критериев могут выступать:

• независимые от результатов методики непосредственные меры исследуемого качества (такие как уровень достижения в какой-либо деятельности, степень развития способности, выраженность определенного свойства личности и т. д.),
• показатели социально- или оргазизационно-значимых результатов деятельности (ключевые показатели эффективности (КПЭ или KPI), успеваемость, устойчивость семейных отношений и т. п.)

Одним из видов критериальной валидности является т. н. «прогностическая» валидность. Этот вид валидности используется, когда методика призвана давать определенный прогноз поведения человека. Соответственно, если прогноз оправдывается с течением времени, это говорит о том, что методика является прогностически валидной.

Профессиональные разработчики методик должны обосновывать все перечисленные виды валидности и вести постоянный сбор свидетельств в пользу валидности их инструментов.

[Править]См. Также Дискриминативность

Дискриминативность задач определяется как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл, или испытуемых с высокой продуктивностью учебной деятельности от испытуемых с низкой продуктивностью.

Другими словами, дискриминативность — способность заданий теста дифференцировать студентов относительно «максимального» или «минимального» результата теста. Определение дискриминативности тестового задания необходимо для того, чтобы поставить заслон некачественным заданиям.

Для вычисления дискриминативности будет применяться метод крайних групп: при расчете дискриминативности тестового задания учитываются результаты наиболее и наименее успешных студентов — это самый простой и наглядный метод вычисления дискриминативности.

Доля членов крайних групп может изменяться в широких пределах в зависимости от величины выборки. Чем больше выборка, тем меньшей долей испытуемых можно ограничиться при выделении групп с высоким и низким результатами. Нижняя граница «отсечения групп» составляет 10% от общего числа испытуемых в выборке, верхняя — 33%. В данном случае будет использоваться 27% группа, так как при таком процентном соотношении достигается максимальная точность определения дискриминативности. Индекс дискриминации вычисляется как разность между долей лиц, правильно решивших задачу, из «высокопродуктивной» и «низкопродуктивной» групп.

Психометрический парадокс — явление, возникающее при использовании опросников личностных; его сущность состоит в том, что вопросы (утверждения), имеющие высокий показатель дискриминативности (см. Дискриминативность заданий теста), являются неустойчивыми по отношению к повторяемости результата, и, наоборот, стабильность ответа часто отмечается у тех вопросов, которые обладают низкой дискриминативностью.

П. Айзенбергом (1941) было показано, что вопросы, которые позволяют отличать больных неврозом от других больных или здоровых, являются ненадежными; иначе говоря, мала вероятность получения того же самого ответа при повторном обследовании. В то же время с помощью вопросов, определяемых как надежные, различение изучаемых групп не достигалось или было неудовлетворительным. Позднее изучению этого явления, получившего название П. п., были посвящены работы Л. Голдберга (1963) и М. Новаковской (1975).

П. п. не может быть объяснен без психологического анализа процесса формирования ответов на вопросы личностных опросников. Согласно М. Новаковской, вопросы, оставаясь формально неизменными, подвержены семантическим (психологическим) преобразованиям как в плане интериндивидуальном, так и интра-индивидуальном. Интериндивидуальная изменчивость обусловлена двумя причинами: различия в выраженности измеряемой черты (свойства) у разных обследуемых и различия в понимании значения вопросов. Интраиндивидуальная изменчивость обусловлена вариабельностью значения, трудностью принятия решения об ответе и флуктуацией выраженности черты (последний источник изменчивости можно не учитывать, если интервал между повторными исследованиями невелик).

Для психологической интерпретации П. п. М. Новаковская предлагает различать три детерминанты ответов: выраженность черты у обследуемого; значение, придаваемое вопросу; степень легкости принятия решения об ответе. Она подчеркивает также необходимость отличать вопросы однозначные от многозначных, которые в известном смысле могут быть Уподоблены проективным стимулам.

М. Новаковская предлагает различать два вида П. п. — типа Л и типа В — и исходить из следующих гипотез их возникновения. Парадокс типа Л возникает при вопросах, поддающихся различному истолкованию (многозначных), а также в том случае, когда трудно принять решение об ответе. Такие вопросы имеют высокий показатель дискриминативности при значительной вариабельности ответа. Парадокс типа В возникает при однозначных вопросах, для которых легко подобрать ответ. Сюда же должны быть отнесены т. н. односторонние диагностические вопросы или те вопросы, для которых только один тип ответа является диагностически значимым. Подобные вопросы характеризуются слабой дискриминативностью и незначительно выраженной вариабельностью.

Необходимо учитывать П. п. при конструировании (адаптации) личностных опросников.

Валидность это в психологии

В психологии понятие валидности обозначает уверенность экспериментатора в том, что он измерял именно то, что хотел с помощью определенной методики, показывает меру соответствия результатов и самой методики относительно поставленных задач. Валидное измерение – это то значение, которое измеряет именно то, для чего было создано. Например, методика, направлена на определение темперамента, должна измерять именно темперамент, а не нечто другое.

Валидность в экспериментальной психологии очень важный аспект, является важным показателем, который обеспечивает достоверность результатов, и с ним иногда больше всего возникает проблем. Совершенный эксперимент должен обладать безупречной валидностью, то есть он должен демонстрировать, что экспериментальный эффект вызван модификациями независимой переменной и полностью соответствовать действительности. Полученные результаты без ограничений можно обобщать. Если речь идет о степени данного критерия, то предполагается, что результаты будут соответствовать поставленным задачам.

Проверка на валидность осуществляется тремя способами.

Оценивание содержательной валидности, проводится, чтобы узнать уровень соответствия использованной методики и реальной действительности, в которой выражается исследуемое свойство в методике. Существует здесь также такой компонент, как очевидная, еще ее называют лицевая валидность, она характеризует степень соответствия теста к ожиданиям оцениваемых. В большинстве методик считается очень важным, чтобы участник оценки видел очевидную связь содержания процедуры оценки и действительности того объекта оценки.

Оценивание конструктной валидности исполняется для получения степени обоснованности, что тест реально вычисляет те конструкты, которые заданные и научно обоснованные.

В конструктной валидности имеются два направления. Первый называется конвергентной валидизацией, с его помощью проверяется ожидаемая связь результатов методики с характеристиками из других методик, которые измеряют исходные свойства. Если для измерения какой-то характеристики необходимо несколько методик, то рациональным решением было бы проведение экспериментов минимум двух методик, чтобы при сопоставлении результатов обнаружив высокую положительную корреляцию, можно было утверждать о валидном критерии.

Конвергентная валидизация определяет вероятность вариации оценки теста с ожиданиями. Второй подход, называется дискриминантная валидизация, в ней заключается, что методика не должна измерять никаких характеристик, с которой теоретически не должно быть корреляции.

Проверка на валидность, также бывает критериальной, она, руководствуясь статистическими методами, определяет степень соответствия результатов к заранее определенным внешним критериям. Такими критериями могут быть: непосредственные меры, независимые от результатов методики или значение социально-организационных значимых показателей деятельности. В критериальной валидности также выделяют прогностическую, она применяется при потребности прогнозирования поведения. И если получается, что этот прогноз осуществляется со временем, значит методика прогностически валидна.

Создание инструментов

И все-таки, валидизация – это что такое? Изысканные инструменты валидизации первыми начали создавать психологи. Еще в 1959 году была разработана особая методика Д. Фиске и Д. Кампбеллом (США). Она получила вполне природное для английского, но непереводимое на наш язык, наименование: мультиметодная-мультичертовая матрица (МТММ). Эта матрица представляла собой таблицу корреляций. Она состояла из двух весьма привлекательных изобретений, одно из которых предназначалось для выявления конвергентной истинности, а другое – для дискриминантной.

Ее авторы утверждали, что каждый сможет доказать внутреннюю приемлемость, если:

• величины, между которыми предположен высокий уровень теоретической связи, обнаружат идентичный уровень в эмпирии (конвергенция) ;
• величины, теоретически не связанные между собой, окажутся не связанными и эмпирически после исполнения испытания (дискриминация).

Грубо говоря, валидность конвергентная должна изъявить, что между двумя командами наемных специалистов, к примеру, строительными и конвейерными рабочими, в отношении шансов на рынке труда намного больше сходства, чем между собственниками и наемными работниками. Если теоретически намеченная связь выявлена эмпирически, ваш образец валиден.

Валидность дискриминантная выказывает степень идентификации различных явлений. Если взять тот же пример с рынком труда, то нужно ожидать, что отлично построенная теория может заложенными в нее средствами отличить возможности владельцев и наемных работников на рынке труда. Путать их нельзя, и ваша теория их различить способна.

Если вы создали шкалу, вымеривающую математические способности, то в случае валидности конвергентной индексы математических дарований должны хорошо коррелировать с общими умениями человека, если на теоретическом уровне такая связь имеется, и плохо — со способностями эстетическими, требующими от человека совсем иных талантов, нежели навыки счета, если, конечно же, низкая корреляция провозглашается вашей теорией.

Что такое надежность

В ходе проверки надежности теста проводится оценка постоянства полученных результатов при повторном проведении испытания. Расхождения данных должны отсутствовать или же быть незначительными. В противном случае невозможно относиться к результатам теста с доверием. Надежность теста — это критерий, который свидетельствует о точности измерений. Существенными считаются следующие свойства тестов:

• воспроизводимость результатов, полученных по итогам исследования;
• степень точности методики измерения или соответствующих приборов;
• устойчивость результатов на протяжении определенного периода времени.

В трактовке надежности можно выделить следующие основные составляющие:

• надежность измерительного инструмента (а именно грамотности и объективности тестового задания), которая может быть оценена путем расчета соответствующего коэффициента;
• стабильность изучаемого признака на протяжении длительного периода времени, а также предсказуемость и плавность его колебаний;
• объективность результата (то есть его независимость от личных предпочтений исследователя).

Факторная валидность

Факторная валидность. Прямое отношение к характеристике конструктной валидности имеет факторный анализ, позволяющий строго статистически проанализировать структуру связей показателей исследуемого теста с другими известными и латентными факторами, выявить общие и специфические для группы сопоставляемых тестов факторы, степень их представленности в результатах, т. е. определить факторный состав и факторные нагрузки результата теста

Исключительная важность такой процедуры является основанием для выделения ее в особый вид конструктной валидности – факторную валидность

Важным аспектом конструктной валидности является внутренняя согласованность, отражающая то, насколько определенные пункты (задания, вопросы), составляющие материал теста, подчинены основному направлению теста как целого, ориентированы на изучение одних и тех же конструктов. Анализ внутренней согласованности осуществляется путем коррелирования ответов на каждое задание с общим результатом теста.

При определении конструктной валидности важное место принадлежит изучению динамики измеряемого конструкта. При этом мы можем опираться на гипотезы о его возрастном развитии, влиянии тренировок, обучения, освоения профессии и т

д. Одним из таких подходов является применение критерия возрастной дифференциации, что предусматривает согласование результатов теста с ожидаемыми изменениями, которые претерпевает изучаемое психическое свойство в возрастной динамике при переходе на новый этап развития. Этот метод конструктной валидности особенно важен для валидизации тестов интеллекта, достижений в обучении.

В комплекс сведений о конструктной валидности методики входят также данные, относящиеся к сфере критериальной и содержательной валидности. Так, критерии, используемые при валидизации, несут информацию, позволяющую раскрыть область поведения, качества, представленные в тесте в виде конструкта. Для характеристики конструктной валидно-сти необходимы связь с практическими формами деятельности, достоверность прогноза реального поведения. Однако конструктная валидность является качественно более высоким и комплексным уровнем описания теста, характеризуя область измеряемого поведения в широких психологических понятиях. Благодаря данным конструктной валидности мы можем с психологических позиций закономерно объяснить результаты теста и их дисперсию, обосновать диагноз, введя измеряемое свойство в систему психологических категорий, прогнозировать поведение в более широких пределах, чем это задается областью деятельности, для которой определялась содержательная валидность.

Валидность теста это

Тест – это стандартизованное задание в результате применения, которого получаются данные о психофизиологическом состоянии человека и его личностные свойства, его знания, способности и навыки.

Валидность и надежность тестов – это два показателя, которые определяют их качество.

Валидность теста определяет степень соответствия исследуемого качества, характеристики, психологического свойства к тесту, с помощью которого они определяются.

Валидность теста является показателем его эффективности и применяемости к измерению необходимой характеристики. Самые качественные тесты имеют 80% валидности. При валидизации следует учитывать, что от контингента испытуемых и их характеристик, будет зависеть качество результатов. Получается, что один тест может быть как высоко достоверным, так и совсем невалидным.

Существует несколько подходов к определению валидности теста.

При измерении сложного психологического явления, которое имеет иерархическую структуру и его невозможно исследовать, применяя всего один тест, применяют конструктивную валидность. Она определяет точность исследования сложных, структурированных психологических явлений, качеств личности, измеряемых с помощью тестирования.

Валидность за критерием – это такой критерий теста, за которым определяется исследуемое психологическое явление в настоящий момент и прогнозирование особенностей этого явления в будущем. Для этого результаты, полученные при тестировании соотносятся со степенью развития измеряемого качества на практике, оценка специфических способностей в определенной деятельности. Если валидность теста имеет значение минимум 0,2 то применение такого теста является оправданным.

Содержательная валидность – это критерий теста, который применяется для определения соответствия области его измеряемых психологических конструктов, демонстрирует все полноту множества измеряемых показателей.

Прогностическая валидность – критерий, за которым можно предсказать характер развития исследуемого качества в будущем. Такой критерий качества теста очень ценный, если смотреть с практической стороны, но могут быть сложности, поскольку исключается неравномерность развития данного качества в разных людей.

Надежность теста – это критерий теста, который измеряет уровень стабильности результатов, полученных после тестирования, при повторном исследовании. Определяется путем вторичного тестирования спустя определенное количество времени и расчета корреляционного коэффициента результатов, полученных после первого и после второго тестирования

Также важно, учитывать особенности самой процедуры проведения тестов и социально-психологической структуры выборки. Один и тот же тест может иметь разную надежность, зависимо от пола, возраста, социального статуса исследуемых. Поэтому надежность может иногда иметь неточности, ошибки, которые истекают из самого процесса исследования, поэтому ищутся пути, как уменьшить влияние определенных факторов на тестирование

Можно утверждать о надежности теста, если она составляет значение 0,8-0,9

Поэтому надежность может иногда иметь неточности, ошибки, которые истекают из самого процесса исследования, поэтому ищутся пути, как уменьшить влияние определенных факторов на тестирование. Можно утверждать о надежности теста, если она составляет значение 0,8-0,9.

Валидность и надежность тестов очень важны, потому что определяют тест, как измерительный инструмент. Когда надежность и валидность неизвестны, тест считается неприменяемым для применения.

В измерении надежности и валидность имеет место также этический контекст

Это особенно важно, когда результаты тестирования имеют значимость в использовании их для принятия жизненно важных решений людей. Одних людей принимают на работу, других отсеивают, одни студенты проходят в учебные заведения, а другие должны еще доучиться сначала, кому-то определяется психиатрический диагноз и лечение, а кто-то здоров – это все говорит о том, что подобные решения принимаются на основании изучения оценки поведения или специальных способностей. Например, человек ищущий работу, должен пройти тестирование, и его оценки есть решающими показателями при приеме на работу, узнает, что тест был не в меру валидным и надежным, он очень разочаруется

Например, человек ищущий работу, должен пройти тестирование, и его оценки есть решающими показателями при приеме на работу, узнает, что тест был не в меру валидным и надежным, он очень разочаруется.

Специфика и задачи психологического эксперимента

Эксперимент в психологии проводится с целью получить новые научные сведения путем исследования жизнедеятельности испытуемого.

Специфика состоит в том, что:

• о деятельности психики можно получить сведения, лишь основываясь на ее проявлениях (например, в виде определенного поведения), ибо как конструкт ее нельзя объективно наблюдать;
• невозможно выделить какой-то один из психических процессов, изучая их, так как воздействие происходит всегда на психику в целом;
• происходит активное взаимодействие между испытуемым и экспериментатором (в проведении исследований с людьми и, например, с приматами), что делает необходимым инструктаж (для более точного понимания требований).

В эксперименте выделяют 3 вида переменных:

• независимая;
• зависимая;
• дополнительные (внешние).

Общей задачей психологического эксперимента является установление наличия связей между ними.

Понятие валидности является здесь краеугольным камнем. Она дает некоторую уверенность ученым в том, что они измерили то, что хотели. Предпринимая множество мер для соблюдения всех ее видов, все равно невозможно быть абсолютно уверенным в следовании им до конца ввиду недостижимости безупречного эксперимента.

Валидность в психологии

Валидность используется во многих сферах жизни, где происходят измерения различных показателей. В психологии валидность также становится нужной, особенно в экспериментальной психологии. Валидность в психологии – это:

• уверенность экспериментатора в том, что он измеряет нужное ему качество;
• достоверность показателей, которые измеряют данное качество.

Если читатель хоть раз проходил психологические тесты, то он знает о внутреннем желании получить конкретный ответ на поставленный вопрос. Валидность теста показывает экспериментатору конкретный результат, которого он достигает путем тестирования. Здесь стоит конкретная задача, ответ на которую он должен получить после совершения всех нужных действий.

Методики и тесты должны быть полезными и достоверными, что и измеряется путем их валидности.

Существует три способа проверки на валидность:

1. Оценивание содержательной валидности – соответствие результатам оценивания испытуемого реальным качествам, которые проявляются в действительности. Здесь используется такое понятие, как лицевая валидность – человек должен видеть реальную связь между содержанием самой методики и ее результатами и действительностью, в которой проявляется измеряемое качество.
2. Оценивание конструктной валидности – определение того, что методика вычисляет научно обоснованные и заданные конструкты. Конвергентная валидизация позволяет использовать несколько методик, которые рассматривает схожие характеристики и дают более точные результаты рассматриваемого качества. Дискриминантная валидизация исключает другие методики, которые рассматривают качества, не имеющие корреляции с нужным качеством.
3. Оценивание критериальной валидности – это соответствие результатам ожидаемым показателям, которые выявляются другими способами. Здесь используется прогностическая валидность, которая помогает спрогнозировать дальнейшее поведение.

перейти

Этапы валидации и типовые ошибки

Валидация — процесс, который состоит из нескольких компонентов. Проверить просто качество HTML-кода недостаточно. Процедура осуществляется следующим образом:

• поиск синтаксических ошибок;
• анализ правильности вложенности тегов;
• валидация документа на соответствие Document Type Definition;
• выделение тегов и атрибутов, имеющихся в коде, но отсутствующих в документе.

Из этого перечня логично вытекает список самых распространенных ошибок, большинство которых легко исправляется:

• не указан Doctype (возможно некорректное отображение страницы некоторыми барузерами);
• не закрыты элементы (приводит к проблемам с отображением шаблона);
• использование самозакрывающихся элементов без символа «/»;
• специальные символы не конвертированы в код HTML (например, скопированные кавычки «»);
• нарушение порядка блочных и строчных элементов (строчные должны находиться внутри блочных, и никогда — наоборот);
• игнорирование тега alt для изображений;
• использование width и height в коде, а не в CSS;
• наименование классов и атрибутов цифровыми значениями (или постановка цифр в начале имени).

Все эти «недоразумения» легко исправляются.

Советую прочитать, как я продвигаю сайты и делаю его аудит.