Виды валидности
Для валидизации методик применяется различные критерии в зависимости от задач исследования, предусматривающие количественную и качественную характеристику свойства. Категории и типы критериев определяют и само понятие ВИДОВ ВАЛИДНОСТИ. Основными, применяемыми в психодиагностике являются критериальная и содержательная валидность.Критериальная валидность
КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ отражает соответствие диагноза и прогноза полученных результатов определенному кругу критериев измеряемого психического свойства и оценивается коэффициентом корреляции оценок по тесту и показателей по внешнему критерию. Если корреляция не обнаружена, то необходимо определить либо не валидна методика, либо неверна гипотеза о причинно-следственной связи между психическим свойством и выбранным критерием. Наиболее прос-------------------------------------корреляция указывает на КОНВЕРГЕНТНУЮ валидность по отношению к уже проверенному тесту, но на практике найти такую методику крайне трудно. Поэтому чаще на основе теоретических представлений о тесте выдвигается ряд новых гипотез и представлений об измеряемом свойстве и начинается поиск новых объективных критериев, такую процедуру многие авторы называют КОНСТРУКТНОЙ ВАЛИДНОСТЬЮ, т. е. валидностью выдвигаемого конструктора самой методики. Это расширяет представление о применяемом тесте и обогащает теоретическое представление об измеряемом свойстве.
ПРАКТИЧНОЧНОТЬ МЕТОДИК иногда ее называют предсказательной валидностью характеризует степень точности и обоснованности суждения о диагностируемом психологическом качестве по результату теста она отражает прогноз-суждение на будущее. В качестве критериев выступают не только показатели актуального поведения в настоящее время но и ожидаемые результаты деятельности, обучения, лечения, формирования признака.
Прогностичность обычно определяется с помощью коэффициента корреляции между показателями теста и количественным показателем эффективности деятельности, подлежащей прогнозированию (успешность обучения, успешность боевой деятельности и т. п.) Однако, если показатели методики имеют точную оценку, то деятельность определяют обычно весьма грубо и мало дифференцированными экспертными оценками. Статистические исследования показали, что коэффициенты корреляции получаются ненадежными, так как нет разработанных достаточно строгих объективных критериев эффективности деятельности, а применяемые баллы подвержены субъективным искажениям. Объективность достигается применением метода полярных групп, которые заключаются в формировании из имеющегося контингента специалистов двух групп: одна из заведомо хороших, а другая бесспорно плохих специалистов. Специалисты обеих групп проходят исследование с помощью проверяемой методики, чем выше степень различия средних показателей и среднеквадратического отклонения по t-критерию Стьюдента, тем выше прогностическая информативность и дискриминационная (дифференцирующая) способность методики.
Важность прогностической валидности при отборе подчеркивается введением специального понятия ИНКРЕМЕНТНОЙ валидности, дающей информацию насколько улучшается качество отбора с применением
данного теста, по сравнению с предыдущим набором методик. Так, если коэффициент прогностической валидности новой методики на выборке обучающихся ( работающих ) равен 0,60 , то он показывает, что 40 % обучающихся ( работающих ) из 100 не справляется с деятельностью и являются ошибкой набора. При принятии меньшего количества кандидатов ( работников ) 45 из 100 ( индекс отбора - 45 ) с применением теста среди них будет 7 случаев неудач в работе или ошибок в приеме и 38 случаев успеха, т. е. Процент успеха будет равным не 60, а 84, т. е. 38/45 = 0, 84. Это увеличение ( 84 - 60 = 24 ) обусловлено применением теста в качестве инструмента отбора. Процедура валидизации проводится не только вновь создаваемым методикам, но обязательна при адаптации методик, в описании которых не указана валидность и использованные критерии, либо методика применялась на другой социально - культурной выборке или возрастной группе.
Содержательная валидность
Степень соответствия содержания заданий теста, измеряемой психической переменной, оценивается СОДЕРЖАТЕЛЬНОЙ валидностью. Валидность по содержанию означает проверку соответствия психологического содержания теста, при применении на конкретной выборке, измеряемому психическому свойству или области поведения. Особое значение это имеет для тестов, исследующих профессиональные способности и содержащих задания моделирующие основные элементы мыслительной и практической деятельности специалиста. Исходным моментом при этом является проверка соответствия представленности в заданиях теста элементов, пропорциональных реальной деятельности, т. е. Проведение спецификации. При проведении спецификации учитываются особенности психических качеств, тестируемые области знаний, темы подготовки, задачи обучения, а также относительное значение каждого раздела в процессе подготовки специалиста. На этой основе по каждому разделу устанавливается число заданий различных типов. Удобной формой представления спецификации является таблица, образец которой на примере методики « Техническое мышление » представлен таблице 7.
Таблица 7.
Спецификация методики « Техническое » мышление.
Видео: Онлайн гадание РАЗВИТИЕ ОТНОШЕНИЙ НА БЛИЖАЙШИЙ МЕСЯЦ на большой астромифологической колоде Ленорман
Спецификация проведена преподавателями школ по физике со стажем работы 8 лет и более, количество задач в методике по разделам подготовки в школе соответствует программе обучения и получаемым навыкам.
Для тестов способностей при профотборе коррекции содержания тестовых задач предшествует экспертная оценка интеллектуального уровня генеральной совокупности, проверка соответствующих учебных программ подготовки по специальности, а также экспертная оценка специалистами соответствия тестируемых областей и затрагиваемых знаний и умений, сформированным предшествующим периодом обучения и деятельности. Конкретные задачи теста формулируются на основании их близости к реальным требованиям обучения и профессионально важным качествам. Экспертная оценка дополняется проверкой степени связи результатов выполнения методики с успешностью обучения и деятельности на каждом периоде обучения и деятельности (от первого к последующим курсам), подсчетом коэффициентов корреляции. Опросники для оценки личностных свойств и акцентуаций характера проверяются по степени связи с показателями социального поведения в профессиональной среде и рассматриваются как способ реагирования на профессионально значимые требования в сложных и экстремальных условиях деятельности. В описании к тесту также указывается число экспертов, их квалификация, степень согласия между ними, число и характер изученных программ и учебников. Более углубленному представлению о содержательной валидности способствует проверка ВНУТРЕННЕЙ ВАЛИДНОСТИ или однородности заданий по оценке измеряемого качества. Она характеризует направленность каждого задания на измерение данного психического свойства, а также меру вклада его в количественную оценку всей методики. Практически однородность заданий обеспечивает наибольшую эффективность теста, объединяя в методике задания, максимально связанные с изучаемым показателем. Определяется внутренняя согласованность биссериальным коэффициентом корреляции ответов на каждое задание с суммарной оценкой по тесту. Максимальная валидность теста достигается за счет отбора таких заданий, которые значительно коррелируют с результатом теста и минимально между собой.
Может быть применен метод контрастных групп для оценки каждого задания (утверждения), ориентированного на «внутреннюю» валидность заданий с точки зрения оценки измеряемого свойства.
«Внутренняя» валидность показывает ДИСКРИМИНАТИВНОСТЬ ЗАДАНИЙ ТЕСТА, т. е. Способность заданий (утверждений) дифференцировать обследуемых относительно «максимального» и «минимального» результата выполнения всей методики. Сумма баллов по всем заданиям представляет первичную оценку - «сырой» балл. Мера соответствия успешности выполнения одной задачи всему тесту является показателем «внутренней» валидности для данной выборки и вычисляется в виде точечно-биссериального коэффициента корреляции Пирсона, который в данном случае называется индексом дискриминации и вычисляется по формуле :
Видео: Кейсы и тесты на собеседовании (фрагмент)
где, ?Х - среднее арифметическое всех индивидуальных оценок по тесту- Хр - среднее арифметическое оценок по тесту у испытуемых, правильно выполнивших задание (опросники в соответствии с «ключом»)- бх - среднеквадратическое отклонение индивидуальных оценок по тесту для выборки- Nр - число испытуемых, правильно решивших задачу (по «ключу» для опросника)- N - общее число испытуемых. Данное уравнение пригодно для расчета лишь в том случае, когда все испытуемые дали ответы на все вопросы. При наличии пропуска ответов коэффициент рассчитывается по формуле :
где, Хр - среднее арифметическое индивидуальных оценок испытуемых, выполнивших задание- бпр - среднеквадратическое отклонение индивидуальных оценок испытуемых, выполнивших задание, Nо - общее число испытуемых, выполнивших задание.
Коэффициент дискриминации принимает значение от – 1 до +1. Высокое положительное значение свидетельствует об эффективности деления испытуемых, а низкое значение о пригодности данной задачи для теста, о её несоответствии суммарному результату. В этом случае необходимо либо заменить задание, либо изменить его формулировку, а если достаточное количество задач убрать не гомогенные.
Валидность по содержанию обязательна для тестов способностей и тестов достижений, в личностных методиках анализ релевантности и эффективности содержания обязателен в стадии разработки теста и адаптации, так как анализ содержания выявит гипотезы, приведшие составителя к измерению особенностей личности.
В качестве меры валидности наиболее часто на практике применяются разные виды корреляционного анализа связи между индивидуальными оценками по тесту, оценками независимого внешнего критерия и эталонной методики, в большинстве случаев распределение тестовых оценок в репрезентативной выборке близко к нормальному. Критериальные оценки чаще бывают дихотомическими, ранговыми или распределяются по закону, отличному от нормального. В зависимости от шкалы представления переменных в сравниваемых рядах применяются те или иные методы корреляционного анализа.
Поделиться в соцсетях:
Похожие
