В 2001–2002 гг. один из вариантов методики проверялся с помощью «Программы письменной экспертной оценки», основу которой составляли вопросы, предоставленные А. Л. Журавлевым (см. приложение 3). Программа и анкета раздавались студентам психологического факультета ГУГН Института психологии РАН, после заполнения анкеты осуществлялась письменная экспертная оценка методики.

Программа письменной экспертной оценки включала несколько разделов. В первой ее части экспертам предлагали заполнить анкету и оценить все входящие в нее позиции (согласно перечню вопросов в программе). Во второй части нужно было оценить инструкцию к анкете. Третья часть являлось основной, так как в ней оценивались задания для респондентов. Эксперты оценивали вопросы по 5-балльной системе: какие вопросы являются сложными для понимания, неясными или двусмысленными, неконкретными, многозначными, какие вопросы могут восприниматься как тенденциозные, подсказывающие, не имеющие отношения к исследованию, оскорбительные, не работающие, содержащие социальную желательность, включающие общеизвестную информацию о национальных стереотипах и ограничивающие позицию респондентов и пр. Высказывалась также просьба оценить последовательность позиций, на какие вопросы у респондентов не было желания отвечать, а также указать на использование малопонятных слов. В этой же части предлагалось высказать пожелания по вопросам, не затронутым в программе, но имеющим значение для совершенствования методики. Четвертая часть включала оценку позиций по социально-демографическим характеристикам респондентов. Кроме того, экспертам предлагалось оценить дизайн методики (шрифт, поля и расположение вопросов). У экспертов выяснялось, проявляется ли монотонность при заполнении анкеты.

В отчет по «Программе письменной экспертной оценки анкеты» вносились номера позиций, по которым у экспертов были замечания. После работы с методикой и письменного заполнения задания отчеты экспертов (31 респондент) были обработаны и проведен контент-анализ (см. приложение 4 «Предложения к программе контент-анализа письменных экспертных оценок анкеты»). При проведении контент-анализа в качестве классификационных единиц выступали позиции, которые были заложены в программу письменной оценки экспертизы методики, а объектами анализа являлись письменные отчеты экспертов. Контент-анализ позволил выявить наиболее типичные недоработки анкеты и устранить их.

Результаты контент-анализа «Программы письменной экспертной оценки» были учтены в представленном варианте методики (см. приложение 3 и 4). Некоторые пункты первоначального варианта оказались, очевидно невалидными (респонденты на них не давали ответов), часть пунктов понималась неоднозначно, поля для ответов оказались слишком неудобными и др.). В результате некоторые пункты были переформулированы или заменены, а сама методика была оформлена и издана в виде брошюры. В дальнейшем этот вариант методики был подвергнут эмпирической проверке.

Психометрическая проверка методики. Необходимо отметить, что была проведена психометрическая проверка только части опросника – первого уровня психологического облика этносов (ценностные ориентации), представленного двумя составляющими: ценности-цели и ценности-средства. Психометрическая валидизация опросника проводилась на выборке русских, проживающих в Костромской области, – 610 человек (городских и сельских жителей, мужчин и женщин, представителей разных возрастов и профессий, из 24 районов области). Использованный в этом исследовании вариант методики ценностных ориентаций помещен в приложение 5. Проводимая работа по психометрической проверке ценностных ориентаций является началом предполагаемой в будущем работы с методикой «Выявления психологического облика этносов» в полном объеме.