
表1公文资料测评维度及专家评定内容双项细目表(略)
注: (1)专家评分采用区分度5级权重评分:1为不能说明此维度,2为比较能说明该维度,3为能说明该维度,4为很能说明该维度,5为非常能说明该维度;(2) “*”表示经过专家认定该文件材料在该维度上和其他材料有显著区分度;(3) 表格中只列出专家认定有明显区分度(鉴别力)的维度和文件材料.
2.4专家评定测评维度与质化编码经过4名专家对测评维度结合现有的文献反复认定后,确定各测评维度的内容(表2). 结合表1专家评定的内容效度双向细目表进行分析,其中有两项内容不一致,分别是102(专家评定进入“综合”维度),103(编码结果归纳进入“综合”维度). 采用Winter(1994)动机编码一致性公式计算专家评定和质化编码两种方法评定的公文归类结果的一致性,CA=0.818.
表2专家评定获得维度与编码内容(略)
3讨论
“质化研究”(qualitative research)在国内通常被翻译为“定性研究” . 国内学者陈向明[9]定义质化研究“是以研究者本身作为工具,在自然情况下采用多种收集资料的方法对社会现象进行整体性的探究,使用归纳分析资料和形成理论,通过与研究对象互动对其行为和意义建构获得解释性理解的一种活动”.
质化研究应用于心理学研究的关键点之一在于能对实际情景下人的开放式行为反应进行收集和研究. 并通过归纳分析,为所获得的理论、模型等进一步建构内容意义. 质化编码技术是质化研究中对所收集的研究资料进行整理分析的具体技术之一. 通常分析质化资料的技术主要有归档、编码、分类、归纳、评定等[7],这里主要讨论的是质化编码技术的应用. 编码技术主要包括:开放式编码(opening coding)、选择式编码(selective coding),轴心式编码(axial coding)3种[10]. 本研究采用了开放式编码,即研究者排除固有的见解或理论定势,将所有的材料按照其本身的属性、主题进行编码.
研究尝试讨论了将质化研究的编码技术应用于人才测评工具的内容效度研究中,取得比较满意的效果. 分析传统专家评价方法获得内容结果和对被试群体开放式反应内容调查资料的质化编码结果的一致性:在保证编码者内部平均一致性CAi=0.850的前提下,采用Winter编码一致性公式分析,两种方法评价文件内容结果的一致性(CA)达到0.818.
目前国内部分研究在采用传统专家评定方法验证内容效度时,并未给出对“专家”的详细明确界定. 同时,对于涉及情景模拟性能力测验的研究,采用专家评定法验证内容效度在一定程度上限制了对所要考察的关键性行为内容的获得. 基于上述问题,本研究尝试将对内容效度的研究拓展到对被试者所提供的关键行为描述的整体评定,并采用统一的质化研究框架进行质化编码分析. 以期能以这种研究方法作为一种新的内容效度研究思路,并可同时获得被试群体更为全面的关键行为内容指标.
本研究是将质化编码技术应用于公文筐测验设计的效度研究过程中,尝试对内容效度进行考察,提供了将质化研究方法作为量化研究的先验和内容效度验证的思路. 著名方法学者麦克思维尔(Maxwell)提出质化研究本身也有类似于量化研究内容效度分析的描述效度(description validity),解释效度(interpretive validity)等考察意义建构的效度研究内容[11]. 这对将质化研究中的具体技术作为量化研究过程中内容效度考察方法提供了一定理论依据.
【参考文献】
[1] Tashakkori A, Teddlie C. Handbook of mixed methods in social and behavioral research [M]. Thousand Oaks, CA: Sage, 2003:1-8.
[2] 张红川,王耘. 论定量与定性研究的结合问题及其对我国心理学研究的启示[J]. 北京师范大学学报(人文社会科学版), 2001,166(4):99-105.
[3] 秦金亮,郭秀艳. 论心理学两种研究范式的整合趋向[J]. 心理科学,2003,26(1):20-23.
[4] Katrin N, The combined use of qualitative and quantitative methods in educational research[D], Tallinn pedagogical university dissertations on social sciences, 2004:4-22.
[5] Ronald JC, Mark ES, Psychological testing and assessment[M]. 6th edition, McGrawHill Co. and Posts & Telecom Press, 2005:159-160.
[6] Spencer JM, Spencer SM. 魏海金译. Competence at work [M]. 汕头:汕头大学出版社, 2003:139-187.
[7] 秦金亮. 心理学研究方法新趋向—质化研究方法评述[J]. 山西师大学报(社会科学版),2000,27(3):11-16.
[8] 孙振球,徐勇勇,潘晓平,等. 医学统计学[M]. 北京:人民卫生出版社, 2002:376-378.
[9] 陈向明. “质的研究”中研究者如何进入研究现场[J]. 高等教育研究. 1997,4:67.
[10] Strauss A. Qualitative analysis for social scientists [M], Cambridge, UK. University of Cambridge Press, 1987:64.
[11] Maxwell JA, Qualitative research design: An interactive approach [M], Thousands Oaks: Sage Publication, 1996:138-144.
