今天跟大家讲讲在设计线上测评题目的时候,如何把题目设计得更为新颖。为何会设计到这个问题呢?原因是最近在帮助某家公司设计面向大学生的题本时,自己遇到了这个问题。

题目的新颖性,有两层含义。第一层是内容的新颖,第二层是形式的新颖。为何题目要新颖呢?有些老题本挺不错,挺经典的,为何要去替换呢?

1

内容的新颖

这里面有两个原因,第一个原因是涉及到效度的问题,不少题目反复使用,容易被透题;第二个原因是不少老题的内容已经是老掉牙了,譬如有些题目讲的还是北京奥运会的事情,都快东京奥运会了,显然已经过时。用新颖的题目也符合时代的精神,能够提升受测人员,特别是30岁以下,的投入度。

那我这里举个例子,譬如以下句子理解题:

美国政府宣布拟对3000亿美元中国输美商品加征10%关税,引发各界有识之士的强烈反对。美国前驻新加坡大使戴维·阿德尔曼表示,贸易并非零和游戏,即使加征关税对中国造成长期影响,制造业也不会回流到美国。相反,美国贸易赤字会维持大致水平,甚至很可能会增加。

对以上这段话理解最正确的是

A. 美国加征关税,不利于美国经济

B. 各界有识之士强烈反对加征关税

C. 贸易战中没有胜者

D. 制造业会因为加征关税回流到美国

(答案是A)

这道题目是从最近的新闻中摘出,并加以改编的,可以看出题目内容是新颖的。对于学生而言,能感受到时代的脉搏,有利于尽快融入题目。

2

形式的新颖

——

讲了内容的新颖,什么是形式的新颖呢?

在性格或动机测试时,有时候会采用投射题,参考。投射题的好处在于,摆脱了常见的文字描述。市场上的性格或动机测试时,95%的测试方式都是文字,这对于目前30岁以上的受测群体而言,已经产生了某种“免疫”,容易有掩饰性。而这种方式,因为内容本身的新颖,不容易让人找到问题背后的意义。

类似下面的图片

投射题

我们曾通过这些图片,考察测评对象的动机。由于主观题目本身评价比较复杂,难以统一标准,会影响效度。我们又在这个基础上进一步开发了选择题,通过大量试测,能够为线下测评提供参考。

这是一种投射方式,还有一种方式。

譬如以下:

我的大部分朋友会帮助那些需要帮忙的人。(我是否乐于助人)

我的许多朋友是科学家。(我是否对科学感兴趣)

(这两道题都是典型的“朋友选择”)

我不喜欢所有房子都很像的住宅区。(我是否喜欢一致性)

(这道题属于“环境认识”)

这种投射的方式比较巧妙,通过“朋友”、“房子”,来看出我的个人偏好。通过对他人的观点和评价来映射自己的观点。事实证明,这样的方式有效性较强。

所以,我们会发现,测试冰山下“个性、动机、价值观”的题目,分为两类,要么是“看自己”——自己的感受,要么是“看别人”——对别人、对物体的感受,从而映射自己的感受。那么无疑,后者去除掩饰性的效果较好。

除了投射之外,还有没有新颖的形式呢?那么就涉及题目本身的组织,现在自适应模式很潮,不少机构,如前程无忧旗下智鼎在线,已经有类似产品。其实这种模式并不新鲜,SHL的OPQ就是这种模式,我们再往前追溯若干年,GMAT、GRE这样的考试也是自适应模式。

这里我们引申一下,所有测评题目的假设,都是“ABC模式”,你选了什么,推出你的行为模式,再推出你的思维模式。整个假设,都建立在“选择”上,也就是我们鼠标的选择。那么,有没有可能未来我们通过观测“眼动”,甚至是“脑动”,进一步来深入了解思维模式呢,这我觉得也是可能的。譬如,有些机构通过观测消费者在购物网站时的“眼动”,来优化购物网站的布局和页面。线上测评系统也可以通过“眼动”来观察受测对象在每个选项的停留时间、停留频次,从而推测受测对象的思维模式。

回到线上测评的这个“选择”的基本假设,可以感受到线上测评的限制性,所以线上测评在评鉴中心中往往作为补充和辅助的部分。

所以,我们回到今天的主题:线上测评题目的新颖性。这围绕着线上测评的两个主要问题,一个是如何去除掩饰性 ,变成了考语文和考逻辑。一个是如何去除歧视性,这个在智商测试中特别明显,有研究表明,黑人智商测试结果低于白人,有部分原因和测试方式有关,这个我以后会专题撰文。

所以我们在设计线上测评题目时,我主张一方面要突破“看自己”的测评方式,一方面要匹配新颖的内容,这样可以在有限的效度内,把线上测评的效果提升到极致。