龙的图片
作答时间过短的问卷该直接删除掉吗？四季田园
频率的定义
没错！如果你认为他们会影响你的研究结果，删掉就好了。
问卷调研作为⽤户研究⽅法中应⽤最为⼴泛的⼯具，如何设计有效的问卷并获取有效的数据是⼤多数研究⼈员⼯作内容的重要组成。⼀般⽽⾔，我们会假设问卷应答者会诚实有信地作答，并提供有效的研究数据。
如何剔除这些⽆效的问卷？研究者⼀般采⽤的⽅法有：
如何剔除这些⽆效的问卷？
a) 反作弊问题：最简单的⽅式是设置两个相同的问题，但改变答案的顺序以判断应答者是否有不⼀致的回答；问卷太短⽽不适于设置两个问题，可以增加类似‘本题请选X’的问题，剔除没有阅读题⽬的被试数据。
b) 作答时间：通过记录⽤户的作答时间剔除⽤时过短的相关数据。
接下来，我们深⼊探讨⼀下作答时间与问卷质量的关系：
Respond Time = Mental Effort?
反应时间在⼼理学的应⽤要追溯到很久很久以前了...。不过基本上，都将反应时间视作个体在认知/⾏为过程中认知资源的投⼊指标。在同样的问题上投⼊更多认知资源的⽤户⾃然被认为更为认真和可靠；⽽对于⽤时过少的⽤户，就明显不是智商⽽是态度的问题了。Revilla &
Ochoa（2014）的研究中也发现个体报告的主观努⼒与作答时间呈0.15的正相关。
这也是使⽤作答时间判断⽤户数据有没有效的基础依据。学界也有研究表明相对于使⽤回归分析等⽅法剔除异常值，以作答时间来判断⽆意义的数据更为便捷有效（Leiner，2013）。
除了认知资源的投⼊，还有什么影响作答时间？
⽹速、题⽬数量、问题的措辞等等环境因素当然也会影响到⽤户的作答时间。也有研究指出使⽤PC或⼿机也会导致⽤户的作答时间不⼀致（Callegaro, Baker & Bethlehem, 2014b）。不过在⼤多数研究中，⼏乎全部的应答者都受到影响，可以认为已经做了平衡处理。
在此之外，Yang & Tourangeau (2007)的研究表明应答者的受教育程度、年龄、⽹络使⽤经验都对个体的作答时间产⽣显著的影响：受教育程度低、年龄⼩、⽹络使⽤经验丰富的⽤户更容易成为‘超速作答者’。
Zhang & Conrad（2013）的研究更是指出了‘超速作答’可能是⼀种⾏为特质。即与问卷内容或奖励⽆项羽王者荣耀
关，‘超速作答者’就是⽐较回答问题超级快。（-_-）。值得欣慰的是，这些⼈在总⼈⼝中的占⽐也随着年龄的增长⽽减少。Yang & Tourangeau (2007)认为这是因为个体的⼯作记忆能⼒在成长的过程中逐渐衰弱了。
这些研究结果告诉我们：如果⽤户群体在年龄/⽂化⽔平/上⽹经验等⽅⾯分布较为⼴泛的时候，将作答时间过短的极端数据删除掉可能并不明智。
过短的作答时间真的会污染数据质量吗？
超速作答与问卷质量之间存在显著负相关（注意是相关⽽不是因果）。
通过分析1153份问卷结果，Greszki, Meyer & Schoen（2014）的研究表明⽤户的作答时间与四种答题⾏为呈显著的相关：
电商客服话术a) 跳过(No Answers)：即不选择答案直接跳过，⽆疑会减少答题时间，与作答时间的为-0.21的相关；
b) ‘不知道’(Don’t Know)：即只选类似于‘其他’等万能选项，与作答时间的为-0.21的相关；
c) 中庸选择(Middle Category)：即不论问题如何，只选择中间的态度，与作答时间的为-0.05的相关；
d) 直线选择(Straightlining)：即所有题⽬只选同样的答案，与作答时间的为-0.33的相关；在Zhang & Conrad（2013）的研究中也发现直线选择⾏为与超速作答者的⽐率呈现显著的正相关；
Revilla & Ochoa（2014）的研究通过更多的⽅式来判断数据质量（如同样的题⽬但回答不⼀致，简单选择的错误，对⽴的问题但回答⽆区分度等）。其研究结果发现⽤户的作答时间与数据质量之间呈-0.25的相关关系。
删除超速作答者的数据会影响整体数据吗？
不会！Greszki, Meyer & Schoen（2014）研究探讨了这⼀问题。通过计算问卷应答时间的中数，他们将超速作答者分为了三类：超速50%、40%、30%的⽤户。剔除这些应答者的数据都没有改变问卷的整体评估结果。
值得注意的是，这个研究⾥⽤剔除掉超速者后的数据与未剔除的结果相对⽐，所以这个结果如果反过来看：不删除这些数据对最后的研究发现也不会有影响（-_-） 看到这⾥的朋友们有没有⼀种‘你TMD的在逗我’的感觉。
你真的应该删除超速作答者的数据吗？
不要！如果你是处⼥座当然另议（噫~ 为什么我要⿊处⼥... ）
前⽂中已经提到过，⽤户的年龄、环境、使⽤的设备等因素均会显著影响其作答时间。如果施测的⽤户群体覆盖⼴泛的话，最好采⽤其它的指标（如直线回答）来判断数据的质量。
需要对‘超速’进⾏严格的定义。Greszki, Meyer & Schoen （2014）发现超速50%、40%、30%的⽤户分别有139、219、278⼈；即如果对超速的定义过于宽松，那你将不得不删去30%左右的数据。
最后，反正也没差，为什么要删掉他们啊。时间很多可以⽤来睡觉啊~~~
需要注意的是本⽂中参考的⽂章中研究的均不是
不是在⽤户研究中使⽤的量表或问卷。
拓展阅读：
Online Panel Rearch: A Data Quality Perspective是⼀本书，介绍了在线问卷调查的⽅⽅⾯⾯。本⽂中关于Callegaro等⼈的研究即源于此书。
Survey rearch on the Internet: Yes, timing does matter 研究了什么时候给⽤户推送问卷能够最⼤化应答率（星期三早上）。
参考⽂献
防火墙作用
Callegaro, M., Baker, R., Bethlehem, J., Göritz, A. S., Krosnick, J. A., & Lavrakas, P. J. (2014).16. An empirical test of the impact of smartphones on panel-bad online data collection.Online Panel Rearch.
Greszki, R., Meyer, M., & Schoen, H. (2014).The Impact of Speeding on Data Quality in Nonprobability and Freshly Recruited Probability-bad Online Panels.Online Panel Rearch: A Data Quality Perspective.
Leiner, D. J. (2013). Too fast, too straight, too weird: post hoc identification of meaningless data in internet surveys.Ssrn Electronic Journal.
简单的英文歌曲Rahman, M., Wright, J. T., & Douglas, J. G.(2014). What are the links in a web survey among respon time, quality, andauto-evaluation of the efforts done?.Social Science Computer Review,33(1), 97-114.
农行小额贷款
Yan, T., & Tourangeau, R. (2008). Fast timesand easy questions: the effects of age, experience and question complexity onweb survey respon times.Applied Cognitive Psychology,22(1), 51–68.
Zhang, C., & Conrad, F. G. (2014). Speedingin web surveys: the tendency to answer very fast and its association with straightlining. Survey Rearch Methods,8(2), 127-135.
