交流电流

墙上的海报写着“多问问题”

使用亚马逊的土耳其机器人进行众包研究

2017年7月20日
教学交流

如果你进行过一项涉及多个参与者的调查或研究,你使用过“众包”为你的研究收集数据。在一个新的沟通专著文章中,Kim Bartel Sheehan概述了亚马逊的众包平台,土耳其机器人,作为传播学学者进行学术研究的一种手段。

最基本的

到底什么是机械土耳其人(以下简称MTurk)?亚马逊在2006年创建了这个平台,将“愿意为报酬完成小任务的互联网用户与想要进入劳动力市场的公司和个人”联系起来。结果显示,MTurk上三分之一的可用作品都是学术领域的,为数百篇发表在社会科学领域的故事做出了贡献,最近还包括传播学和社会学。

谁可以使用MTurk?潜在员工必须年满18岁,并提供银行账户授权。研究人员(称为请求者)也在网站上注册,然后发布他们的研究项目,说明他们需要的工人数量,以及其他必要的资格,如地点、一些人口统计数据,以及基于工人在MTurk上的历史的资格要求。

支付系统是如何运作的?完成任务的付款从请求者的帐户转移到工作者的帐户。亚马逊在支付的基础上收取费用,从任务支付的20- 40%不等。需要注意的是:因为需要10名以上受访者的学术调查需要支付40%的费用,希恩建议将更大的调查分解为每个少于10名受访者的“小批量”。除了减少亚马逊的费用,这种方法还允许研究人员全天进行调查,减少数据收集的偏见。

参与者的数据统计

亚马逊没有公布MTurk员工的人口构成数据,但她参考了一些研究和网络分析,估计该员工池的规模从低至5050名活跃员工到多达50万。在活跃的员工池中,人们报告说他们每周至少工作两天,花费在完成任务上的时间从每周不到5小时到每周21小时甚至更多。

希恩写道,“有证据表明,MTurk工作人员的人口构成比传统的学生样本更加多样化,可以相当代表更大的人口。”MTurk大约80%的员工在美国,其中略多于一半的人拥有大学学位。四分之三的工人是白人,男性和女性的比例大致相同。

虽然学生群体倾向于参加学术研究以完成课程要求或获得额外学分,但许多MTurk工作者从事一些任务来补充收入,有整整25%的工作者报告称,他们的全部或大部分收入来自MTurk。希恩表示,正因为如此,“MTurk的工作人员可能比学生更认真地对待他们参与学习的问题。”

数据质量问题

作者承认,在在线收集数据时,质量是一个值得关注的问题,但也注意到MTurk包括了确保高质量数据的措施,例如允许拒绝工作或阻止提交低质量回复的员工未来工作。

此外,一系列研究表明,MTurk的受访者倾向于政治上的自由主义,收集政治问题数据的研究人员可以通过“从倾向保守的州进行过采样,或预先筛选政治态度,并确保实现观点的平衡”来对样本进行加权。

通信研究者使用MTurk的最佳实践

希恩指出,她和她的同事们已经在各种传播学研究中使用了MTurk,研究主题包括狂欢观看、环境信息和企业社会责任。她从自己的经历和研究方法的文献中为传播学学者提出了一些最佳实践:

  • 先从员工的角度体验MTurk;完成一些简单的学术点击来了解这个网站。
  • 了解和理解在MTurk上发布哪些类型的点击内容是可以接受的,并遵守隐私规定。
  • 设计你的研究,以确保合格的受访者,可以要求并支付受访者的特定特征,或实施一个简短的筛选调查。
  • 使用注意力检查,以确保受访者是真实的人(而不是机器人),并确保他们遵守你的调查指南,关注问题。
  • 优化调查,减慢受访者的速度,收集更多令人满意和全面的开放式问题的回答。
  • 提前测试所有的调查,检查功能和估计完成时间,并根据需要进行调整。
  • 与联系你的员工接触,回答他们可能对这项任务的问题,或解决他们在调查中可能遇到的问题——这将在你和员工之间建立信任。
本文翻译自学术文章:Sheehan, Kim Bartel(2017)。“众包研究:用亚马逊的土耳其机器人收集数据。”沟通专著doi: 10.1080 / 03637751.2017.1342043

作者简介

金正日希恩

俄勒冈大学

教授

金正日希恩
Baidu
map