机械土耳其人

Question

我正在尝试发布一个典型的心理学实验，作为对机械土耳其人的一种打击。我正在介绍一组十几个单词对，我需要随机化/平衡所呈现的单词对的顺序。在典型的HTML表单上，似乎没有办法做到这一点。有没有办法使用API或命令行界面来实现这一点？

Answer 1

2016年5月20日更新:改用PsiTurk。查看@John McDonnel的答案

2013年6月25日更新:这个答案太老了。参见Solomon Messing's blog post on MTurk in Social science for a starting point。

考虑到大量的心理学研究开始出现在AMT上，你可能会认为他们会把这个作为一个选项！

据我所知，你不能在web界面上做到这一点，除非：

1. 创建一堆模板(form A、form B、form C、form D)。
2. 运行第一个表单(form A)。
3. 付钱给工人然后阻止他们所有人。运行第二个窗体(窗体B)的
4. 。
5. 从步骤1和步骤2开始支付工人工资和阻止所有操作。
6. 并重复执行，直到完成为止。

这是糟糕的，原因有几个。首先，您必须手动创建不同的表单。第二个问题是，通过屏蔽那些做得很好的员工，你会对他们在网站上的声誉产生负面影响。你的IRB可能会对此不太友好。

解决这个问题的“最佳”方法是不使用web界面，而是使用命令行工具来创建ExternalQuestions。这样，你就可以编写一个webapp，它可以处理随机化的细节，在不依赖资质的情况下给予工人知情同意，并“礼貌地阻止”已经做过这项工作的工人。(已经参与的工人将收到一条短消息，要求他们返回命中。)

如果你对这条路感兴趣，我有一些关于我是如何做到的details on my blog。

Answer 2

如果你决定走@Nathan VanHoudnos列出的外部问题路线，我已经建立了一个使用外部问题接口在机械土耳其人上运行心理学实验的框架。你可以在here上查看。代码运行一个简单的stroop实验，希望您可以将其更改为运行任何您想要的东西。如果您需要任何帮助来设置它，请告诉我！