在外部网站上运行MTurk点播

Question

我正在执行一个网站，招聘的MTurk员工将在其上执行任务。我计划使用MTurk任务招聘员工，然后将他们重定向到外部网站进行实际工作。关于这个计划，我有以下问题。

1. 这种运行HITs的方法有什么可预见的问题吗？如果是的话，我们怎样才能减轻它们呢？
2. 如何在我的外部站点上实现身份验证过程？例如，我如何确保来网站执行特定任务的人()确实是为这个特定任务( on MTurk )早些时候为招募的同一组人？
3. 当工人完成任务时，我应该如何根据他们的表现将付款流程与MTurk集成起来？例如，假设员工在我的外部站点上完成任务后被拖欠了3美元，我是否可以告诉MTurk以编程方式支付他/她这个金额？

外部站点将使用Python构建，如果这些细节很重要的话。

任何基于您使用MTurk的经验和见解的建议和评论都将不胜感激！

Answer 1

我正在为我的一个类似的项目考虑这个问题。作为一名工人，我也做过实验。这是我的计划，希望对你有用。(我还没有实施。这是基于我作为一名工人参与的一次学术热潮。)下面是：

创建一个具有如下语言的模板：

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

B.为机械土耳其数据文件创建一些随机标记：

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

(从应用程序中生成这些令牌；它需要交叉引用它们。)

你的应用程序从URL中提取令牌，查找任务，并做它需要做的任何事情。我个人并不担心人们会无意中发现一个URL，因为它是一次性的使用令牌。

在用户完成外部网站上的任务后，外部应用程序会给出一个确认代码。确认代码应该是随机的和不透明的。只有您的应用程序才能知道是否有任何特定代码对应于正确或不正确的答案。事实上，如果您愿意，甚至可能无法实时确定正确性--它可能是跨多个提交的聚合和/或比较的结果。

编写一些代码，以编程方式进行交互。获取从MTurk结果提供的令牌和确认代码，并确保它们与您的外部应用程序匹配。如果他们不匹配，拒绝攻击。如果它们匹配，检查您的外部应用程序的正确性，并批准或拒绝。你可能会考虑奖金的薪酬结构。

所以，要回答你的问题：

1. 我不认为我所描述的方法会有问题。也就是说，“机械土耳其”既是一门艺术，也是一门科学。也许更多的艺术。写好问题，适当地付钱给土耳其人，这是你必须结合常识、市场调查和实验的东西。
2. 见上文(C)。令牌设计为只使用一次。使用足够长的令牌，碰撞的概率就会非常低。
3. 见上文(E)。机械土耳其开发人员指南是一个很好的起点。

请分享你的结果。或者让土耳其人给StackOverflow寄数百张明信片。:)

备注：

• 我目前正在探索资格考试。我想他们会很有用的。
• 我想在我的外部应用程序中获得一个Turker的员工ID，但我还没有弄清楚这部分。我正在阅读它；例如：用workerId实现assignmentId
• 我正在考虑使用API中的ExternalQuestion功能：“.您可以使用”外部“问题在您自己的网站上托管问题。.外部问题的点击会在员工的web浏览器的框架内显示来自您网站的网页。您的网页会显示一个表单供员工填写和提交。员工使用您的表单提交结果，而您的表单将结果提交给机械土耳其人。使用您的网站显示该表单可以让您的网站控制问题的出现方式和如何收集答案。”

Answer 2

你可能还会发现PsiTurk是有用的："PsiTurk是一个开放的平台，可以在亚马逊的机器Turk上进行定制的behvioral实验。.它的目的是提供运行您的实验所需的大部分后端机器。它使用AMT的外部问题命中类型，这意味着您可以使用任何网站收集数据。只要您可以将您的实验变成一个网站，您就可以使用PsiTurk运行它！“