用于源源不断的任务列表的机械turk体系结构

Question

我们应该如何构建一个使用来处理任务流而不是单批批量任务的解决方案？

以下是更多信息：

我们的应用程序每天收到大约1000张照片和视频。每幅图片或视频包含6-8个数字(这是一个电子设备的序列号)，需要转录，还有一个转录的“确定性级别”。“确定”、“不确定”、“不能阅读”)。每幅图像的转录时间将在10秒以下，每段视频需要20秒以下的时间，并且需要最少的技能或训练。

我们的应用程序将在一天内连续上传这些图像，我们希望在几分钟内将它们转换成数字。理想的解决方案是，我们每分钟上传新任务(在高峰时段低于每分钟20次)，并且每分钟也下载结果。

两个问题：

• 为了确保快速周转时间、准确性和成本效益之间的良好平衡，我们应该一次提交一个任务，还是最好是批量处理任务？如果是，我们在设置批处理大小时应该考虑哪些变量？
• 是否有一些库或托管服务可以包装MTurk API，以便更容易地处理像我们这样的命中代正在流和正在进行的用例，而不是一次？

很抱歉，对于新手的问题，我们是机械土耳其人的新手。

Answer 1

流任务一次一个到Turk

通过使用CreateHIT操作，您可以通过机械turk的api单独地流任务。每次在应用程序中收到图像时，都可以调用CreateHIT操作立即将任务发送给Turk。

您还可以通过api设置通知，以便在任务完成后立即通知您。Turk通知API文档

分批vs流

至于批处理和流，您最好是流，以实现一个良好的周转时间和成本平衡。批处理不会降低成本，提高准确性在很大程度上取决于审核、检查和跟踪员工的绩效，无论是手动还是实现自动化流程。

图书馆和服务

大多数库都提供api中的所有可用操作，因此您只需用编程语言搜索或搜索Github库即可。(我们使用Ruby 鲁特克)

提供托管解决方案的公司名单可以在Quora的Metaplatforms部分找到：什么是与亚马逊机械土耳其类似的众包服务？ (免责声明: my company，胡迪尼是其中之一)。