Amazon Sagemaker Ground Truth是如何工作的？

Question

有没有出版物解释他们如何评估自动系统对它分配的标签有多“确定”？我知道标注过程的一部分是由人类完成的，但我感兴趣的是他们如何评估预测的置信度。

Answer 1

我建议您阅读Ground Trust FAQ page，因为它解决了您所关心的问题。

亚马逊问：

SageMaker Ground Truth如何帮助提高我的训练数据集的准确性？然后它获取它们的注释，并使用注释合并算法对它们进行比较。该算法首先检测被忽略的离群值注释。然后，它执行注释的加权合并，将更高的权重分配给更可靠的注释。输出是每个对象的单个标签。(b)注释接口最佳实践:这些是注释接口的功能，使工作人员能够更准确地执行其任务。人类工作者容易出现错误和偏见，而设计良好的界面可以提高工作者的准确性。一种最佳实践是在固定的侧面板中显示简短的说明以及好的和坏的标签示例。另一种最佳做法是，当工人在图像上绘制边界框时，使框边界外的区域变暗。