文字注释过程，质量与数量？

Question

我有一个关于注释文本数据以便分类的问题。

假设我们有十名志愿者，他们将要在标签A或B中标注大量文本，他们可能没有时间检查所有的文本样本，但至少有相当一部分。

1. 我们应该集中精力为每个注解器生成新的样本吗？(他们从未看到与任何其他注解器相同的文本样本)(数量方法)。
2. 或者所有注解者都应该看到相同的样本，并考虑注解者协议？(质量办法)。

思想，

1. 会产生比2更多的独特样本(为分类器提供更多的训练样本)--并希望在特征提取部分，有用的特征将自行出现。
2. 会产生不那么独特的样本，但要考虑到注解者的协议。(分类器的训练样本较少，但质量较高)

Answer 1

这两种方法都违背了机器/统计学习的本质。在任何情况下，缺乏数据都不能让您很好地概括。不过，这将产生不同的效果。一般来说：

1. 您将能够分类更多的测试样本，但有时会因为数据错误而出错。
2. 您将有一些测试样本的精确分类，但不知道如何分类其余的样本。

因此，这取决于您的分类分数/质量评估功能，哪一种情况更适合您。