首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >数据集的算法标注

问数据集的算法标注
EN

Data Science用户
提问于 2016-09-21 11:16:29
回答 1查看 1.2K关注 0票数 1

我在做推特的情绪分析。我收集了近百万条.6推特。我不想手动给它们贴上标签,相反,我编写了一堆复杂的规则来得到它们的标签。

在我将这些algo生成的标签用于我的ML解决方案之前,我想检查/分析这个标签有多好。是否有任何统计/其他测试,我可以运行,以了解质量的标签,我从我的代码。

EN

回答 1

Data Science用户

发布于 2016-09-21 11:37:52

是否有任何统计/其他测试,我可以运行,以了解质量的标签,我从我的代码。

是。您可以将您的自动标签作为一个模型本身(它本质上是一个“专家”模型,它吸收了额外的功能)。用已知的精确标签收集地面真相数据,并使用诸如准确性、AUROC、F1评分等度量来确定专家模型的工作效果。通常,你应该根据你想要解决的问题来选择一个对你有意义的标准。大多数统计库将允许您对任意数据进行评估,因此应该可以找到API的相关部分,并将您的合成标签提供给它,以便与您收集的实际数据进行比较。

但是等等!为了训练和评估ML模型,这正是您需要做的。你能希望的最好的是,你将需要更少的地面真相数据来评估你的专家,而不是你会从零开始训练ML版本。对于复杂的ML模型,如深度神经网络,这很可能是正确的。

请注意,这种方法可能会遇到限制。假设你从地面的真实数据中评估你的专家的准确率为85%。您将无法使用它来训练一个比85%的精确性更好的ML解决方案,因为ML将学会尽可能地复制专家的预测。

有一件事值得注意--如果你分析了为什么专家的价值观是错误的,然后调整它,给出正确的答案,你将需要从你的测试数据中删除你用来这样做的标签--最好是收集更多,或者从一些未使用的池中提取更多,来替换它们。否则,您将使您的专家适合测试数据,并得到不正确的报告,专家概括为无形的数据。同样的推理意味着你不应该使用你在开发专家模型时分析过的tweet和标签来测试它。

票数 2
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/14136

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档