首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从新闻文章中建立刑事侦破手册注释的最佳实践?

问从新闻文章中建立刑事侦破手册注释的最佳实践?
EN

Data Science用户
提问于 2019-09-25 14:50:40
回答 1查看 19关注 0票数 0

我们有700万篇新闻文章语料库,我们希望将其分类为犯罪或非犯罪,并通过使用NERs/注解罪犯来进一步识别罪犯。为了创建一个识别罪犯的模型,我们必须训练/构建模型的注释文章的数量是多少?在这方面是否有任何行业最佳做法?有什么比随机猜测更好的方法来获得这个数量的培训(注释)数据集吗?是否有任何人可以指出的最佳实践资源?提前感谢!

EN

回答 1

Data Science用户

发布于 2019-09-25 15:30:03

它总是取决于每一个具体的问题。数据量取决于若干因素,包括(但不限于)问题的复杂性、特征数量、培训数据的质量、培训课程的比例(即班级不平衡)等。

如果你不知道从哪里开始,有时候最好的方法就是做实验。例如,我将创建一个具有大量数据的模型,这些数据在交叉验证框架中既容易获得,又相当容易处理。从这里,您可以测试增加训练集大小与调优超参数的效果。虽然你不一定要找出收益递减的点(通常最好是站在错误的一边,而不是不够),但这种类型的锻炼至少让你对问题的复杂性有了一个大致的认识。

很多人都会有自己的规则或指标;有很多人在那里阅读。例如,有Vapnik-Chervonenkis维数和十分之一规则 (虽然我认为计算机视觉人们的经验法则是千分之一,这再次说明了这些拇指规则的可变程度)。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/60756

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档