首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >小数据集的高多类分类

问小数据集的高多类分类
EN

Data Science用户
提问于 2018-07-03 13:29:18
回答 2查看 1.3K关注 0票数 0

我正在为240 K样本和1880个类的数据集设计一个多类分类器,其中最密集的类是4%的数据集,而大量的类不到样本的1%。

我试图找到一种方法来决定我对哪个类有足够的信息来正确地预测,或者因为分类器的性能而拒绝该预测。

此外,有什么好的方法来处理这种情况的高多类和非常低的样本量?

EN

回答 2

Data Science用户

回答已采纳

发布于 2018-07-03 14:12:45

嗯。曾经有过类似的情况。Imagenet有1000多个类。对某些cifar数据集也可以这样说。

如果深入学习,使用标签的一种热编码。

坚持像多类AUC那样的度量,而不是相信验证的准确性。

如果使用keras DNN,那么您可以尝试高级体系结构,最后一个Dense网有1880个神经元,每个神经元代表一个标签。也要坚持categorical_crossentropy的损失。

希望这能有所帮助。

票数 2
EN

Data Science用户

发布于 2019-11-11 15:02:29

我认为这在很大程度上取决于具体的任务。我的意思是,如果你说你有不到1%的图像为一个类别,它可能仍然足够。例如,一个类中0.5%的图像仍然是每类1200幅图像,这是安静的,好的。另外,可能有一些类彼此非常相似,因此这将更加困难,并且可能需要更多的图像来区分这些类,而其他类则很容易分离。

如果你要求解决这个问题的方法有几个。例如,一种是抽样过多或过少。因此,删除数据集中百分比较高的类的图像,或复制百分比较低的类的图像。这是为了使所有的类达到一个平衡的比例。

此外,还可以使用增强,如翻转、旋转、对比度适配、剪切、缩放等,只要记住:不要破坏图像的语义。

如果您想测试分类器的性能,您仍然可以使用验证的准确性,但您必须建立您的验证集与平衡的类数,这些图像应该代表每一个类!此外,验证集中的样本大小必须足够高。

票数 2
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/33936

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档