我正在为240 K样本和1880个类的数据集设计一个多类分类器,其中最密集的类是4%的数据集,而大量的类不到样本的1%。
我试图找到一种方法来决定我对哪个类有足够的信息来正确地预测,或者因为分类器的性能而拒绝该预测。
此外,有什么好的方法来处理这种情况的高多类和非常低的样本量?
发布于 2018-07-03 14:12:45
嗯。曾经有过类似的情况。Imagenet有1000多个类。对某些cifar数据集也可以这样说。
如果深入学习,使用标签的一种热编码。
坚持像多类AUC那样的度量,而不是相信验证的准确性。
如果使用keras DNN,那么您可以尝试高级体系结构,最后一个Dense网有1880个神经元,每个神经元代表一个标签。也要坚持categorical_crossentropy的损失。
希望这能有所帮助。
发布于 2019-11-11 15:02:29
我认为这在很大程度上取决于具体的任务。我的意思是,如果你说你有不到1%的图像为一个类别,它可能仍然足够。例如,一个类中0.5%的图像仍然是每类1200幅图像,这是安静的,好的。另外,可能有一些类彼此非常相似,因此这将更加困难,并且可能需要更多的图像来区分这些类,而其他类则很容易分离。
如果你要求解决这个问题的方法有几个。例如,一种是抽样过多或过少。因此,删除数据集中百分比较高的类的图像,或复制百分比较低的类的图像。这是为了使所有的类达到一个平衡的比例。
此外,还可以使用增强,如翻转、旋转、对比度适配、剪切、缩放等,只要记住:不要破坏图像的语义。
如果您想测试分类器的性能,您仍然可以使用验证的准确性,但您必须建立您的验证集与平衡的类数,这些图像应该代表每一个类!此外,验证集中的样本大小必须足够高。
https://datascience.stackexchange.com/questions/33936
复制相似问题