首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >创建用于对象检测的自定义数据集

问创建用于对象检测的自定义数据集
EN

Data Science用户
提问于 2020-02-29 23:47:09
回答 2查看 155关注 0票数 2

我目前正试图建立一个模型,以识别大约10个标签(食品)在一个相当受控的环境(冰箱)。我找不到适合我任务的数据集,所以我尝试自己管理一个。

到目前为止,我的做法是:

  • 用智能手机捕捉图像
  • LabelImg注解
  • Detectron2 / pyTorch培训

我有两个问题:

  1. 考虑到所有样本的环境在某种程度上都是一致的,那么是否有一个大致的数字/经验法则可以让每个班级使用相当数量的样本?(100次训练/ 100次测试)?这是一个概念项目的证明,所以我只是在寻找一些具有合理准确性的东西(80%+)
  2. 在我捕获了我的图像之后(比如说通过智能手机),在使用培训数据之前,是否有任何预处理步骤(注释除外)是必要的?(即调整图像大小,缩小文件大小和格式)

当然,任何帮助都是值得赞赏的,当然,其他一些你觉得有用的建议/建议也是有用的。

EN

回答 2

Data Science用户

发布于 2020-03-04 04:09:51

我建立了许多数据集。最新的是一组鸟类的数据。我有100种鸟类,所以我有100种鸟类。对于每个物种(类),我有100张训练图像,5张测试图像和5张验证图像。总共有11,000幅图片。我构建的分类器在500个测试图像(每种5个测试图像)上的最终准确率为98%,以下是构建数据集时需要考虑的一些问题。1-裁剪数据是否-取决于您通过手机生成的图像,平均而言,感兴趣区域的像素(例如冰箱中的奶瓶)与图像中总像素的比例是多少。当这个比率很高时,你的分类器就会工作得更好。你想要你的分类器学会识别一个奶瓶作为一个class.Any部分的图像,而不是奶瓶本质上是噪音。我用来建立高质量数据集的经验法则是50%。也就是说,平均而言,对于您的数据集,感兴趣区域应该占据图像中像素的50%。2-你应该有多少个训练-验证-测试图像?这取决于问题,但如果您遵循以上50%的规则,我认为您可以构建一个坚实的数据集,每个类大约有100个图像,每个类有5个验证图像,每个类需要5个测试图像,因此每个类大约需要110个图像。3-图像增强--即使使用少量图像,也可以使用图像增强创建一个好的分类器。这是一种人为地扩展数据集大小的方法。如果使用Keras,则ImageDataGenerator提供几个可用于增强数据集的转换。文档在https://keras.io/preprocessing/image/。图像大小-CNN对所有输入图像都有固定大小的操作。通常情况下,图像越大,结果越好(假设使用50%的规则)。然而,在计算时间和内存使用方面,您要为大型图像付出代价。我一直使用224×224×3(彩色图像)。根据颜色的重要性(即颜色对区分类的重要性),您可以只使用灰度图像224 x 224 X 1。

5.避免数据集中的偏见--使其尽可能多样化。很容易在数据集中意外地建立一个非故意的偏见。下面是一个例子。一个人用两个类创建了一个数据集。其中一组有各种狗的图像。另一组只有狼的图像。他想制造一个分类器,如果给出一个图像,就会把它分类为狗或狼。他建立了自己的数据集,并对分类器进行了很好的训练,训练准确率为99%,验证准确率为98%。这是一个令人惊讶的结果,因为许多狗非常接近狼。但当出现狗或狼的随机图像时,准确率基本上是50%。为什么?他在他的数据集中建立了一个很大的偏见。90%的训练和验证图像的狼有白色背景的雪。因为他没有裁剪图像,所以大部分图像是白色的。对狗来说,他的形象大多是狗,而不是雪中的狗。因此CNN了解到的是:如果背景是白色的,那么背景必须是狼,如果背景不是白色,则必须是狗。因此,请考虑避免在数据集中建立无意中的偏见。在你的情况下,说你有一个类番茄酱瓶。现在,如果你所拍摄的只是亨氏番茄酱瓶的图片(可能标签上有海因茨文字),你的模型就不会知道任何不是亨氏番茄酱瓶的番茄酱瓶子。祝你好运,希望你的任务顺利。还有一件事,你为什么要考虑做所有的工作,拍摄手机图像?为什么不直接在谷歌搜索感兴趣的项目并下载图片呢?例如,搜索“番茄酱瓶图片”,您可以下载数百张图片(具有多样性,这一点很重要)。

票数 2
EN

Data Science用户

发布于 2020-03-01 11:02:22

考虑到所有样本的环境在某种程度上都是一致的,那么是否有一个大致的数字/经验法则可以让每个班级使用相当数量的样本?(100次训练/ 100次测试)?这是一个概念项目的证明,所以我只是在寻找一些具有合理准确性的东西(80%+)

这确实因问题而异。达到给定的质量阈值所需的观测量取决于神经网络对它们进行正确分类的容易程度。不幸的是,只有拥有你特定领域知识的人才能这么说。我看过CNN的多分类任务,每堂课的观察量很少。在这种情况下,大量的数据拼凑将是基本的。一个好的经验法则是至少在成千上万的顺序。然而,数以百计的乳房。每个类+数据增强可能有效,我建议您尝试使用更小的数据集,并增加其大小,以防不够。

在我捕获了我的图像之后(比如说通过智能手机),在使用培训数据之前,是否有任何预处理步骤(注释除外)是必要的?(即调整图像大小,缩小文件大小和格式)

图像大小是最重要的问题。CNN需要一个恒定大小的输入(高度、宽度、通道)。Conv层已经可以处理较小图像的零填充。然而,您可能会撤销较大的。您可以创建一个输入管道来预处理图像数据,然后将其输入CNN。这个管道的主要目的是将图像保持在可接受的大小(很大程度上取决于您的计算能力)。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/68945

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档