我有一个图像集(+-18k图像,不同大小,所有颜色),我想将其作为数组读取到python中。我们的目标是探索图像-通过颜色直方图,即-也处理它们到CNN图像分类。
我可以通过keras datagenerator (flow_from_directory)做到这一点,但是在这种模式下,我想我不能做探索部分(至少我不知道怎么做)。
此外,我还刮掉了这些图像,所以它们不会像数据生成器要求的那样漂亮地放置在文件夹和子文件夹(类和集合)中(所有教程都是基于这些要求的),标签在.csv文件中,当我为不同的实验更改标签时,我需要通过一些丑陋的脚本不断移动它们。
所有这些都是因为我没有足够的计算能力,所以我使用内存为12 in的Google Colab,所以不足以读取内存中的所有图像而不崩溃(大约占数据集的20% )。由于Google colab和drive的存在,移动工作区也令人沮丧,因为它依赖于互联网来做到这一点。
在这一点上,在经历了许多教程和堆栈溢出问题之后,任何提示或建议都将非常受欢迎。我做的是“聪明”的方式吗?
非常感谢
发布于 2021-08-27 20:06:48
最好的办法是使用专为探索数据集而设计的工具,而不是自己编写脚本来完成这项工作。像开源工具FiftyOne这样的工具正是为visualizing large image datasets的目的而设计的,它探索数据中的各种视图,为不同的实验添加多个标签字段,并将其迭代到pass your data on to train deep networks。

它在数据库中支持您的标签,并且只在需要时加载图像,所以内存应该不是问题。您也可以使用use it within Google Colab。
https://stackoverflow.com/questions/66175392
复制相似问题