就性能而言，bcolz比使用datagenerator更好吗？

Question

我正在为以下几点而奋斗：

1. 什么时候应该使用bcolz而不是keras的数据生成器？看起来，keras的model有apis来接受带有批处理的数组，或者也可以定义数据生成器。
2. 与使用带fit() api的数据生成器相比，在使用bcolz和fit_generator() api时，是否存在性能改进？

最后，在这个帖子上有一篇文章提到了达斯克

1. 达斯克比博兹好吗？

谢谢!

Answer 1

1. Keras数据生成器的flow_from_directory(目录)只接收‘PNG、JPG、BMP或PPM’映像，您可以扩展它，但bcolz是一个快速修复。这就是为什么bcolz对于预计算卷积特征来说是完美的。因此，将这些特性保存为bcolz数组，并将它们加载到批处理中以供fit_generator使用。
2. 使用数据生成器(可能是bcolz datagenerator)的fit_generator()比仅在bcolz上更快。

达斯克比博兹好吗？严格来说，Dask不是bcolz的替代方案，Dask可以使用bcolz数组。在具有庞大数据集的任务中，由于它对并行性有很大的支持，所以它可以证明速度的提高。Bcolz是一个很好的压缩数据容器，如果您需要加快速度，我建议在bcolz之上使用dask。