如何将外部预建的.LMDB文件导入到NVIDIA DIGITS？

Question

我有几个数据库，我需要对它们进行NVIDIA数字分类。但是将我的大数据导入到数字中需要花费很多时间( 2-4天)！假设我已经将2个图像集转换为.lmdb格式，如下所示：

data1                                           data2
--> folder train1_db: data.mdb, lock.mdb        --> folder train2_db: data.mdb, lock.mdb 
--> folder  val1_db: data.mdb, lock.mdb         --> folder  val2_db: data.mdb, lock.mdb 
--> mean.binaryproto                            --> mean.binaryproto
--> some other txt files...                     --> some other txt files...  

现在，我需要连接这两个.lmdb数据库，以节省时间。所以我在python和Merge two LMDB databases for feeding to the network (caffe)中分别实现了这一点。

我有第三个数据集，其中包含: train_db和val_db文件夹，每个文件夹都包含类似于上面的data.mdb和lock.mdb文件。

data3                                           
--> folder train3_db: train1_db + train2_db              
--> folder va3_db: val_db + va2_db                    

我需要将它们导入到数字中，以便在它们上训练网络。

我的问题是：

1-我应该在image LMDB部件中导入folders train_db和val_db吗？

2-我搜索了label LMDB，但我不知道我应该在这部分做什么。你能清楚地解释一下我应该做什么吗？

非常感谢你的帮助。

Answer 1

您必须以与它们相同的方式创建它们。我首先阅读它们，然后创建它们所做的事情。

如果您更改具有相同类结构的现有分类DataSet，则可以使用此方法。您必须编辑pickle文件，以更新2个位置的列车和val的图像总数。您必须生成lmdb文件，就像它们拥有它们一样。

顺便说一句，…当然，他们不推荐这样做:查看：https://github.com/NVIDIA/DIGITS/issues/1035

下面是我的代码：https://github.com/GemHunt/lmdb-testing/blob/master/create_lmdb_rotate_whole_image.py