我有数百万张图片(每张图片约7Kb)位于临时文件夹中(在Windows 2012下),我希望将它们存储在Server数据库中。
到目前为止,我所做的是:
foreach (var file in directory.EnumerateFiles())搜索文件byte[] data = System.IO.File.ReadAllBytes("C:\\temp\\" + file.Name);这种对文件的抓取并将其存储到数据库中并不需要很长时间,因为myTable在imagename上有一个聚集索引。但是当我们谈到数以百万计的文件时,完成整个操作需要大量的时间。
有没有办法改进这种工作方式?例如,不是按文件存储文件,而是按10乘以10存储,还是按千存储?还是用线程?对于这种问题,最好的建议是什么?
发布于 2016-12-07 13:38:27
您应该考虑使用标识符来索引图像存储,而不是为图像名"name.jpg“使用的大nvarchar()字段。使用索引ID进行搜索要快得多,所以我建议将您的表拆分成两个表。
第一个保存主唯一ID (索引)和ImageBinary。
第二个表保存外键ID引用、插入日期、下载的图像名称(如果需要的话是PK和索引)。
通过集成视图或存储过程,您仍然可以通过对DB的单个调用插入/更新,但只需在第一个表上直接按ID查找图片即可读取条目。
要知道要调用哪个ID,可以将ID缓存在内存中(并在启动时从表2加载它们)。
这应该能加快图片的阅读速度。
如果您的主要问题是大容量插入和更新所有图片,则应考虑使用用户定义的表类型并将数据大容量合并到DB https://msdn.microsoft.com/en-us/library/bb675163(v=vs.110).aspx中。
如果您可以将逻辑切换到只插入图片,而不是更新,则可以使用.net类"SqlBulkCopy“来加快速度。
希望这有帮助,问候
发布于 2016-12-07 14:46:04
听起来你的问题不在于数据库,而在于FileIO找到要删除的文件本身。我建议将临时文件拆分为多个较小的文件。如果字母表分布良好,您可以为每个字母创建一个目录(如果也有一些字母的话),并将文件放入与其第一个字母匹配的目录中。这将使查找和删除文件的速度快得多。这甚至可以扩展到使用文件名的前3个字符的几百个文件。这将对数百万份文件有很大帮助。
https://stackoverflow.com/questions/41018421
复制相似问题