首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >提高将数百万张图片存储到数据库中的性能

问提高将数百万张图片存储到数据库中的性能
EN

Stack Overflow用户
提问于 2016-12-07 13:11:02
回答 2查看 183关注 0票数 2

我有数百万张图片(每张图片约7Kb)位于临时文件夹中(在Windows 2012下),我希望将它们存储在Server数据库中。

到目前为止,我所做的是:

  • 使用:foreach (var file in directory.EnumerateFiles())搜索文件
  • 将每个文件读取为二进制数据:byte[] data = System.IO.File.ReadAllBytes("C:\\temp\\" + file.Name);
  • 使用SQLCommand保存每个二进制数据: 使用(SqlCommand savecmd =新SqlCommand("UPDATE myTable set downloaded=1,imagecontent=@imagebinary,insertdate=“+ DateTime.Now.ToShortDateString() +‘where imagename=’+ file.Name.Replace(".jpg","") +‘’,connection)) {savecmd.Parameters.Add(”@Image二进制“,SqlDbType.VarBinary,-1).Value = data;savecmd.ExecuteNonQuery()};
  • 成功插入的每一张图片都从临时文件夹中删除。

这种对文件的抓取并将其存储到数据库中并不需要很长时间,因为myTable在imagename上有一个聚集索引。但是当我们谈到数以百万计的文件时,完成整个操作需要大量的时间。

有没有办法改进这种工作方式?例如,不是按文件存储文件,而是按10乘以10存储,还是按千存储?还是用线程?对于这种问题,最好的建议是什么?

EN

回答 2

Stack Overflow用户

发布于 2016-12-07 13:38:27

您应该考虑使用标识符来索引图像存储,而不是为图像名"name.jpg“使用的大nvarchar()字段。使用索引ID进行搜索要快得多,所以我建议将您的表拆分成两个表。

第一个保存主唯一ID (索引)和ImageBinary。

第二个表保存外键ID引用、插入日期、下载的图像名称(如果需要的话是PK和索引)。

通过集成视图或存储过程,您仍然可以通过对DB的单个调用插入/更新,但只需在第一个表上直接按ID查找图片即可读取条目。

要知道要调用哪个ID,可以将ID缓存在内存中(并在启动时从表2加载它们)。

这应该能加快图片的阅读速度。

如果您的主要问题是大容量插入和更新所有图片,则应考虑使用用户定义的表类型并将数据大容量合并到DB https://msdn.microsoft.com/en-us/library/bb675163(v=vs.110).aspx中。

如果您可以将逻辑切换到只插入图片,而不是更新,则可以使用.net类"SqlBulkCopy“来加快速度。

希望这有帮助,问候

票数 0
EN

Stack Overflow用户

发布于 2016-12-07 14:46:04

听起来你的问题不在于数据库,而在于FileIO找到要删除的文件本身。我建议将临时文件拆分为多个较小的文件。如果字母表分布良好,您可以为每个字母创建一个目录(如果也有一些字母的话),并将文件放入与其第一个字母匹配的目录中。这将使查找和删除文件的速度快得多。这甚至可以扩展到使用文件名的前3个字符的几百个文件。这将对数百万份文件有很大帮助。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41018421

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档