首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >改进EFCore查询快速操作

问改进EFCore查询快速操作
EN

Stack Overflow用户
提问于 2021-06-09 08:33:59
回答 2查看 104关注 0票数 0

我读取了一个sqlite数据库(数据库的大小约为3MB,因此没有多少信息,每个表大约有1或2000行)并从中提取信息,然后将这些信息添加到一个新的数据库中。整个手术大约需要40秒。

我如何减少这一时间,并尽快完成手术?(任务,并行,异步,.)

我目前正在使用以下代码:

代码语言:javascript
复制
await Task.Run(async () =>
            {
                var pkgs = new ManifestTable();
                var mydb = new dbContext();
                await mydb.Database.EnsureDeletedAsync();
                await mydb.Database.EnsureCreatedAsync();
                using (var msixDB = new MSIXContext())
                {
                    foreach (var item in await msixDB.IdsMSIXTable.ToListAsync())
                    {
                        var rowId = item.rowid;
                        var manifests = await msixDB.Set<ManifestMSIXTable>().Where((e) => e.id == rowId).ToListAsync();

                        foreach (var manifest in manifests)
                        {
                            pkgs = new ManifestTable();
                            pkgs.PackageId = item.id;


                            var productMap = await msixDB.ProductCodesMapMSIXTable.FirstOrDefaultAsync((e) => e.manifest == manifest.rowid);
                            if (productMap != null)
                            {
                                var prdCode = await msixDB.ProductCodesMSIXTable.FirstOrDefaultAsync((e) => e.rowid == productMap.productcode);
                                if (prdCode != null)
                                {
                                    pkgs.ProductCode = prdCode.productcode;
                                }
                            }
                            var publisherMap = await msixDB.Set<PublishersMapMSIXTable>().FirstOrDefaultAsync((e) => e.manifest == manifest.rowid);

                            if (publisherMap != null)
                            {
                                var publisher = await msixDB.PublishersMSIXTable.FirstOrDefaultAsync((e) => e.rowid == publisherMap.norm_publisher);

                                if (publisher != null)
                                {
                                    pkgs.Publisher = publisher.norm_publisher;
                                }
                            }

                            var pathPart = manifest.pathpart;
                            var yml = await msixDB.PathPartsMSIXTable.FirstOrDefaultAsync((e) => e.rowid == pathPart);
                            if (yml != null)
                            {
                                pkgs.YamlName = yml.pathpart;
                            }

                            var version = await msixDB.VersionsMSIXTable.FirstOrDefaultAsync((e) => e.rowid == manifest.version);
                            if (version != null)
                            {
                                pkgs.Version = version.version;
                            }
                            await mydb.ManifestTable.AddAsync(pkgs);
                        }
                    }
                     await mydb.SaveChangesAsync();
                }

            });
EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-06-09 10:36:26

将数据库作为对象存储是有史以来最糟糕的想法。您必须尽可能减少数据库往返。在你的情况下-只需要一个请求。也不要玩Task.Run,并行等,如果你不知道哪一部分是慢的。在你的例子中-数据库往返。

代码语言:javascript
复制
var mydb = new dbContext();
await mydb.Database.EnsureDeletedAsync();
await mydb.Database.EnsureCreatedAsync();

using (var msixDB = new MSIXContext())
{
    var query = 
        from item in msixDB.IdsMSIXTable
        from manifest in msixDB.Set<ManifestMSIXTable>().Where(e => e.id == item.rowId)
        from productMap in msixDB.ProductCodesMapMSIXTable.Where(e => e.manifest == manifest.rowid).Take(1).DefaultIfEmpty()
        from prdCode in msixDB.ProductCodesMSIXTable.Where(e => e.rowid == productMap.productcode).Take(1).DefaultIfEmpty();
        from publisherMap in msixDB.Set<PublishersMapMSIXTable>().Where(e => e.manifest == manifest.rowid).Take(1).DefaultIfEmpty()
        from publisher in msixDB.PublishersMSIXTable.Where(e => e.rowid == publisherMap.norm_publisher).Take(1).DefaultIfEmpty()
        from yml in msixDB.PathPartsMSIXTable.Where(e => e.rowid == manifest.pathpart).Take(1).DefaultIfEmpty()
        from version in msixDB.VersionsMSIXTable.Where(e => e.rowid == manifest.version).Take(1).DefaultIfEmpty()
        select new ManifestTable
        {
            PackageId = item.id,
            ProductCode = prdCode.productcode,
            Publisher = publisher.norm_publisher,
            YamlName = yml.pathpart,
            Version = version.version
        };

    mydb.ManifestTable.AddRange(await query.ToListAsync());
    await mydb.SaveChangesAsync();
}
票数 2
EN

Stack Overflow用户

发布于 2021-06-09 09:33:36

你应该先看看算法上是否有任何改进,然后再尝试并行处理等等。

您有两个嵌套循环,因此,如果每个表有几千行,那么内循环体将以10^6的大小运行,这并不可怕,但数量相当。

在内部循环中,您将运行大量的FirstOrDefaultAsync语句。如果这些没有索引,它将需要扫描所有行,这将是缓慢的。因此,首先要确保对所有表都有适当的索引。这样做是为了确保搜索特定项的时间是恒定的。

您似乎也在使用相同的参数对PublishersMapMSIXTable进行重复查找。避免不必要的重复操作应该是修复的第一件事之一,因为它只是浪费了周期。

如果整个操作在后台线程上运行,那么所有异步调用都不太可能有多大帮助,它会节省一点内存,但会导致线程之间的一些反弹。因此,如果性能(如果重要的话),常规同步方法可能会更快一些。

与以往一样,在性能方面,度量。一个好的性能分析器应该告诉你大部分时间都花在了什么上面,如果你没有秒表的话,添加一些秒表是很容易的。即使是非常有经验的程序员,如果他们试图猜测缓慢的部分是什么,他们也可能完全错。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67900436

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档