blocks|key|1135817|text|更新后：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1135818|1135819|它在运行，比如说10,000次|blockquote|1135820|1135821|我要假设一张有1000条记录的桌子|1135822|1135823|假设1k记录可以很容易地放入内存中，这似乎是合理的。|1135824|然后运行10k过滤器将大大降低内存(LINQ)。|1135825|使用SQL将意味着加载10M记录，大量的I/O。|1135826|entityMap^0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|R|8|@]|9|@]|A|$]]|$1|B|3|-4|5|6|7|S|8|@]|9|@]|A|$]]|$1|C|3|D|5|E|7|T|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|U|8|@]|9|@]|A|$]]|$1|G|3|H|5|6|7|V|8|@]|9|@]|A|$]]|$1|I|3|-4|5|6|7|W|8|@]|9|@]|A|$]]|$1|J|3|K|5|6|7|X|8|@]|9|@]|A|$]]|$1|L|3|M|5|6|7|Y|8|@]|9|@]|A|$]]|$1|N|3|O|5|6|7|Z|8|@]|9|@]|A|$]]|$1|P|3|-4|5|6|7|10|8|@]|9|@]|A|$]]]|Q|$]]

After the update:
<blockquote>
It's running, say 10,000 times and
I'm going to assume a table with 1000 records
</blockquote>
It seems reasonable to assume the 1k records will fit easily in memory.
And then running 10k filters will be much cheaper in memory (LINQ). 
Using SQL would mean loading 10M records, a lot of I/O.

blocks|key|1135691|text|编辑|type|unstyled|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|data|1135692|它的性能取决于您拥有的数据量。如果您有大量的数据，那么请选择sql，如果小于linq。它还取决于从sql服务器调用数据的频率--它比在内存中加载数据和应用linq要频繁得多，但如果不是sql，则更好。|1135693|第一答案|1135694|最好是在sql方面，而不是在内存中加载，而不是应用linq过滤器。|1135695|一个更好的理由是使用sql而不是linq。|1135696|如果选择linq，当您获得10,000条记录时，它会在内存中加载并增加网络流量|1135697|如果选择，那么内存利用率就会减少，并且减少了网络流量。|1135698|entityMap^0|0|2|0|0|0|4|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|T|8|@$9|U|A|V|B|C]]|D|@]|E|$]]|$1|F|3|G|5|6|7|W|8|@]|D|@]|E|$]]|$1|H|3|I|5|6|7|X|8|@$9|Y|A|Z|B|C]]|D|@]|E|$]]|$1|J|3|K|5|6|7|10|8|@]|D|@]|E|$]]|$1|L|3|M|5|6|7|11|8|@]|D|@]|E|$]]|$1|N|3|O|5|6|7|12|8|@]|D|@]|E|$]]|$1|P|3|Q|5|6|7|13|8|@]|D|@]|E|$]]|$1|R|3|-4|5|6|7|14|8|@]|D|@]|E|$]]]|S|$]]

EDIT

Its alwyas depends on the amount of data you have. If you have large amount data than go for sql and if less than for the linq. its also depends on the how frequently calling the data from sql server it its too frequently than its better to load in memory and than apply linq but if not than sql is better.

First Answer

Its better to go on sql side rather than loading in memory and than apply linq filter.

The one reason is better to go for sql rather an linq is 

if go for linq
when you are getting 10,000 record it loads in memory as well as increase the nework traffic

if go for sql 
no of record decreses so amount of memory utilise is less and aslo decrease networ traffic.

blocks|key|2054005|text|这取决于您的表的大小以及它存储的数据类型。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2054006|就我个人而言，如果您计划在同一个请求中使用所有过滤器，我将返回所有数据。|2054007|如果它是一个按需使用ajax的过滤器，您可以每次从数据库重新加载数据(确保数据是最新的)|2054008|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|I|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|J|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|G|$]]

Depends on how big your table is and what type of data it stores.

Personally, I'd go with returning all the data if you plan to use all your filters during the same request.

If it's a filter on demand using ajax, you could reload the data from the database everytime (insuring by the same time your data is up to date)

blocks|key|2054059|text|这可能会引起一些关于数据库的作用的争论！不久前，我遇到了这个问题，一些比较复杂的过滤(比如“在X国家，价格是y，关键字是z)，速度非常慢。再加上这一点，我不允许改变数据库结构，因为它是第三方数据库。”|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2054060|我交换了所有的逻辑，所以数据库只返回结果(我每小时缓存一次)，并在内存中进行筛选--当我这样做时，我看到了性能的大幅提高。|2054061|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

This will probably cause some debate on the role of a database! I had this exact problem a little while back, some relatively complex filtering (things like "is in X country, where price is y and has the keyword z) and it was horrifically slow. Coupled with this, I was not allowed to change the database structure because it was a third party database.

I swapped out all of the logic, so that the database just returned the results (which i cached every hour) and did the filtering in memory - when I did this I saw massive performance increases.

blocks|key|2049765|text|T取决于您正在筛选的数据量。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2049766|您说过滤器运行10K时间，每次都可能不同，在这种情况下，如果数据库中没有太多数据，就可以将其加载到服务器变量中。|2049767|如果数据库上有成千上万条不应该这样做的记录，那么也许可以在数据库和每个编译的过程上创建索引，以便更快地获取数据。|2049768|您可以在中间实现缓存外观，这有助于您在第一次请求时将数据存储在服务器端，并根据需要更新数据。(只有在数据有记录限制的情况下，才能编写缓存以填充变量)。|2049769|您可以通过运行一些测试查询和观察来计算从数据库获取数据的时间。同时，如果数据存储在内存中，则可以从服务器观察响应时间，并计算差异并根据差异决定。|2049770|还有很多其他的窍门，但底线是|2049771|你必须观察并做出决定。|2049772|entityMap^0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|P|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|Q|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|R|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|S|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|T|8|@]|9|@]|A|$]]|$1|J|3|K|5|6|7|U|8|@]|9|@]|A|$]]|$1|L|3|M|5|6|7|V|8|@]|9|@]|A|$]]|$1|N|3|-4|5|6|7|W|8|@]|9|@]|A|$]]]|O|$]]

t depends on the amount of data you are filtering on.

You say the filter runs 10K time and it can be different everytime, in this case if you don't have much data in database you can load that on to server variable.

If you have hundred thousands of records on database that you should not do this perhaps you can create indexes on database and per-compiled procedures to fetch data faster.

You can implement cache facade in between that helps you to store data in server side on first request and update it as per your requirement. (you can write the cache to fill variable only if data has limit of records).

You can calculate time to get data from database by running some test queries and observations. At the same time you can observer the response time from server if the data is stored in memory and calculate the difference and decide as per that.

There can be many other tricks but the base line is 

You have to observer and decide.

I have a very general question regarding the use of LINQ vs SQL to filter a collection. Lets say you are running a fairly complex filter on a database table. It's running, say 10,000 times and the filters could be different every time. Performance wise, are you better off loading the entire database table collection into memory and executing the filters with LINQ, or should you let the database handle the filtering with SQL (since that's what is was built to do). Any thoughts?

EDIT: I should have been more clear. Lets assume we're talking about a table with 1000 records with 20 columns (containing int/string/date data). Currently in my app I am running one query every 1/2 hour to pull in all of the data into a collection (saving that collection in the application cache) and filtering that cached collection throughout my app. I'm wondering if that is worse than doing tons of round trips to the database server (it's Oracle fwiw).

Using LINQ vs SQL for Filtering Collection

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

对于使用LINQ过滤集合，我有一个非常普遍的问题。假设您正在数据库表上运行相当复杂的筛选器。它在运行，比如说，10,000次，每次过滤器都可能不同。就性能而言，最好是将整个数据库表集合加载到内存中并使用LINQ执行筛选器，还是应该让数据库使用SQL处理筛选(因为这是构建的)。有什么想法吗？编辑：，我应该更清楚。假设我们讨论的是一个包含20列的1000条记录的表(包含int/string/date数

问使用LINQ筛选集合
EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用LINQ筛选集合EN

回答 5

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问使用LINQ筛选集合
EN