首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >读取大文本文件以查看筛选

问读取大文本文件以查看筛选
EN

Stack Overflow用户
提问于 2010-10-20 08:13:31
回答 1查看 1.1K关注 0票数 1

我需要从文本文件中逐行读取(从服务器读取日志文件),并且它们很大(大约150-200MB)。我使用StreamReader和它伟大的“小”文件,如12 so,但不是那么大。过了一段时间,它被加载,并显示在我的DataGridView中,但它的内存很大。我在这个bindingSource.Filter上使用DataGridView (就像textbox,当用户写字母时,它是在过滤一个比较字符串,而不是在textbox中显示没有字母的行等等),而对于大文件,它也是无用的。所以我想问你什么是对我最好的解决方案。

我正在寻找并找到一些解决方案,但我需要帮助我决定什么是对我最好的,以及实现(或者如果有其他的东西):

  1. 在后台加载数据并实时显示。我不知道如何去做,我也不知道如何在这个解决方案中进行过滤。
  2. 也许可以升级一下流器?还是用二进制读取器编写自己的从文件中读取行的方法?
  3. 我在c# 4.0中找到了一些关于内存映射的东西,但是我不能使用4.0。这能帮上忙吗?

谢谢你的帮助

好的,所以我正在实现分页,我读了5k行的文本文件,而不是在点击按钮后,下一行等等。我使用BaseStream.Position来保存开始读取,但是我想使用一些其他函数来保存行数,主要是使用方法从确切的行开始读取,但是我找不到任何关于StreamReader的东西。有类似的东西吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2010-10-20 08:18:27

在后台加载数据并实时显示。我不知道如何做到这一点,我也不知道如何在这个解决方案中进行过滤。

这是没有帮助的。它仍将占用后台线程中的大量内存。

也许可以升级一下流器?还是用二进制读取器编写自己的从文件中读取行的方法?

仍然没有帮助,一旦你把整个文件读入内存,它就会消耗内存。

我想你明白重点了。不要将整个文件加载到内存中。只装载它的大块。使用寻呼。无论如何,您都不能在单个屏幕上显示价值200 to的数据,因此只需要加载屏幕上需要显示的部分。因此,基本上您需要实现以下功能:

代码语言:javascript
复制
public IEnumerable<string> ReadFile(int page, int linesPerPage, out totalLines)
{
    ...
}

在这里,跳过和拿走扩展方法可能会有所帮助。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/3975887

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档