我需要读取和处理一个文本文件。如果我可以使用File.ReadAllLines方法,我的处理将会更容易,但我不确定使用此方法在不按块读取的情况下可以读取的文件的最大大小是多少。我知道文件大小取决于计算机内存。但是,对于一台普通的机器,还有什么建议吗?
发布于 2010-03-31 23:11:50
在32位操作系统上,您最多只能获得550兆字节左右的连续内存块,允许加载一半大小的文件。当你的程序运行了一段时间,虚拟内存地址空间变得支离破碎之后,这种情况就会迅速下降。100兆字节差不多就是你所能期望的。
这在64位操作系统上不是问题。
由于一次读取一行文本文件的速度与读取所有行的速度一样快,因此这不应该是一个真正的问题。
发布于 2010-03-31 22:53:08
我以前用1-2 2GB做过类似的事情,尽管是在Python中。不过,我认为.NET不会有问题。但我只会为一次性处理做这件事。
如果您经常这样做,则可能需要逐行浏览文件。
发布于 2010-03-31 22:53:26
这是一个糟糕的设计,除非你知道文件大小与运行应用程序中可用的计算机内存的对比。
一个更好的解决方案是考虑memory mapped files。它们使用自己作为页面文件存储,
https://stackoverflow.com/questions/2553929
复制相似问题