我在一本书中读到,在node.js中,使用流比一次读取整个文件要好,我理解这个想法。但我想知道不是用流读取文件,而是习惯于使用Java和C++来读取文件,当我想读取一个文件时,我使用的是流。那么这里有什么区别??另外,fs.createReadStream(<somefile>);和fs.readFile(<somefile>);的区别是什么?都是异步的,对吧!
发布于 2016-07-19 14:25:10
首先是文件是完全缓冲的方法。而流是部分缓冲的方法。
现在这是什么意思?
完全缓冲的函数调用(如readFileSync()和readFile() )将数据公开为一个大blob。也就是说,执行读取,然后以同步或异步的方式返回完整的数据集。使用这些完全缓冲的方法,我们必须等待所有数据被读取,内部节点将需要分配足够的内存来将所有数据存储在内存中。这可能是个问题--假设一个应用程序从磁盘读取一个1GB文件。只有完全缓冲的访问,我们需要使用1GB的内存来存储文件的全部内容供读取-因为readFile和readFileSync都返回包含所有数据的字符串。
部分缓冲的访问方法是不同的。它们不把数据输入看作是一个离散的事件,而是一系列在读取或写入数据时发生的事件。它们允许我们在从磁盘/网络/其他I/O读取数据时访问数据。
流返回数据的较小部分(使用缓冲区),并在有新数据可供处理时触发回调。
流是EventEmitters。例如,如果我们的1GB文件需要以某种方式处理一次,我们可以使用一个流并在读取数据时立即处理它。这是有用的,因为我们不需要将所有的数据保存在某个缓冲区中:经过处理后,我们不再需要为这类应用程序将数据保存在内存中。
节点流接口由两部分组成:可读流和可写流。有些流既可读又可写。
发布于 2016-07-19 14:23:13
那么这里有什么区别??另外,
fs.createReadStream(<somefile>);和fs.readFile(<somefile>);的区别是什么?都是异步的,对吧!
除了fs.createReadStream()直接返回一个stream对象以及fs.readFile()在第二个参数中要求一个回调函数之外,还有另一个巨大的区别。
是的,它们都是异步的,但这并不改变fs.readFile()在整个文件被缓冲到内存之前不会给您任何数据的事实。当通过服务器响应重传数据时,这样做的内存效率要低得多,而且速度要慢得多。使用fs.createReadStream(),您可以直接将stream对象放到服务器的response对象上,这意味着即使文件是500 if,客户端也可以立即开始接收数据。
不仅如此,您还可以通过一次而不是一次处理文件块来提高内存效率。这意味着您的内存一次只需要缓冲几at的file内容,而不是一次全部缓冲。
这里有两段片段展示了我的意思:
const fs = require('fs');
const http = require('http');
// using readFile()
http.createServer(function (req, res) {
// let's pretend this is a huge 500MB zip file
fs.readFile('some/file/path.zip', function (err, data) {
// entire file must be buffered in memory to data, which could be very slow
// entire chunk is sent at once, no streaming here
res.write(data);
res.end();
});
});
// using createReadStream()
http.createServer(function (req, res) {
// processes the large file in chunks
// sending them to client as soon as they're ready
fs.createReadStream('some/file/path.zip').pipe(res);
// this is more memory-efficient and responsive
});https://stackoverflow.com/questions/38459334
复制相似问题