来自iostream或内存缓冲区的Apache Arrow表

Question

我有一些代码可以使用AWS API从AWS S3中检索拼图文件。结果是一个std iostream：

   std::basic_iostream< char, std::char_traits<char>> 

在此基础上，我想创建一个Apache Arrow Table，而不将iostream保存到本地文件，然后加载。但是，我在API中看不到任何帮助。Arrow只提供从文件加载parquet的接口。

Answer 1

master已经添加了对直接S3支持的初步支持。您应该能够生成一个文件，该文件可以使用新的API传递给Parquet读取。我的理解是，这也是建立在官方S3客户端之上的，所以你也可以根据你的用例调整代码。