NodeJS Parquet写

Question

我有一堆专栏(大约30)。其中有数组，有多行空间的文本字段(Word文档)等。我认为CSV不会是一个适合的格式，因为有多个新的行。我正在考虑使用Parquet格式。

文件本身需要通过NodeJS生成。

1. 是否有专为帕奎特设计的图书馆？
2. 此外，对于大查询的特定文件格式是否有任何建议？

任何指针都会有帮助。

Answer 1

拼花上的节点JS库没有得到很好的维护。您可以签出我的另一个答案是一样的主题。它列出了最受欢迎的一种。

• 帕奎特
• 宴会厅
• 珍珠岩
• 节点-拼花

我建议在图书馆下面试一试。

DuckDB - DuckDB是一个进程内嵌入式库/数据库.它有很多围绕着地板文件构建的功能。

它可以把拼花文件写在磁盘上，直接写到S3桶等。

DuckDB - https://duckdb.org/docs/data/parquet支持的拼花功能。这里有一个简单的片段。

var duckdb = require('duckdb');
var db = new duckdb.Database(':memory:');
db.all("COPY (SELECT 'BOB' AS NAME, 'LONDON' AS CITY) TO 'result-snappy.parquet' (FORMAT 'parquet')", function(err, res) {
  if (err) {
    throw err;
  }
  console.log(res)
});

执行脚本：

PS C:\Users\user1\Downloads> node .\duck-script.js
[ { Count: 1 } ]

​

​

在您的情况下，您可能必须先将数据加载到duckdb表，然后将其写入一个拼花文件中。

DOCS

• 写字台到地板
• 直接将拼花数据写入S3