如何正确读取由pyarrow生成的Apache Arrow Feather文件？

Question

我没有成功地使用python脚本Arrow的javascript库。生成的javascript来阅读Apache。我使用的是Apache项目中的py箭头和箭头/js。

我创建了一个简单的python脚本来创建Feather文件：

import pyarrow as pa
import pyarrow.feather as feather

# create a simple feather table to assess reading in JS with arrow/js
int_array = pa.array(list(range(10)))
int_schema = pa.schema([pa.field('Numbers_schema', pa.uint32())])
int_table = pa.Table.from_arrays([int_array], schema=int_schema)

feather.write_feather(int_table, 'simple.arrow', version=2)

如果我在python中读到“simple.arrow”文件并输出，例如在木星笔记本中，我就会得到预期的结果：

| |Numbers_schema|
|--|-------------|
|0|0|
|1|1|
|2|2|
|3|3|
|4|4|
|5|5| 

等。

但是，如果我使用简单的Javascript实现或js库提供的arrow2csv.js实现读取文件，结果数据如下所示(忽略索引，输出来自使用从1开始的索引的arrow2csv.js输出)：

| |"Numbers_schema: UInt32"|
|--|------------------------------|
|1|40|
|2|0|
|3|407708164|
|4|679624800|
|5|8388608|

等。

所以基本上，所有应该是UInt32的值都是不正确的。在我看来，JS实现似乎没有正确读取Feather文件。这是一个错误，还是我误解了一些有关Feather文件格式及其使用的内容？

诚挚的问候,

-Toni

Answer 1

默认情况下，feather.write_feather()使用LZ4压缩，但是javascript库不支持R/Python++实现中的任何一种压缩标准。

如果您希望能够使用Arrow库进行读取，那么在从Python编写时必须将compression="uncompressed"作为参数传递。

通常，当我试图在JS中读取压缩的羽毛文件时，会出错，因为该文件比预期的字节数短；我猜想这里的数据足够短，因此JS实现从页脚抓取一些任意字节，并试图将它们解释为“number”列的一部分。