使用钻取从Parquet中选择二进制数据

Question

我有一个拼图数据集，其中保存了一个byte_array。

我正在使用Apache Drill查询数据集：

SELECT id, x, y FROM `dfs.root`.`./data`

这给了我：

+--------------------------------------+-------------+-------------+
|                  ID                  |      X      |      Y      |
+--------------------------------------+-------------+-------------+
| 0A3D27D8-DEC5-54D6-6A8E-8FD5CF721E1C | [B@654e7f63 | [B@39a668e8 |
+--------------------------------------+-------------+-------------+

如何在使用PyDrill查询时将binary object ID转换为实际的Python byte_array？

Answer 1

SELECT id, CONVERT_FROM(x, 'UTF8') as x, CONVERT_FROM(y, 'UTF8') as y FROM `dfs.root`.`./data`

您可以在Apache Drill文档中找到此信息：

https://drill.apache.org/docs/data-type-conversion/#convert_to-and-convert_from

我想你指的是fixed_len_byte_array。它是一个原始的拼图数据类型。它可用于INTERVAL和DECIMAL逻辑数据类型。看起来Drill支持开箱即用的这两种方式。如果您没有为fixed_len_byte_array指定逻辑数据类型，那么就不清楚如何解释此数据。