首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Azure Synapse二进制到Parquet

问Azure Synapse二进制到Parquet
EN

Stack Overflow用户
提问于 2022-08-20 16:07:43
回答 2查看 131关注 0票数 0

我正在将.gzip文件作为二进制文件加载到我的原始容器中,现在我想知道如何继续进行蔚蓝突触分析。我希望获得二进制.gzip,并将其移动到另一个文件夹,并按照以下步骤以Parquet格式存储它。

  1. 将.gzip转换为json格式
  2. 把孩子们转变成木地板

我是新的管道,不确定何时使用复制数据与数据流等。

如果有人可以用打印屏幕或非常清楚地显示步骤,那将是非常感谢的!

谢谢,安德斯

EN

回答 2

Stack Overflow用户

发布于 2022-08-21 04:40:21

根据微软官方文件

二进制数据集只能在Copy activity、GetMetadata activity或Delete activity中使用。我们不能在Dataflow activity中使用二进制数据集。此外,当使用二进制数据集时,服务不解析文件内容,而是按原样对待文件内容。

现在,即使在Copy activity中使用二进制数据集,也不能将其转换为其他格式,而只需要将其从二进制数据集复制到二进制数据集。

因此,您需要更改您的方法,并为您的用例尝试一些编程方法。

票数 1
EN

Stack Overflow用户

发布于 2022-08-22 13:54:17

这是我们使用的一个常见模式,特别是对于SFTP中的更大的ZIP文件,下载可能需要几个小时。

  1. 首先,正如您已经做的那样,使用二进制数据集将zip文件加载到原始容器中。
  2. 接下来,创建一个分隔数据集来定义分隔符、引号、标头等,以读取原始容器文件。在此数据集中,将压缩类型定义为"gzip“。当作为数据源使用时,Data将在读取时解压缩/解压缩数据。注意:定义模式是可选的,如果您只是在转换格式,则定义模式是不必要的;您也可以将此数据集用作Sink,而Dataset将在写入时对数据进行GZ/压缩;如果您的文件是.zip而不是.gz,则使用ZipDeflate来完成相同的任务。
  3. 最后,使用COPY或Dataflow将数据转换为所需的Sink定义。如果您确实希望转换为JSON和Parquet,则可以在单个Dataflow中通过分支源来完成这两种工作。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73428203

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档