Snowpipe问题- Azure数据湖存储

Question

我们遇到了一个问题，在文件完全写入azure数据湖存储之前，snowpipe可能就已经开始摄取文件了。

然后，它抛出一个错误-解析拼图文件时出错:无效:拼图文件大小为0字节。

以下是一些统计数据，显示该文件在13:59:56完全写入，snowflake在13:59:47通知。

PIPE_RECEIVED_TIME - 2021-08-06 13:59:47.613 -0700

LAST_LOAD_TIME - 2021-08-06 14:00:05.859 -0700

ADLS文件上次修改时间- 13:59:56

有没有人遇到过这个问题，或者有什么解决这个问题的建议？

Answer 1

我曾经看到过类似的东西。我试图将Azure日志导入到一个存储帐户中，并将其收集起来。但是，写入日志的内置进程将创建一个文件，逐渐使用新日志附加更新，然后每隔一个小时左右切换到一个新文件以获取更多日志。

Snowpipe将使用一个日志(或一个日志都没有)拾取该文件，并且从那里，azure队列将不再为该文件发送另一个事件，因此Snowflake再也不会查询它来处理它。

所以我想知道您的进程是否正在创建文件，然后更新它。而不是使用已经完全准备好编写的输出来创建它。

如果这就是问题所在，并且您无法控制文件的创建方式。您可以尝试使用一个按计划运行COPY INTO的任务(而不是雪花管)，这样您就可以将要复制的文件列表限制为只复制已完全完成写入的文件。