为什么雪管没有装载所有的数据

Question

我有数据装载问题，从蓝珠到雪花..。我已经创建了完整的过程(存储，通知集成，文件格式，阶段，管道)。因此，当截断表和创建管道时，它只加载7天的文件，而在azure blob中存在1年的文件。

你能建议如何深入研究这个问题吗？谢谢你！！

Answer 1

默认情况下，ALTER管道刷新命令只加载最后7天的分阶段文件。如果文件超过7天，则可以使用“直接复制到”命令一次加载所有文件。使用关键字模式指定要加载的文件名的正则表达式。

有关更多细节，请查看雪花文献

注意:刷新功能用于短期使用，以解决斯诺管道无法加载文件子集且不打算用于常规使用的特定问题。

Answer 2

您是否尝试过像文档中的这里那样使用刷新命令？

Answer 3

您需要打开一个支持用例，以便进一步调试。通知通道可能存在某些问题，这需要进行调试。