过滤azure数据工厂中导入的数据集

Question

我有一个JSON文件，我需要过滤下来，只显示过去2天的数据。

有没有办法添加一个表达式来做这件事，这样我就可以接收包含前两天数据的数据集？

另外，是否可以在管道中使用filter选项来完成此操作，或者是否需要为此类问题创建数据流？

Answer 1

我同意@Mark Kromer，你应该使用数据流。它使过滤器处于活动状态，可以更容易地实现这一点。

过滤器需要解析/检查文件中的数据，并可能遍历层次结构。

我只做了一个过滤数据date > "2020-12-01"的例子：

​

过滤器：

​

输出预览：

​

根据您的数据列进行筛选，以保留最近2天的数据。