Azure数据工厂:配置频率

Question

我计划使用Azure Data Factory作为项目中数据湖分析作业的触发器。数据湖作业将根据传感器输入数据计算关键数字，这些数据由StreamAnalytics处理并存储在数据湖中。这些作业应该每隔5分钟计算一次这些值。

根据Microsoft文档，无法配置小于15分钟的间隔/频率。

有没有人遇到过同样的问题并找到了解决方案，或者在这种情况下使用不同的工具作为Azure Data Factory会更好？

Answer 1

正如您已经注意到的-最小可配置间隔是15分钟。如果你寻找更小的时间间隔，你应该看看流解决方案，而不是数据工厂。因为你的问题中没有真实的上下文，所以我不能建议你应该看哪项服务。但是Azure Logic应用程序可能是一个很好的候选者，因为在那里你可以有1个时间间隔。

Answer 2

在ADF中，建议频率不能少于15分钟。https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution

对于您的用例，您可以查看Azure Stream Analytics，它用于从物联网https://docs.microsoft.com/en-us/azure/stream-analytics/获取流

Answer 3

您可以使用输出数据集中具有不同名称和不同可用性配置的多个管道副本来做到这一点。例如，具有3个数据集的3条管道将覆盖每个5分钟间隔：

"availability":    
{    
    "frequency": "Minute",        
    "interval": 15,    
    "anchorDateTime":"2017-10-01T00:00:00"    
}
"availability":    
{    
    "frequency": "Minute",        
    "interval": 15,    
    "anchorDateTime":"2017-10-01T00:00:05"    
}
"availability":    
{    
    "frequency": "Minute",        
    "interval": 15,    
    "anchorDateTime":"2017-10-01T00:00:10"    
}

注如果不希望执行重叠，则可能需要实现某种类型的同步锁。