在运行时可能会发生哪些与Azure数据服务相关的各种错误/问题？

Question

我正在尝试使用预测-预防异常检测和解决模型，对于该模型，我想列出所有影响Azure数据服务(数据湖、数据工厂等)工作的错误/参数，并可能导致服务失败，即那些可能在未来发生的问题，例如容器大小达到其最大限制，或任何此类问题。我已经尝试过Microsoft文档和与每个特定服务相关的文章中列出的大多数问题/错误，但它们都属于反应性维护(反应性异常检测和解决)。

Answer 1

你的问题不可能有确切的答案。当您部署和配置任何服务时，可能会出现任何问题和错误。

不过，您可能面临的主要常见问题将与存储、计算和连接相关。因此，建议持续监控服务的运行状况。

当你在Azure数据湖中部署任何文件时，可伸缩性并不是大问题，因为无论你是通过数据湖存储Gen2还是存储接口访问，Blob存储都是可扩展的。它能够存储和服务许多艾字节的数据。在高级别每秒输入/输出操作(IOPS)下，以千兆位/秒(Gbps)为单位测量的吞吐量可提供此存储量。因此，当您将ADLS与分析服务(如数据库和Synapse )连接时，只需注意连接和计算基础架构(内存和内存)。确保您的计算基础架构足够强大，可以根据您的需求处理足够数量的数据。

在Azure Data Factory中，计算基础设施称为集成运行时(IR)。当你部署ADF时，会为你分配一个默认的Azure IR，它负责运行你的管道。如果负载增加，您需要重新配置或创建新的IR以获得更好的稳定性。您可以访问Create and configure Azure Integration Runtime来创建新的IR。

同样，对于每个Azure数据服务，您都需要考虑类似的问题。

最后，如果您部署Azure Service Health来监视性能和其他与您的服务相关的问题，这是一个很好的方法。