触发数据库笔记本的方法

Question

有人能告诉我触发Databricks笔记本的可能方法吗？我最喜欢的方法是通过Azure Data，但不幸的是，我的公司目前还不愿意部署ADF。

基本上，我希望当blob被上传到Blob商店时触发我的Databricks笔记本。这有可能吗？

Answer 1

您可以尝试Auto : Auto支持两种检测新文件的模式:目录列表和文件通知。

目录列表：自动加载程序通过列出输入目录来标识新文件。目录列表模式允许您在没有任何权限配置的情况下快速启动自动加载程序流，只需访问云存储中的数据。在Databricks Runtime 9.1及以上版本中，Auto可以自动检测文件是否以词法顺序到达云存储，并显著减少了检测新文件所需的API调用量。

文件通知：自动加载器可以自动设置通知服务和队列服务，从输入目录订阅文件事件。对于大型输入目录或大量文件，文件通知模式具有更高的性能和可伸缩性，但设置时需要额外的云权限。

​

​

参考- https://learn.microsoft.com/en-us/azure/databricks/spark/latest/structured-streaming/auto-loader