我有问题将dbt云和dbt核心连接到databricks
我读过这四个链接,但仍然无法连接。
https://docs.databricks.com/integrations/prep/dbt-cloud.html#connect-to-dbt-cloud&language-Cluster
https://docs.databricks.com/integrations/prep/dbt.html
https://docs.getdbt.com/reference/warehouse-profiles/databricks-profile
https://github.com/databricks/dbt-databricks
在dbt云上:
当我在项目创建步骤中测试连接时,它通过了测试。但是,当我使用连接创建作业并运行时,它将返回以下消息:“无法在火花中设置数据库!”
编辑:这个问题曾经被修复过,但是它又回来了。
原始修复:dbt核心连接问题已经解决.这个问题是由MacOS上的python证书问题引起的。有关solution,请参阅此链接
在dbt-core上:我是如何在文档基础上设置profiles.yaml文件的:
databrick_dbt_lakehouse:
outputs:
dev:
host: adb-755xxxxxxx7.7.azuredatabricks.net
http_path: /sql/protocolv1/o/755xxxx7/0517-xxxxxx-xxxxxx
schema: default
threads: 1
token: dapi<my token>
type: databricks
target: dev注意:
中使用了pipenv
当我运行dbt debug时,我收到了这样的消息:
check failed:
dbt was unable to connect to the specified database.
The database returned the following error:
Runtime Error
Database Error
failed to connect请帮忙,谢谢
发布于 2022-05-19 11:02:55
你的http_path似乎错了。这是我的profiles.yml的摘录
databricks_dbt_demo:
outputs:
dev:
host: adb-redacted.azuredatabricks.net
http_path: /sql/1.0/endpoints/redacted # for SQL Endpoint
# http_path: /sql/protocolv1/o/{ORG-ID}/{CLUSTER-ID} # for All-Purpose Cluster
schema: your_database_here
token: your_personal_access_token_here
type: databricks
target: dev您是在使用群集(例如所有用途群集)还是使用SQL终结点?
发布于 2022-05-20 03:34:46
编辑:这个问题又回来了。我是在修改后的第三天写这个评论的。
当我运行dbt run或dbt snapshot时,将返回以下错误消息:
Encountered an error:
Runtime Error
Database Error
failed to connect原始修正:
这个问题是由MacOS上的python证书问题引起的。有关solution,请参考此链接。
dbt云问题是由yaml文件中的错误架构名称引起的。
https://stackoverflow.com/questions/72291367
复制相似问题