dbt表覆盖度量

Question

考虑到我有一个数据仓库，其中许多表是由dbt从不同来源创建的，因此我想要度量一个类似于'dbt表覆盖‘的概念，我将其定义为：

dtc = count(tables and views that exist) / count(non ephemeral models and sources)

这将是真正有用的，以保持质量/完整性的感觉，特别是在过渡项目期间。是否有如下所示的dbt命令：

dbt report table-coverage --schemas=['reporting','example']
>>> 96% coverage, 48/50 tables in the schemas provided are captured in dbt. 

如果没有，我们如何才能将其添加到项目中？！

我能采取什么替代办法来解决这个问题呢？

Answer 1

要做到这一点，我可能会创建一个模型(视图)来查询information_schema，并对{sourceTableName}到stg_{sourceTableName}的1到1映射(假设这意味着覆盖范围)做了一些假设。

此外，我还将研究如何使用graph.sources.values() JINJA函数来迭代项目中的所有文档源，然后将其与{target.schema}中的每个模型进行比较。

https://docs.getdbt.com/reference/dbt-jinja-functions/graph#accessing-sources

如果将source.schema.yml的存在与source.information_schema进行比较的话。我将修改方法，考虑将图中的每个项与源数据库上的information_schema中的项目总数进行映射。

Answer 2

这里有几个想法，因为这对我目前的情况也很有趣：

1. dbt不提供查询输出或向命令行返回结果。(据我所知！)因此，如果1本质上不受支持的特性在这个时候。也就是说，dbt report或dbt query还不存在。如果需要，我建议在这里构建一个特性请求：https://github.com/fishtown-analytics/dbt/issues

1. 如果您可以在dbt中创建一个模型，然后通过您选择的客户端执行这个模型，那么让我们尝试一下。(我正在使用postgres，因此转换)

以schema_map为模式(选择模式名为架构，表名为名称，“表”为类型，当模式名为'%dbt%‘)时，另有1个模式0结束为来自pg_tables的dbt_created，其中NOT schemaname = ANY('{information_schema，pg_catalog}') UNION选择模式名为架构，视图名称为名称，’视图‘为类型，如果模式名为'%dbt%‘，则其他1 0结束为dbt_created dbt_created from pg_views，其中NOT schemaname = ANY('{information_schema，pg_catalog}')选择count(name)为total_tables_and_views，sum(dbt_created)为dbt_created，dbt_coverage为dbt_coverage schema_map。

给出了结果：

total_tables_and_views | dbt_created | dbt_coverage
391                    |292          |  74.68%

Answer 3

只是为了回馈社区，感谢乔丹和格斯科特给我们的灵感。我为Server/ Synapse执行的解决方案是：

1. ：INFORMATION_SCHEMA.TABLES和dbt图形中模型计数的日常执行，作为一个表。
2. 是建立在1之上的增量表，它选择感兴趣的模式和聚合模式。在下面的例子中，我筛选出了分阶段和测试.

DbtModelCounts：

{% set models = [] -%}

{% if execute %}
  {% for node in graph.nodes.values()
    | selectattr("resource_type", "equalto", "model")
    %}
        {%- do models.append(node.name) -%}

  {% endfor %}
{% endif %}

with tables AS
(
SELECT table_catalog [db], table_schema [schema_name], table_name [name], table_type [type]
FROM INFORMATION_SCHEMA.TABLES
),
dbt_tables AS
(
SELECT *
FROM tables
WHERE name in (
    {%- for model in models %}
    ('{{ model}}') 
    {% if not loop.last %},
    {% endif %}
    {% endfor %}
    )
)
SELECT
    tables.db, 
    tables.schema_name,
    tables.type,
    COUNT(tables.name) ModelCount,
    COUNT(dbt_tables.name) DbtModelCount
FROM tables
LEFT JOIN dbt_tables ON
    tables.name=dbt_tables.name AND
    tables.schema_name = dbt_tables.schema_name AND
    tables.db = dbt_tables.db AND 
    tables.type = dbt_tables.type
GROUP BY
    tables.db,
    tables.schema_name,
    tables.type

Dbt覆盖范围：

{{
  config(
    materialized='incremental',
    unique_key='DateCreated'
  )
}}
SELECT 
    CAST(GETDATE() AS DATE) AS DateCreated,
    GETDATE() AS DateTimeCreatedUTC,
    SUM(DbtModelCount) AS DbtModelCount, 
    SUM(ModelCount) AS TotalModels,
    SUM(DbtModelCount)*100.0/SUM(ModelCount) as DbtCoveragePercentage
FROM {{ref('DbtModelCounts')}}
WHERE schema_name NOT LIKE 'testing%' AND schema_name NOT LIKE 'staging%'

为此，为定义的源添加逻辑，以计算映射到我的暂存表或原始架构表的源的百分比。