- 综合排序
- 最热优先
- 最新优先
- 来自专栏TopFE
dbt产品初体验
前言 最近体验了一下dbt这个产品，该产品在2022年2月份以42亿美元的估值筹集了2.22亿美元的D轮融资，Snowflake Inc.、Databricks Inc.、Alphabet Inc. dbt要做的产品是，开发数据应用，要想开发代码应用一样，有版本管理，有CI/CD。 前端框架是Anguar，虽然在国内能访问，但有时非常慢，需要耐心等待。 其他参考文献 dbt Labs的D轮融资2.22亿美元，Snowflake和Databricks参与 海外数据转换工具独角兽 - dbt labs
71730编辑于 2023-08-24 Dbt基本概念与快速入门
DBT的工作流程DBT的工作流程通常包括以下几个步骤：创建一个DBT项目：你可以使用DBT初始化命令来创建一个新的DBT项目。 运行DBT：使用dbt run命令执行SQL模型，将数据加载到目标数据库。测试数据质量：使用dbt test命令对数据进行测试，确保数据的质量。 dbt-snowflake pip install dbt-redshift3.2 初始化DBT项目使用以下命令初始化一个DBT项目：dbt init my_projectphp19 Bytes© 菜鸟 3.5 运行DBT模型使用dbt run命令来执行SQL模型，将数据加载到数据仓库中：dbt runphp7 Bytes© 菜鸟-创作你的创作DBT将自动处理模型之间的依赖关系，按顺序执行并将结果存储到目标数据库 3.8 使用DBT编排和调度（可选）DBT本身不提供调度功能，但你可以将它与调度工具（如 Airflow 或 Prefect）集成来定期运行DBT作业。4.
1.2K10编辑于 2025-07-25- 来自专栏ApacheHudi
基于 Apache Hudi + dbt 构建开放的Lakehouse
什么是dbt？ dbt（数据构建工具）是一种数据转换工具，使数据分析师和工程师能够在云数据仓库中转换、测试和记录数据。dbt 使分析工程师能够通过简单地编写select语句来转换其仓库中的数据。 DBT 通过 dbt-spark 适配器[1]包支持开箱即用的 Hudi。使用 dbt 创建建模数据集时，您可以选择 Hudi 作为表的格式。 第二步：如何用dbt项目配置Hudi？ 要将 Hudi 与 dbt 项目一起使用，需要选择文件格式为 Hudi。 dbt 中内置了四种类型的物化： • table • view • incremental • ephemeral 在所有物化类型中，只有增量模型允许 dbt 自上次运行 dbt 以来将记录插入或更新到表中 dbt 使用 append 策略，当在同一有效负载上多次执行 dbt run 命令时，可能会导致重复行。
1.7K10编辑于 2022-12-09 - 来自专栏大数据杂货铺
Cloudera 的开放湖仓采用dbt Core增压
为了便于在 Cloudera 数据平台 (CDP) 上开始使用 dbt，我们将我们的开源适配器和 dbt Core 打包在一个经过全面测试和认证的可下载包中。 Cloudera 为开放数据湖仓中的所有引擎构建 dbt 适配器 dbt 为数据转换管道提供了这种一致的 SDLC 体验，并因此在大大小小的公司中得到广泛采用。 用于数据仓库转换管道的 dbt（图片来源：https://github.com/dbt-labs/dbt-core） 迄今为止，dbt 仅在专有的云数据仓库上可用，不同引擎之间的互操作性很少。 CDP Open Lakehouse 上的 dbt 端到端 SDLC 如何在 CDP 中开始使用 dbt Cloudera 的创新加速器为您带来 dbt 与 CDP 的集成，这是一个跨职能团队，可识别新的行业趋势并创建新产品和合作伙伴关系 公共云 通过 Cloudera Data Science Workbench 实现 CDP 私有云 Cloudera 支持的开源适配器的入门指南 dbt-Impala dbt-hive dbt-spark-livy
81910编辑于 2022-12-02 - 来自专栏大数据，java，Python和前端
使用dbt优化数仓缓慢变化维的实践与思考
经过技术选型，我们最终采用dbt（data build tool） 作为核心工具，结合其强大的版本控制能力和增量模型特性，实现了高效的SCD Type 2管理方案。 技术方案设计核心思路采用"当前-历史"双表模式：当前表：仅保存最新状态，快速响应实时查询历史表：使用SCD Type 2记录所有历史变更，支持时间切片查询工具选择理由dbt提供了以下关键特性：内置的增量模型 环境准备# packages.ymlpackages: - package: dbt-labs/dbt_utils version: 0.8.02. 经验总结增量处理是关键：只处理变化数据而非全量，大幅提升效率适当的数据分层：当前表与历史表分离，平衡查询性能和历史追溯需求利用现代数仓特性：充分利用BigQuery的分区、集群等原生功能数据质量保障：通过dbt SCD逻辑的正确性进一步优化方向AI辅助的归档策略：基于访问模式预测，自动将冷数据转移到低成本存储动态压缩算法：根据不同数据类型自动选择最优压缩方式预测性索引管理：基于查询模式自动优化索引结构结语通过dbt
49110编辑于 2025-09-12 - 来自专栏NebulaGraph 技术文章
有了 ETL 数据神器 dbt，表数据秒变 NebulaGraph 中的图数据
这里我们用到我个人比较喜欢的工具：dbt。 数据转换利器 dbt dbt 是一个开源的数据转换工具，它有非常成熟的社区和生态，可以在大多数主流数仓之中进行高效、可控、高质量的数据转换工作。 图片 简单来说，dbt 是一个 Python 写的命令行工具。针对不同的项目，我们可以用 dbt 创建特定格式的项目文件夹，它会自带一个 .yaml 配置文件。 导入 NebulaGraph（L） 图片 准备 dbt 环境 dbt 是一个 Python 项目，我们在一个虚拟的 Python 3 环境里安装好 dbt 和 dbt-postgres。 python3 -m venv .venv source .venv/bin/activate pip install dbt-postgres 创建一个 dbt 项目，并进入到空的项目里： dbt init run -m acted_by dbt run -m directed_by dbt run -m with_genre dbt run -m people dbt run -m genres dbt
2.3K31编辑于 2023-02-09 - 来自专栏PingCAP的专栏
当 dbt 遇见 TiDB丨高效的数据转换工具让数据分析更简单
TiDB 社区在近日推出了 dbt-tidb 插件，实现了 TiDB 和 dbt 的兼容适配。本文将通过一个简单的案例介绍如何通过 dbt 实现 TiDB 中数据的简单分析。 本例用到的相关软件及其版本要求： TiDB 5.3 或更高版本 dbt 1.0.1 或更高版本 dbt-tidb 1.0.0 安装 dbt 除了本地 CLI 工具外，还支持 dbt Cloud (目前， 我们这里直接使用 pypi 安装 dbt 和 dbt-tidb 插件。 安装 dbt 和 dbt-tidb，只需要一条命令，因为 dbt 会作为依赖在安装 dbt-tidb 的时候顺便安装。 $ pip install dbt-tidb dbt 也可自行安装，安装方式参考官方安装教程。 [2.jpg] 总结 TiDB 在 dbt 中的使用主要有以下几步： 安装 dbt 和 dbt-tidb 配置项目 编写 SQL 和 YML 文件 运行项目 目前，TiDB 支持 dbt 的版本在 4.0
2.2K20编辑于 2022-04-13 - 来自专栏ApacheHudi
构建端到端的开源现代数据平台
现在我们已经启动并运行了 Airbyte 并开始摄取数据，数据平台如下所示： ELT 中管理 T：dbt 当想到现代数据栈时，dbt 可能是第一个想到的工具。 可以通过两种不同的方式设置 dbt 环境： • dbt Cloud：这是由 dbt Labs 托管的基于 Web 的集成开发环境 (IDE)。 这在 dbt Labs 的“入门[20]”教程中得到了很好的解释，该教程介绍了需要熟悉的所有概念。 现在可以享受数据乐趣了：您可以使用 dbt 来定义模型和它们之间的依赖关系。 使用 dbt Cloud可以管理管道的调度并定义不同的执行触发器（例如通过 webhook），而 dbt 还具有强大的基于 SQL 的测试功能，可以利用它来确保不会发现数据质量问题。 一个简单的场景是在更新特定的 dbt 模型时使 Superset 缓存失效——这是我们仅通过 dbt Cloud 的调度无法实现的。
7.3K10编辑于 2022-12-09 - 来自专栏NebulaGraph 技术文章
如何轻松做数据治理？开源技术栈告诉你答案
) meltano run dbt:run # Generate dbt docs meltano invoke dbt docs generate # Serve generated dbt docs 提取 dbt 元数据 其实，我们也可以从 dbt 本身提取元数据。 /.meltano/transformers/dbt/target/catalog.json dbt 元数据 ETL 的执行 我们试着解析示例 dbt 文件中的元数据吧： $ ls -l example ': json.dumps(manifest_data), # JSON Dumped objecy 'extractor.dbt.source_url': source_url}) 验证 dbt 通过 dbt 这个在刚才已经展示过了，dbt 的 Extractor 会从表级别获取血缘同其他 dbt 中产生的元数据信息一起被拿到。
3.9K40编辑于 2022-12-27 - 来自专栏运维之路
全数字化颠覆
为了应对数字化，思科携手洛桑国际管理发展学院共同组建全球全数字化业务转型中心（以下简称DBT中心），今天要梳理的《全数字化赋能》即是DBT对数字化研究成果的一个总结。 DBT把“全数字化”定义为“通过连接实现的各种技术创新”，技术创新本身并非最终目标，而是手段，这和大家常把数字化作为目标来定义有区别，这是一个比较好的角度。 需要指出的是，DBT认为对于现有企业不应该只把数字化颠覆视为威胁，同时也是机遇，这同样可以用来扩展价值吸血鬼与价值空地。 接着DBT还提出两个生动的定义“价值吸血鬼”与“价值空地”。 DBT对敏捷的数字化能力抽象了3个能力，分别是：超强感知力、明智决策力、快速执行力，这3个能力可作为数字化建设过程中的不断优化的过程。
80931发布于 2020-03-06 - 来自专栏开源服务指南
新一代 Git 工具，AI 赋能！深度集成、简化操作 | 开源日报 No.194
dbt-labs/dbt-corehttps://github.com/dbt-labs/dbt-core Stars: 8.5k License: Apache-2.0 picture dbt-core
81611编辑于 2024-02-26 - 来自专栏大数据和云计算技术
Modern Data Stack 下 Data Integration 生态（下）
to build and enrich audiences, and to activate audiences across marketing tools Airbyte 其中转换部分使用了 dbt dbt • 主要作用：简化数据分析代码编写，CI/CD、文档，依赖关系管理等。 专门做 transformation，支撑 snowflake, bigquery , databricks , redshift 等，具体的 transformation 其实都是 数仓自己完成，dbt 只需要 SQL 简单总结 Modern data stack 下面 data integration 的产品非常多，各个领域相对比较有名气的是 AWS DMS、confluent、Fivetran、dbt Modern data stack 都在不同层面去降低客户使用数据的难度以及帮助发现客户的价值，典型的 dbt，reverse etl 。
1.3K20编辑于 2021-12-30 - 来自专栏网络安全技术点滴分享
在AI技术快速实现创想的时代，挖掘真实需求成为核心竞争力——某知名企业级文本转SQL评估框架深度解析
b.功能特性该项目提供三个主要的评估设置：Snow版本、Lite版本和DBT版本。 版本完全基于Snowflake数据库，包含547个评估示例，无需任何使用成本；Lite版本支持BigQuery、Snowflake和SQLite三种数据库，同样包含547个示例，但会产生一定的使用成本；DBT DBT版本的使用需要参考专门的数据和方法文档。所有评估结果需要按照指定的提交指南格式进行提交，才能将分数上传到官方排行榜。系统提供部分示例的黄金答案用于自我评估，但只有少量黄金SQL可用。 requirements.txt文件和支持不同硬件平台（如Apple M系列芯片）的安装方案（7）用户希望提供更多的训练数据和使用指南，包括数据集划分方案和允许的训练范围说明（8）用户希望支持DuckDB源表的dbt
26810编辑于 2025-08-26 从 SQL 到 OSI：当“数据是什么意思”也有了标准答案
更具体地讲：过去你在 dbt 里定义了“净收入”的计算逻辑，想在 Tableau 或 Power BI 里用，得重新定义一遍。 dbt Labs 2025 年 10 月宣布将 MetricFlow 完全开源（Apache 2.0），作为对 OSI 标准的直接承诺，推动指标定义的标准化和可移植——MetricFlow 的 YAML 格式也是 OSI 规范的底层标准之一（见 dbt Labs Blog dbt Labs Affirms Commitment to OSI by Open Sourcing MetricFlow）。 Labs：“What the OSI Spec Means for Metrics, Semantics, and AI”（getdbt.com/blog）- dbt Labs：“dbt Labs Affirms MetricFlow（开源）：github.com/dbt-labs/metricflow
26610编辑于 2026-03-03- 来自专栏MongoDB中文社区
用MongoDB Change Streams 在BigQuery中复制数据
我们可以使用dbt这样的把原始的JSON数据工具解析、存储和转换到一个合适的SQL表中。这当然有一些缺点，但可以让我们拥有一个真正及时的端到端管道。管道有以下部件： 1. 一个读取带有增量原始数据的源表并实现在一个新表中查询的dbt cronjob(dbt,是一个命令行工具，只需编写select语句即可转换仓库中的数据;cronjob,顾名思义，是一种能够在固定时间运行的 这是一个dbt SQL在生产环境下如何操作的例子。 通过这两个步骤，我们实时拥有了从MongoDB到Big Query的数据流。 现在，运行同样的dbt模型给了我们带有所有回填记录的最终表。 我们发现最主要的问题是需要用SQL写所有的提取操作。这意味着大量额外的SQL代码和一些额外的处理。当时使用dbt处理不难。
5.8K20发布于 2019-08-26 - 来自专栏ApacheHudi
降本70%！金融支付公司 Yuno 的数据湖实践
为了解决这些问题，我们为大多数使用案例开发了模板，并将 DBT（数据构建工具）整合到我们的工作流程中。 为了实现这一点，我们在 DBT 存储库中创建自定义配置文件，以根据工作负载大小和复杂性分配资源。 dbt-glue 连接器的集成使我们能够抽象出 Spark 和 Hudi 的复杂性，从而为我们的运营提供更多的控制和效率。 dbt-glue 连接器消除了管理 Spark 集群的需要，使我们能够在 AWS Glue 上无缝运行所有内容。 为了进一步简化我们的操作，我们使用 dbt-glue 连接器的一个分支调整了我们的 DBT 存储库，以更好地满足我们的 Hudi 要求。
46200编辑于 2024-11-23 - 来自专栏囍楽云博客
内存数据库 mysql-mysql in memory_In-Memory：内存数据库
在内存数据库中，不是所有的数据都需要存储在内存中，有些数据仍然能够存储在Disk上，硬盘表(Disk-Based Table，简称DBT)是传统的表存储结构，每个Page是8KB，在查询和更新DBT时， 五，内存数据库的事务处理 交叉事务是指在一个事务中，解释性TSQL语句同时访问内存优化表(Memory- Table，简称MOT)和硬盘表(Disk-Based Table，简称DBT)。 在交叉事务中，访问MOT的操作和访问DBT的操作都拥有自己独立的事务序号，就像在一个大的交叉事务下，存在两个单独的子事务，分别用于访问MOT和DBT；在sys.ns (-SQL)中，访问DBT的事务使用标识
3.5K10编辑于 2022-12-29 - 来自专栏ApacheHudi
Apache Hudi 0.10.0版本重磅发布！
生态 4.1 DBT支持 通过与非常流行的数据转换工具 dbt[11]集成，并已经在dbt 1.0.latest 版本中发布，用户可以更方便地创建派生的 Hudi 数据集。 使用 0.10.0用户可以使用 dbt 创建增量 Hudi 数据集，详情请参阅 dbt-spark#issue187[12] 4.2 监控 Hudi 现在支持将指标发布到 Amazon CloudWatch concurrency_control [10] Marker机制: https://hudi.apache.org/blog/2021/08/18/improving-marker-mechanism [11] dbt : https://github.com/dbt-labs/ [12] dbt-spark#issue187: https://github.com/dbt-labs/dbt-spark/pull/210
3K20编辑于 2021-12-13 - 来自专栏超级架构师
【数据架构】面向初创公司的现代数据堆栈
许多很酷的数据工具（~Apache Airflow、DBT、Metabase）在开源社区中蓬勃发展和发展。 分析师可以根据需要使用 DBT 等工具对仓库中的数据执行转换，而无需事先考虑洞察力和数据类型。 初创公司的采用策略 正如本博客前面提到的，初创公司很难预测数据的演变，他们将要应对。 付费：Dataform、DBT 免费和开源替代品：Talend Open Studio、Apache NiFi 编排 用于执行和编排处理数据流的作业的软件。
99610编辑于 2022-03-25 - 来自专栏好奇心Log
X波段双极化相控阵天气雷达基数据的python读取方法
dtype_AXPT0164.BaseDataHeader['RadialFieldDataBlock']], radial_var)) ##0.005s radial_var['dBT '] = radial_var['dBT'][:self.LengthOfGate] * 106. / 255. -20. ## mask = np.array([False] * self.LengthOfGate) mask[radial_var['dBT']==86] = True ## radial_var['dBT'][radial_var['dBT']==86] = fillvalue_undef radial_var[' USHORT), # 数据回放指针：相关系数 ), RadialFieldDataBlock = ( ('dBT
4.3K40发布于 2021-11-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号