- 综合排序
- 最热优先
- 最新优先
- 来自专栏SQL数据库开发
全新批流一体 Domino 架构终结“批流缝合”
这不仅是技术革新，更是认知跃迁——数据世界正以'批流一体'为核心进行板块级重构。 Flink将批处理视为特殊流处理的方法在理论上实现了批流一体，但是损失了一些批处理场景的性能，并且实际上的使用门槛更高。 YMatrix Domino 内核级创新实现“批流真一体” 无论是 Lambda 架构还是 Kappa 架构，抑或是十年来业界对于流计算技术的探索，在实现“批流一体”的进程中，总是存在多种技术或组件的拼接 Domino 架构通过数据库内核级的融合，实现了批流一体的真正突破，重新定义了批流一体的数据处理范式。 其核心目标是通过统一 everything 的设计与存储计算融合，彻底消除传统流批架构的割裂，降低技术复杂性，同时以 SQL 为核心实现“零代码批流一体开发”。
1.5K10编辑于 2025-03-27 批流一体 vs 流批一体：一字之差的技术鸿沟，如何选择？
摘要： 在实时数据处理领域，“批流一体”与“流批一体”概念常被混淆。 导语 当企业面临海量数据实时分析与历史回溯的双重需求时，技术团队常陷入选择困境：究竟该采用批处理、流处理，还是新兴的“批流一体/流批一体”架构？一字之差背后，是数据处理逻辑的根本差异。 正文 一、概念辨析：批流一体 vs 流批一体 1. 流批一体（Streaming-Batch Unification） 定义：基于单一引擎（如Flink）统一处理流与批数据，实现逻辑与代码的完全一致。 核心差异对比 维度 批流一体 流批一体 架构复杂度 高（多引擎协同）
34310编辑于 2025-10-30- 来自专栏实时流式计算
统一批处理流处理——Flink批流一体实现原理
批处理是流处理的一种非常特殊的情况。在流处理中，我们为数据定义滑 动窗口或滚动窗口，并且在每次窗口滑动或滚动时生成结果。批处理则不同，我们定义一个全局窗口，所有的记录都属于同一个窗口。 这两个 API 都是批处理和流处理统一的 API，这意味着在无边界的实时数据流和有边界的历史记录数据流上，关系型 API 会以相同的语义执行查询，并产生相同的结果。 Table API / SQL 正在以流批统一的方式成为分析型用例的主要 API。 DataStream API 是数据驱动应用程序和数据管道的主要API。 相反，MapReduce、Tez 和 Spark 是基于批的，这意味着数据在通过网络传输之前必须先被写入磁盘。该测试说明，在使用Flink 时，系统空闲时间和磁盘访问操作更少。 因此，Flink 可以用同一个数据处理框架来处理无限数据流和有限数据流，并且不会牺牲性能。
5.8K41发布于 2019-09-10 - 来自专栏实时计算
统一批处理流处理——Flink批流一体实现原理
批处理是流处理的一种非常特殊的情况。在流处理中，我们为数据定义滑 动窗口或滚动窗口，并且在每次窗口滑动或滚动时生成结果。批处理则不同，我们定义一个全局窗口，所有的记录都属于同一个窗口。 这两个 API 都是批处理和流处理统一的 API，这意味着在无边界的实时数据流和有边界的历史记录数据流上，关系型 API 会以相同的语义执行查询，并产生相同的结果。 Table API / SQL 正在以流批统一的方式成为分析型用例的主要 API。 DataStream API 是数据驱动应用程序和数据管道的主要API。 相反，MapReduce、Tez 和 Spark 是基于批的，这意味着数据在通过网络传输之前必须先被写入磁盘。该测试说明，在使用Flink 时，系统空闲时间和磁盘访问操作更少。 因此，Flink 可以用同一个数据处理框架来处理无限数据流和有限数据流，并且不会牺牲性能。
4.9K20发布于 2019-09-11 - 来自专栏鳄鱼儿的技术分享
Flink流批一体 | 青训营笔记
Flink如何做到流批一体 流批一体的理念 2020年，阿里巴巴实时计算团队提出“流批一体”的理念，期望依托Flink框架解决企业数据分析的3个核心问题，理念中包含三个着力点，分别是一套班子、一套系统、 一套班子：统一开发人员角色，现阶段企业数据分析有两个团队，一个团队负责实时开发，一个团队负责离线开发，在流批一体的理念中，期望促进两个团队的融合。 流批一体的理念即使用同一套 API、同一套开发范式来实现大数据的流计算和批计算，进而保证处理过程与结果的一致性。 何时需要流批一体 举例： 在抖音中，实时统计一个短视频的播放量、点赞数，也包括抖音直播间的实时观看人数等(流) 在抖音中，按天统计创造者的一些数据信息，比如昨天的播放量有多少、评论量多少、广告收入多少（ Apache Flink主要从以下模块来实流批一体化： 1.SQL层：支持bound和unbound数据集的处理； 2.DataStream API层统一，批和流都可以使用DataStream ApI来开发
1.2K10编辑于 2024-05-21 - 来自专栏大数据解决方案
Flink on Hive构建流批一体数仓
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。 这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。 值得注意的是，当以流的方式读取Hive表时，该参数的默认值是1m，即1分钟。当temporal join时，默认的值是60m，即1小时。 Temporal Join最新分区 对于一张随着时间变化的Hive分区表，Flink可以读取该表的数据作为一个无界流。 在实际应用中，通常有将实时数据流与 Hive 维表 join 来构造宽表的需求，Flink提供了Hive维表JOIN，可以简化用户使用的复杂度。
5.2K42发布于 2021-02-04 - 来自专栏Spark学习技巧
流批一体在京东的探索与实践
01 整体思考 提到流批一体，不得不提传统的大数据平台 —— Lambda 架构。 通过一套数据链路来同时满足流和批的数据处理需求是最理想的情况，即流批一体。此外我们认为流批一体还存在一些中间阶段，比如只实现计算的统一或者只实现存储的统一也是有重大意义的。 上图是京东实时计算平台的全景图，也是我们实现流批一体能力的载体。中间的 Flink 基于开源社区版本深度定制。 而在流批一体模式下，开发模式变为了首先完成 SQL 的开发，其中包括逻辑的、物理的 DDL 的定义，以及它们之间的字段映射关系的指定，DML 的编写等，然后分别指定流批任务相关的配置，最后发布成流批两个任务 3.1 案例一 实时通用数据层 RDDM 流批一体化的建设。
2K41编辑于 2023-03-21 - 来自专栏码字搬砖
大数据架构如何做到流批一体？
，随后将相同的计算逻辑分别在流和批系统中实现，并且在查询阶段合并流和批的计算视图并展示给用户。 流批融合的 Lambda 架构 针对 Lambda 架构的问题3，计算逻辑需要分别在流批框架中实现和运行的问题，不少计算引擎已经开始往流批统一的方向去发展，例如 Spark 和 Flink，从而简化lambda Kappa架构 Kappa 架构由 Jay Kreps 提出，不同于 Lambda 同时计算流计算和批计算并合并视图，Kappa 只会通过流计算一条的数据链路计算并产生视图。 图4 Kafka + Flink + ElasticSearch的混合分析系统 Lambda plus：Tablestore + Blink 流批一体处理框架 Lambda plus 是基于 Tablestore 表格存储支持用户 tp 系统低延迟读写更新，同时也提供了索引功能 ad-hoc 查询分析，数据利用率高，容量型表格存储实例也可以保证数据存储成本可控； 计算上，Lambda plus 利用 Blink 流批一体计算引擎
2.8K21发布于 2021-04-01 - 来自专栏实时流式计算
前沿 | 流批一体的一些想法
❝每家数字化企业在目前遇到流批一体概念的时候，都会对这个概念抱有一些疑问，到底什么是流批一体？这个概念的来源？这个概念能为用户、开发人员以及企业带来什么样的好处？跟随着博主的理解和脑洞出发吧。 ❞ 前言 到底什么是流批一体？ 批的来源？流的来源？ 为什么要做流批一体？ 从 数据开发的现状出发 探索理想中的流批一体能力支持 最终到数仓落地 go!!! ? ? ? ? ? ? ? n 年前的引擎能力（hive 等） 对文件、批量数据处理支持很友好 数据多是小时、天级别延迟 结论：批是在批式存储、处理引擎能力支持的角度提出的 ? ? 近几年的引擎能力（flink 等） 逐渐对流式数据处理、容错支持更好 数据可以做到秒、分钟级别延迟 结论：流是在流式存储、处理引擎能力支持的角度提出的 ? ? ? ? ? ? ? 博主理解的流批一体更多的是站在平台能力支持的角度上 所以这里重点说明引擎 + 工具链上的期望 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
2.6K40发布于 2021-07-15 - 来自专栏大数据解决方案
干货|流批一体Hudi近实时数仓实践
数据湖可以汇集不同数据源（结构化、非结构化，离线批数据、实时流数据）和不同计算引擎（流计算引擎、批处理引擎，交互式分析引擎、机器学习引擎），是未来大数据的发展趋势，目前Hudi、Iceberg和DeltaLake 笔者基于对开源数据湖组件Hudi的研究和理解，思考在Iceberg、DeltaLake和Hudi等开源数据湖组件之上构建批流一体近实时数仓的可能性和思路。 03 批流一体 按照上述思路建设的近实时数仓同时还实现了批流一体：批量任务和流任务存储统一（通过Hudi/Iceberg/DeltaLake等湖组件存储在HDFS上）、计算统一（Flink/Spark作业 ）、开发统一（Flink/Spark）、业务逻辑统一（同一套逻辑分为批和流）。 业务需求使用同一套加工逻辑开发代码，按照加工时效的粒度分为批和流两类加工，在统一的数据来源上在同一套计算环境分别进行批量和流式数据加工，四方面的统一保证批任务和流任务的数据结果一致性。
7.6K21发布于 2021-08-25 - 来自专栏DataLink数据中台
Dlink + FlinkSQL构建流批一体数据平台——部署篇
摘要：本文介绍了某零售企业用户基于 Dlink + FlinkSQL 构建批流一体数据平台的实践，主要为部署的分享。 地址 https://github.com/DataLinkDC/dlink 欢迎大家关注 Dlink 的发展~ 一、前言 由于公司需求，最近调研了很多的开源项目，最终发现 Dlink 在建立批流一体的数据平台上更满足需求 3.local 不熟悉的话慎用，并不要执行流任务。 三、集群中心 集群中心配置包括： 集群实例 集群配置其中集群实例适用场景为standalone和yarn session以及k8s session。
7.4K10编辑于 2022-01-21 - 来自专栏857-Bigdata
Flink 流批一体在 Shopee 的大规模实践
平台在流批一体上的建设和演进 Tips：点击「阅读原文」免费领取 5000CU*小时 Flink 云资源 01 流批一体在 Shopee 的应用场景 首先，先来了解一下 Flink 在 Shopee 从 Shopee 内部的业务场景来看，数仓是一个流批一体发挥重要作用的领域。 上面介绍的都是 Shopee 内部流批一体应用场景的一些例子，我们内部还有很多团队也正在尝试 Flink 的流批一体，未来会使用的更广泛。 04 平台在流批一体上的建设和演进 最后我想介绍一下我们 Flink 平台在流批一体上的建设和演进。其实在上面介绍中，已经展示了不少平台的功能。 我们会加大 Flink 批任务的推广，探索更多流批一体的业务场景。同时跟社区一起，在合适的场景下，加速用户向 SQL 和流批一体的转型。
1.9K40编辑于 2023-07-26 - 来自专栏etl
流批一体数据交换引擎解决方案
- 随着大数据领域不断发展，企业对于业务场景的诉求也从离线的满足转到高实时性的要求，“t+0”形式呈现业务数据已是刚需。
1.1K70编辑于 2023-05-12 - 来自专栏大数据杂货铺
CSA1.4：支持SQL流批一体化
其中批处理用于检查流的有效性（lambda），或者我们需要将所有内容都考虑为流（kappa）。 但在战壕中，作为数据从业者，我们想要更多。 我们希望能够以简单的方式轻松整合现有企业数据源和高速/低延迟数据流。我们需要灵活地处理批处理 API 和流 API 以及无缝读取和写入它们的连接性。 从 CSA 1.4 开始，SSB 允许运行查询以连接和丰富来自有界和无界源的流。SSB 可以从 Kudu、Hive 和 JDBC 源加入以丰富流。随着时间的推移，我们将继续添加更多有界的源和接收器。 分布式实时数据仓库——通过物化视图将流数据作为事实与批量数据作为维度进行连接。例如，执行丰富的点击流分析，或将传感器数据与历史测量值结合起来。 例如，通过使用笔记本中 Python 模型的历史记录丰富行为流，为客户实时提供个性化体验。
1.3K10发布于 2021-07-02 - 来自专栏数据社
Flink 1.11：更好用的流批一体 SQL 引擎
table/python/metrics.html 展望后续 在后续版本，易用性仍然是 Flink SQL 的核心主题，比如 schema 的易用性增强，Descriptor API 简化以及更丰富的流
2.3K11发布于 2020-07-14 - 来自专栏etl
流批一体数据交换引擎 etl-engine
流计算与批计算对比 数据时效性 流式计算实时、低延迟，流式计算适合以“t+0”的形式呈现业务数据； 批计算非实时、高延迟，批计算适合以“t+1”的形式呈现业务数据； 数据特征 流式计算数据一般是动态数据 ，数据是随时产生的； 批计算数据一般是静态数据，数据事先已经存储在各种介质中。 批计算应用在离线计算场景，如：数据分析、离线报表等。 运行方式 流式计算的任务是阻塞式的，一直持续运行中。 批计算的任务是一次性完成即结束。 ，然后将消息流与多个维表数据进行各种关联查询，最后输出融合查询结果集到目标源，常用在将多个维表数据与实时消息流关联后转换成一个大宽表的场景。 支持消息流数据传输过程中动态产生的数据与多种类型数据库之间的流计算查询。 融合查询语法遵循ANSI SQL标准。
1.4K180编辑于 2023-04-07 - 来自专栏ApacheHudi
OnZoom基于Apache Hudi的流批一体架构实践
2.2 Apache Hudi 我们需要有一种能够兼容S3存储之后，既支持大量数据的批处理又支持增加数据的流处理的数据湖解决方案。 从而实现流批一体架构而不是典型的Lambda架构。 hoodie.parquet.small.file.limit hoodie.merge.allow.duplicate.on.inserts 其中：hoodie.combine.before.insert 决定是否对同一批次的数据按 总结 我司基于Hudi实现流批一体数据湖架构上线生产环境已有半年多时间，在引入Hudi之后我们在以下各个方面都带来了一定收益: •成本: 引入Hudi数据湖方案之后，实现了S3数据增量查询和增量更新删除
2.1K40编辑于 2021-12-21 流处理 or 批处理？大数据架构还需要流批一体吗?
二、流批一体到底是什么？要说流批一体，得先说说流批割裂的问题。 具体来说，流批一体有这么三个关键统一：1. 逻辑统一：一套代码，既能处理实时数据也能处理历史数据流批一体最核心的是逻辑能复用。 三、流批一体的三个常见误区流批一体听着是好，但别为了统一而统一。要是盲目推进，很容易掉坑里。用过来人的经验告诉你，落地的时候得避开这三个陷阱：1. 误区一：换个能同时支持流批的工具≠实现了流批一体有些企业觉得，只要把技术栈换成Flink这种能同时跑流和批的工具，就算实现流批一体了。 流批一体架构得支持这种分层处理：四、大数据架构真的需要流批一体吗？回到开头的问题：大数据架构真的需要流批一体吗？我的答案是，不仅需要，而且会是未来3-5年企业数据架构的核心发展方向。为啥这么说？
43100编辑于 2025-08-13- 来自专栏大数据技术
【赵渝强老师】基于Flink的流批一体架构
由于Flink集成了批计算和流计算，因此可以使用Flink构建流批一体的系统架构，主要包含数据集成的流批一体架构、数仓架构的流批一体架构和数据湖的流批一体。 基于Flink流批一体整个数据集成的架构将不同。 在Flink流批一体架构的基础上，Flink CDC也是流批混合的，它可以先读取数据库全量数据同步到数仓中，然后自动切换到增量模式。 数据仓库的流批一体架构如下图所示。 视频讲解如下：三、数据湖的流批一体 Hive元数据的管理是性能的瓶颈，同时Hive也不支持数据的实时更新。Hive没有无法实现实时或者准实时化的数据处理能力。 数据湖存储与Flink结合，就可以将实时离线一体化的数仓架构演变成实时离线一体化的数据湖架构。数据湖的流批一体架构如下图所示。 视频讲解如下：
1K10编辑于 2024-08-12 - 来自专栏可君的数据开发沉淀
腾讯游戏广告流批一体实时湖仓建设实践
对应到计算代码就是即使主要计算逻辑一致，分组字段中的“时间窗口”也是不同的，所以只能复用主要的计算逻辑，代码并不是完全相同（3）存储和计算层面流批一体，兼具上述两者的优点3.1 存储层面流批一体存储层面流批一体需要有满足上述需求的存储技术支持 3.2 计算层面流批一体对于计算层面流批一体的问题，上文提到希望寻找一个实现了Dataflow模型的计算引擎去统一处理批处理层和流处理层的数据计算，因此Flink就成为了最佳的技术选型。 3.3 存储及计算层面流批一体实践上述两种对Lambda架构的改进分别只在存储或计算层面做了流和批的统一，而我们的最终目标是希望能够在存储及计算层面均实现流批一体，将整体优势最大化，也才能称之为真正的“ 流批一体实时湖仓”。 Lambda架构，分别在存储层面用Iceberg实现流批一体，在计算层面用Flink实现流批一体最后，结合Flink SQL和Iceberg构建流批一体实时湖仓，并在实践中落地了全链路展望未来，我们会在以下方面持续优化和跟进
2.8K41编辑于 2023-01-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号