- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据成神之路
使用 Apache Flink 开发实时ETL
By 大数据技术与架构 场景描述：本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。 关键词：Flink ETL 版权声明：本文作者为薄荷脑，经授权转载。 它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。 Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。 本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。 案例 ? 让我们来编写一个从 Kafka 抽取数据到 HDFS 的程序。
2.9K31发布于 2019-09-23 - 来自专栏腾讯技术工程官方号的专栏
基于Flink的高可靠实时ETL系统
今年的第六届GIAC大会上，在大数据架构专题，腾讯数据平台部实时计算负责人施晓罡发表了《基于Flink的高可靠实时ETL系统》的主题演讲。以下为嘉宾演讲实录： ? 实时计算平台Oceanus 近年来，实时计算在腾讯得到了越来越广泛的应用。 而在Oceanus之上，腾讯大数据还对ETL，监控告警和在线学习等常见的实时计算任务提供了场景化的支持。 而对ETL场景，Oceanus也提供了Oceanus-ETL产品来帮助用户将应用和产品中采集的数据实时地导入到数据仓库中。 实时数据接入平台Oceanus-ETL 腾讯大数据早在2012年起就开始了进行数据接入的工作，并基于Storm构建了第一代的腾讯数据银行(TDBank)，成为了腾讯大数据平台的第一线，提供了文件、消息和数据库等多种接入方式
1.7K50发布于 2020-09-01 - 来自专栏xingoo, 一个梦想做发明家的程序员
Flink基础：实时处理管道与ETL
内存模型 Flink深入浅出：JDBC Source从理论到实战 Flink深入浅出：Sql Gateway源码分析 Flink深入浅出：JDBC Connector源码分析 Flink的经典使用场景是ETL 注意Flink Table和SQL api 会很适合来做ETL，但是不妨碍从底层的DataStream API来了解其中的细节。
1.8K20发布于 2020-11-13 实时ETL：秒级响应背后的技术秘密
本文面向 企业 IT 负责人、数据工程师与架构师，解析 实时ETL 如何实现秒级响应，并揭秘背后的关键技术实现路径。实时ETL与传统ETL的核心差异是什么？ 传统ETL 多用于离线批处理，数据按固定周期抽取和加载；实时ETL 则通过流式计算与增量同步，实现近乎“秒级”的数据更新。对比表：秒级响应的关键技术是什么？1. 实时ETL必须结合元数据管理与数据血缘分析：确保字段语义、数据标准统一；支持问题追踪与快速回滚。如何验证实时ETL性能与质量？1.延迟和吞吐是否可观测？ 实时ETL带来的业务价值某银行的实时风控系统：改造前：批处理延迟 15 分钟，欺诈交易识别滞后。 改造后：基于实时ETL和流处理，将延迟压缩到 2 秒以内，欺诈交易拦截率提升 40%，误报率降低 30%。
23000编辑于 2025-08-18- 来自专栏最新最全的大数据技术体系
实时即未来，车联网项目之原始终端数据实时ETL【二】
文章目录 Flink 将报文解析后的数据推送到 kafka 中 实时ETL开发 原始数据的实时ETL设置 开发的流程 开发的类名 —— KafkaSourceDataTask 设置 checkpoint source = env .readTextFile("F:\\1.授课视频\\4-车联网项目\\05_深圳24期\\全部讲义\\2-星途车联网系统第二章-原始终端数据实时 ETL\\原始数据\\sourcedata.txt"); //3.创建FlinkKafkaProducer类 //3.1.配置属性 Properties ETL开发 创建模块 —— StreamingAnalysis 导入项目的 pom 依赖 常见包的含义 task ， source ，sink ，entity 配置文件的导入 conf.properties 和 logback.xml 工具类的走读 日期处理 读取配置文件 静态代码块 字符串常用工具 - 字符串翻转 JSON 字符串转对象 原始数据的实时ETL设置 开发的流程 开发的类名 ——
73620编辑于 2022-09-27 - 来自专栏全栈程序员必看
ETL是什么_ETL平台
---- 三、ETL的流程 ETL如同它代表的三个英文单词，涉及三个独立的过程：抽取、转换和加载。工作流程往往作为一个正在进行的过程来实现，各模块可灵活进行组合，形成ETL处理流程。 在ETL架构中，数据的流向是从源数据流到ETL工具，ETL工具是一个单独的数据处理引擎，一般会在单独的硬件服务器上，实现所有数据转化的工作，然后将数据加载到目标数据仓库中。 如果要增加整个ETL过程的效率，则只能增强ETL工具服务器的配置，优化系统处理流程（一般可调的东西非常少）。 ---- 4、ETL日志与警告发送 （1）ETL日志 记录日志的目的是随时可以知道ETL运行情况，如果出错了，出错在那里。 如果使用ETL工具，工具会自动产生一些日志，这一类日志也可以作为ETL日志的一部分。
2.6K31编辑于 2022-09-20 - 来自专栏IT大咖说
使用Kafka和ksqlDB构建和部署实时流处理ETL引擎
（尚未发布） 问题定义与决策 为了构建快速，实时的搜索引擎，我们必须做出某些设计决策。我们使用Postgres作为主要数据库。 因此，我们必须决定一种可靠，有效的方式，将数据从Postgres实时迁移到Elasticsearch。 选项1很快就删除了，因为它不是实时的，即使我们以较短的间隔查询，也会给Postgres服务器带来很大的负担。在其他两种选择之间进行选择可能是不同公司的不同决定。 下一步 我希望本文能为您提供一个有关部署和运行完整的Kafka堆栈的合理思路，以构建一个实时流处理应用程序的基本而有效的用例。 根据产品或公司的性质，部署过程可能会有所不同，以满足您的要求。 (本文由闻数起舞翻译自Sahil Malhotra的文章《Building and Deploying a Real-Time Stream Processing ETL Engine with Kafka
3.4K20发布于 2020-12-29 - 来自专栏架构之巅
ETL
ETL ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 数据仓库是一个独立的数据环境，需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储介质导入到数据仓库中；在技术上，ETL主要涉及到关联、转换、增量、调度和监控等几个方面；数据仓库系统中数据不要求与联机事务处理系统中数据实时同步 而ETL则是主要的一个技术手段。如何正确选择ETL工具？如何正确应用ETL？ 实现ETL，首先要实现ETL转换的过程。 ETL体系结构 下图为ETL体系结构，它体现了主流ETL产品框架的主要组成部分。
7.1K32发布于 2020-11-09 支持实时ETL的品牌产品，腾讯云 Oceanus 为何稳居榜首？
摘要 实时ETL（抽取-转换-加载）已成为企业数据实时化的第一道关口。 本文基于 2025 年 8 月 21 日腾讯云官网最新信息，横向对比主流实时ETL品牌，围绕连接器、延迟、弹性、成本四大维度给出量化结论，并重点解析腾讯云流计算 Oceanus 的实时ETL特性、价格与活动 一、实时ETL的 4 个硬指标 源→目标端到端延迟 <1 秒，保证业务实时性； 丰富且官方维护的 Connector，减少二次开发； 弹性伸缩，应对流量洪峰； 成本可控，按需计费优于包月浪费。 ETL 5 大杀手锏 一键式ETL模板 WebIDE 提供“源→转换→目标”拖拽式模板，自动生成 Flink SQL，10 分钟完成实时链路上线。 如果你正寻找“能省、能快、能稳”的实时ETL产品，现在访问 https://cloud.tencent.com/product/oceanus 领取免费额度，3 分钟跑通第一条实时链路。
38210编辑于 2025-08-21- 来自专栏大数据进阶
flink etl
这种 join 方式需要去保留两个流的状态，持续性地保留并且不会去做清除。两边的数据对于对方的流都是所有可见的，所以数据就需要持续性的存在state里面，那么 state 又不能存的过大，因此这个场景的只适合有界数据流或者结合ttl state配合使用。它的语法可以看一下，比较像离线批处理的 SQL
1.4K40发布于 2021-07-14 - 来自专栏数据指象
谈谈ETL
ETL绝不是三个单词直译这么简单，三个数据环节紧密连接构成体系庞大、技术复杂度的数据生态系统。 ETL有三个难题：一是，数据的集成效率是评估抽取能力的主要考点；二是，数据的高类聚低耦合的组织结构是转换的难点；三是，数据的信息化智能化是加载的终极目标。 四，数据角色来自ETL分工 围绕ETL 的不同阶段，工程师按岗位分工也是不同的。
2.5K50编辑于 2022-05-05 - 来自专栏etl
ETL 是什么 ETL 工具有哪些 ETL 数据交换系统
ETL简介ETL是英文Extract-Transform-Load的缩写。用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。 ETL重要性ETL是实现商务智能(Business Intelligence,BI)的核心。一般情况下,ETL会花费整个BI项目三分之一的时间，因此ETL设计得好坏直接影响BI项目的成败。 ETL工具有哪些datastage （收费） 最专业的ETL工具， 2005年被IBM收购，目前发展到11.7版本。 https://github.com/hw2499/etl-engine/releases) [etl-engine使用手册](https://github.com/hw2499/etl-engine ) [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6) [嵌入脚本开发
2.8K10编辑于 2023-02-01 部署 及 使用 etl crontab 和 etl engine
(环境配置文件，使用etl_crontab必须) etllog_mysql.sql (日志表结构文件，使用etl_crontab必须) etl_crontab.exe (管理端，用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能) etl_engine.exe (ETL引擎，用于解析执行ETL任务，必须) engineFile 引擎文件存放位置（默认配置 d:/etl_crontab/etl_engine.exe） confDir etl任务配置文件所在目录（默认配置d:/etl_crontab 4、启动etl_crontab（管理端） 执行以下命令： etl_crontab.exe -fileUrl conf.cron etl_crontab.exe运行后 5、执行etl_engine（根据实际情况使用） 1）由etl_crontab调度负责调用etl_engine执行，不需要人为干预。
51510编辑于 2024-12-30- 来自专栏Lansonli技术博客
客快物流大数据项目(五十三)：实时ETL模块开发准备
目录 实时ETL模块开发准备 一、编写配置文件 二、创建包结构 三、编写工具类加载配置文件 实时ETL模块开发准备 一、编写配置文件 在公共模块的resources目录创建配置文件：config.properties autoReconnect=true&failOverReadOnly=false db.mysql.user=root db.mysql.password=123456 ## Data path of ETL spark.app.win.jars.dir=D://apps/logistics/jars 二、创建包结构 本次项目采用scala编程语言，因此创建scala目录 包名 说明 cn.it.logistics.etl.realtime 实时ETL程序所在包 cn.it.logistics.etl.parser Canal和Ogg数据解析类所在包 三、编写工具类加载配置文件 实现步骤： 在公共模块的scala目录下common包下创建 isFirstRunnable = java.lang.Boolean.valueOf(resourceBundle.getString("app.first.runnable")) // ## Data path of ETL
62631编辑于 2022-03-02 - 来自专栏数据科学与人工智能
【ETL工程】大数据技术核心之ETL
实时性技术的挑战：一般而言，传统数据仓库系统，BI应用，对处理时间的要求并不高。因此这类应用通过建模，运行1-2天获得结果依然没什么问题。 但实时处理的要求，是区别大数据应用和传统数据仓库技术、BI技术的关键差别之一。 4. 大数据技术之数据采集ETL： 这里不过多的说数据采集的过程，可以简单的理解：有数据库就会有数据。 这里我们更关注数据的ETL过程，而ETL前期的过程，只需要了解其基本范畴就OK。 在数据挖掘的范畴了，数据清洗的前期过程，可简单的认为就是ETL的过程。ETL的发展过程伴随着数据挖掘至今，其相关技术也已非常成熟。这里我们也不过多的探讨ETL过程，日后如有涉及，在细分。 异常处理 在ETL的过程中，必不可少的要面临数据异常的问题，处理办法： 1. 将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载。中断ETL，修改后重新执行ETL。原则：最大限度接收数据。
3.6K100发布于 2018-02-27 - 来自专栏数据指象
谈谈ETL
ETL绝不是三个单词直译这么简单，三个数据环节紧密连接构成体系庞大、技术复杂度的数据生态系统。 ETL有三个难题：一是，数据的集成效率是评估抽取能力的主要考点；二是，数据的高类聚低耦合的组织结构是转换的难点；三是，数据的信息化智能化是加载的终极目标。 四，数据角色来自ETL分工 围绕ETL 的不同阶段，工程师按岗位分工也是不同的。
1.4K30编辑于 2022-06-21 - 来自专栏Hadoop数据仓库
Kettle构建Hadoop ETL实践（一）：ETL与Kettle
ETL系统的工作就是要把异构的数据转换成同构的。如果没有ETL，很难对异构数据进行程序化的分析。 1. 这些数据经过ETL过程进入数据仓库系统。 这里把ETL分成了抽取和转换装载两个部分。 变化数据捕获也是建立准实时数据仓库的关键技术。 当能够识别并获得最近发生变化的数据时，抽取及其后面的转换、装载操作显然都会变得更高效，因为要处理的数据量会小很多。 ETL的设计过程和直接用开发语言写程序很相似，也就是说在写程序时用到的一些步骤或过程同样也适用于ETL设计。测试也是ETL设计的一部分。 当ETL项目规模比较大，有很多ETL开发人员在一起工作，开发人员之间的合作就显得很重要。
6K79发布于 2020-08-17 - 来自专栏TASKCTL技术交流讨论
ETL大数据统一批量调度监控TASKCTL实时监控平台
实时统计每个“应用工程”下，作业不同执行状态的数量和汇总情况，是最上层次的统计方式。 点击“作业状态数字”，跳转到“作业监控”页面，展示当前工程下指定状态的作业监控列表数据。 实时统计每个“作业容器”下，作业不同执行状态的数量和汇总情况。另外，作业容器列表还展示了作业容器的运行状态和批次信息。 通过工具栏的“应用工程”和“容器类型”，可进一步筛选符合条件的列表数据。 作业监控 作业监控以列表形式展示了作业实时运行状态的详细信息。包括作业动态的运行信息和静态的基本信息。 双击数据行打开当前作业的侧边窗口 节点监控 平台节点又叫控制节点，展示了平台整体的网络架构拓扑图，实时监控各个控制节点的健康程度，以及各个节点的资源利用率。
2K40编辑于 2022-05-18 - 来自专栏技术杂记
ETL CSV to Elasticsearch
record): for i in record: record[i]=str(record[i]).encode('utf-8') return record def etl_csv_to_es es.indices.flush(index=[indexName]) return (True,count) #main if __name__ == "__main__": res,num = etl_csv_to_es
2.8K30发布于 2021-08-11 - 来自专栏etl
hive etl 通过 ETL engine 读取 Hive 中的数据
HiveQL默认情况下会转换成MapReduce进行计算（降低了开发难度），所以比较慢，常用于做离线数据分析场景，不适合做实时查询。 为什么选择Hive？ Hive是运行在Hadoop上的SQL接口。 etl-engine支持对Hive的读取，并输出到以下目标数据源： 消息中间件（Kafka | RocketMQ）; 关系型数据库（ Oracle | MySQL | PostgreSQL | Sqlite ）; NoSQL（Elasticsearch | Redis）; 时序数据库（ InfluxDB | ClickHouse | Prometheus）; 文件（ Excel ）； etl-engine支持 参考资料 [免费下载](https://github.com/hw2499/etl-engine/releases) [etl-engine使用手册](https://github.com/hw2499 /etl-engine) [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA
2.8K50编辑于 2023-02-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号