- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
ETL是什么_ETL平台
1、数据抽取 数据抽取指的是从不同的网络、不同的操作平台、不同的数据库和数据格式、不同的应用中抽取数据的过程。目标源可能包括ERP、CRM和其他企业系统，以及来自第三方源的数据。 2）数据标准：统一元数据、统一标准字段、统一字段类型定义； （3）数据拆分：依据业务需求做数据拆分，如身份证号，拆分区划、出生日期、性别等； （4）数据验证：时间规则、业务规则、自定义规则； （5） 整个操作过程往往要跨网络、跨操作平台。 从而保证效率，提高系统的可监控性； （3）ELT可以根据数据的分布情况进行并行处理优化，并可以利用数据库的固有功能优化磁盘I/O； （4）ELT的可扩展性取决于数据库引擎和其硬件服务器的可扩展性； （5） ---- 4、ETL日志与警告发送 （1）ETL日志 记录日志的目的是随时可以知道ETL运行情况，如果出错了，出错在那里。
2.7K31编辑于 2022-09-20 - 来自专栏大数据学习与分享
5 种流式 ETL 模式
1970 年代的许多计算概念已经过时，但ETL (Extract-Transform-Load)及其最近的 anagram shuffle ELT并非如此，它在目的地与飞行中操纵数据。 ETL 和 ELT 传统上是计划的批处理操作，但随着对始终在线、始终最新的数据服务的需求成为常态，在数据流上操作的实时 ELT 是许多组织的目标——如果不是现实的话。 在实际使用中，ETL 中的“T”代表由原始操作组装而成的各种模式。在本博客中，我们将探索这些操作并查看如何将它们实现为 SQL 语句的示例。 使用 SQL 语句进行转换？ 是的！ 管道模式 大多数 ETL 管道都适合一种或多种模式。 descriptor(_time), interval '10' seconds ) )group by window_start, window_end, path, status 5：
87310编辑于 2022-12-12 - 来自专栏卡尼慕
大数据平台架构+ETL
1 ETL，Extraction-Trasformation-Loading，即数据读取，转换，装载的过程，是构建数据仓库的重要环节。 ETL是将业务系统的数据经过抽取，清洗转换之后加载到数据仓库的过程，目的是将企业中的额分散的，零乱的，标准不统一的数据整合到一起，为企业决策提供分析依据。ETL是BI项目中重要的一个环节。 ETL的实现方法： 1、借助ETL工具。（如OWB，DTS，SSIS等）实现。 2、SQL方法实现。 3、ETL工具与SQL相结合。 工具降低难度，但缺少灵活性。SQL灵活但编码复杂，因此结合两者。 2 大数据平台架构 ? 首先，对于做大数据开发而言，平台的监控与报警和平台管理不归我们管，主要是给运维人员做的事情。我们要做的就是中间的事情。 然后来看看数据基础平台。 接着看数据应用平台。元数据管理。这边的元数据要存储到关系型数据库中。作业平台管理，就是任务调度。交互分析就关系到sql语句。多维分析主要是对数据的维度分析，如按年分析，按月分析，按周分析等。
2.4K21发布于 2019-09-09 - 来自专栏流川疯编写程序的艺术
大数据ETL实践探索（5）---- 大数据ETL利器之 pandas
max_columns',1000) pd.set_option('max_row',300) pd.set_option('display.float_format', lambda x: '%.5f __biz=MzA3MzI4MjgzMw==&mid=2650755911&idx=3&sn=d6f6950e8fade5f55d11b68279dff26f&chksm=871a9739b06d1e2fe90d66e57abec297aecae1cb1166647a64c4f00fbd56a6b9554afeb9e95a &mpshare=1&scene=1&srcid=0123l6oTF5kYftcMsR9DbP8Y#rd
1.7K30发布于 2019-03-05 - 来自专栏ET
资深ETL工程师经验分享：ETL项目的5大挑战与策略
ETL项目的重要性及其复杂性在我十多年的数据仓库建设经验中,ETL(Extract, Transform, Load)一直是最具挑战性的环节之一。 简单来说,ETL就是将分散在各个业务系统中的数据抽取出来,经过清洗转换,最后加载到数据仓库中的过程。这个过程看似简单,实则暗藏玄机。为什么说ETL如此重要? ETL项目实施流程图下面是我们ETL项目实施时的流程图大家可以参考：ETL项目实施计划以下是一个可参考的项目实施计划挑战一：数据源多样性带来的集成难题在大型企业中,数据往往分散在各种不同的系统中。 包括数据字典、ETL流程图等,方便后续的维护人员快速理解系统。3. 定期进行性能优化。随着数据量的增长,原有的ETL流程可能需要不断优化。 选择了合适的ETL工具,大大提高了开发效率。3. 建立了一支专业的ETL团队,并与业务部门保持密切沟通。
50810编辑于 2024-09-18 - 来自专栏架构之巅
ETL
ETL ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。 而ETL则是主要的一个技术手段。如何正确选择ETL工具？如何正确应用ETL？ 实现ETL，首先要实现ETL转换的过程。 数据模型：标准定义数据 合理的业务模型设计对ETL至关重要。数据仓库是企业唯一、真实、可靠的综合数据平台。 ETL体系结构 下图为ETL体系结构，它体现了主流ETL产品框架的主要组成部分。
7.1K32发布于 2020-11-09 2025年5大国产ETL工具横向评测
想把它们整明白、用起来，ETL工具（说白了，就是数据抽取、转换、加载的工具） 就成了刚需。这几年，国产ETL工具进步飞快，给大家提供了不少靠谱的选择。 今天，咱们就来实实在在聊聊5款主流的国产ETL工具，帮你挑到最趁手的那一个。一、FineDataLink产品简介FineDataLink 是一款专业ETL工具。 作为一款低代码/高时效的企业级一站式数据集成平台，FDL在面向用户大数据场景下，可回应实时和离线数据采集、集成、管理的诉求，提供快速连接、高时效融合各种数据、灵活进行ETL数据开发的能力，帮助企业打破数据孤岛 二、Kettle产品简介Kettle 是一款用户量很大的开源ETL工具。它提供一个图形化的开发环境，让你能用拖拖拽拽的方式设计ETL流程。功能特点功能上该有的基本都有，连各种数据源、做数据转换都支持。 希望这份实实在在的对比，能帮你拨开迷雾，在2025年找到最趁手的国产ETL伙伴！选对了工具，数据才能真正为你所用。
64410编辑于 2025-07-17- 来自专栏etl
国产ETL etl-engine 可视化 轻量级 跨平台 支持动态解析GO语言脚本
etl-engine引擎负责解析ETL配置文件并执行ETL任务； etl-designer云端设计器通过拖拉拽的方式生成etl-engine引擎可识别的ETL任务配置文件； etl-crontab调度设计器负责按时间周期执行指定的 图片 图片 图片 图片 应用场景 异构系统数据交换 传统行业各业务系统数据相对独立，随着信息平台一体化、数据中台及大数据时代的推进，要求各业务系统数据相互融合，业务资源共享。 跨平台 直接编译成二进制文件，支持跨平台执行（windows、linux、mac），只需要一个可执行文件和一个配置文件就可以运行，无需其它依赖。 /wiki/etl-crontab%E8%B0%83%E5%BA%A6) [嵌入脚本开发](github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8% 84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
2.3K20编辑于 2023-04-02 - 来自专栏Albert陈凯
Hadoop数据分析平台实战——260用户数据ETL离线数据分析平台实战——260用户数据ETL
离线数据分析平台实战——260用户数据ETL ETL目标 解析我们收集的日志数据，将解析后的数据保存到hbase中。 在etl过程中，我们需要将我们收集得到的数据进行处理，包括ip地址解析、userAgent解析、服务器时间解析等。 ETL存储 etl的结果存储到hbase中， 由于考虑到不同事件有不同的数据格式， 所以我们将最终etl的结果保存到hbase中， 我们使用单family的数据格式， rowkey的生产模式我们采用 Class com.beifeng.etl.mr.ald.AnalyserLogDataMapper not found 解决方案：引入EJob.java文件，然后再runner ; import com.bjsxt.ae.etl.util.ip.IPSeeker; /** * 定义具体的ip解析的类，最终调用IpSeeker类(父类)
* 解析ip最终的返回时1.2K60发布于 2018-04-08 - 来自专栏大数据进阶
flink etl
并且做 State 清理 CREATE TABLE orders ( id INT, order_time AS TIMESTAMPADD(DAY, CAST(FLOOR(RAND()*(1-5+ 1)+5)*(-1) AS INT), CURRENT_TIMESTAMP) ) WITH ( 'connector' = 'kafka' ); CREATE TABLE shipments ( id INT, order_id INT, shipment_time AS TIMESTAMPADD(DAY, CAST(FLOOR(RAND()*(1-5+1)) AS INT), behavior STRING ,ts TIMESTAMP(3) ,process_time as proctime() , WATERMARK FOR ts AS ts - INTERVAL '5' TIMESTAMP(3) -- ,primary key (id) not enforced -- ,WATERMARK FOR update_time AS update_time - INTERVAL '5'
1.4K40发布于 2021-07-14 - 来自专栏TASKCTL技术交流讨论
数据仓库ETL管理平台TASKCTL调度计划控制原理
说明：该例表明如果自定义程序 myexe（并带两个参数 1 与 2）的执行结果是 5 时， 执行当前作业，否则继续等待。
1.4K20编辑于 2022-05-10 - 来自专栏数据指象
谈谈ETL
ETL绝不是三个单词直译这么简单，三个数据环节紧密连接构成体系庞大、技术复杂度的数据生态系统。 ETL有三个难题：一是，数据的集成效率是评估抽取能力的主要考点；二是，数据的高类聚低耦合的组织结构是转换的难点；三是，数据的信息化智能化是加载的终极目标。 基于E阶段数据集中到数据平台，我们通过范式来实现数据的建模，目前应用比较广的是多维建模，通过维度和事实构建数据的关系。 四，数据角色来自ETL分工 围绕ETL 的不同阶段，工程师按岗位分工也是不同的。 数据平台工程师，主要职责是构建数据工具，搭建数据处理的环境体系，需要基于业务场景构建数据同步工具，自动报表系统，数据api工具等等。 数仓开发工程师，主要工作是构建数据的组织和管理，构建数仓体系。
2.5K50编辑于 2022-05-05 - 来自专栏etl
ETL 是什么 ETL 工具有哪些 ETL 数据交换系统
ETL重要性ETL是实现商务智能(Business Intelligence,BI)的核心。一般情况下,ETL会花费整个BI项目三分之一的时间，因此ETL设计得好坏直接影响BI项目的成败。 ETL工具有哪些datastage （收费） 最专业的ETL工具， 2005年被IBM收购，目前发展到11.7版本。 etl-engine （免费）用go语言实现的ETL工具，轻量级引擎、跨平台（windows，linux，unix，mac）、可嵌入go语言脚本并解析执行，方便集成到各种项目中参考资料 [资源下载]( ) [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6) [嵌入脚本开发 ](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
2.8K10编辑于 2023-02-01 部署 及 使用 etl crontab 和 etl engine
(环境配置文件，使用etl_crontab必须) etllog_mysql.sql (日志表结构文件，使用etl_crontab必须) etl_crontab.exe (管理端，用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能) etl_engine.exe (ETL引擎，用于解析执行ETL任务，必须) engineFile 引擎文件存放位置（默认配置 d:/etl_crontab/etl_engine.exe） confDir etl任务配置文件所在目录（默认配置d:/etl_crontab 4、启动etl_crontab（管理端） 执行以下命令： etl_crontab.exe -fileUrl conf.cron etl_crontab.exe运行后 5、执行etl_engine（根据实际情况使用） 1）由etl_crontab调度负责调用etl_engine执行，不需要人为干预。
55110编辑于 2024-12-30什么是ETL？5大应用场景深度解析
一个稳定、高效的ETL数据集成平台，不仅是数据仓库的基石，更是企业数据驱动的“命脉”。什么是ETL？ 如何理解ETL与ELT的区别？传统的ETL在加载前完成大部分转换，对转换引擎的计算能力要求高。而现代数据平台下的ELT，则利用云数据仓库的强大处理能力，先将原始数据快速加载到目标端，再在库内进行转换。 选择ETL还是ELT，取决于数据量、转换逻辑的复杂性以及对时效性的要求。ETL的五大核心应用场景理解了ETL的基本概念后，我们来看它在实际业务中究竟解决了哪些关键问题。 选择ETL工具的关键考量因素在手工脚本和自研平台之外，选择一个成熟的ETL平台能极大提升效率与稳定性。在选择时，应重点关注以下几点：1. 连接能力： 是否支持丰富的数据源和数据目标？ 5. 易用性： 是否提供低代码/可视化的操作界面，降低数据开发的门槛？总而言之，ETL作为数据价值链的核心环节，其本质是构建一条高效、可靠的数据流水线，将原始、混乱的数据转化为清洁、可用的数据资产。
47010编辑于 2025-09-30- 来自专栏数据科学与人工智能
【ETL工程】大数据技术核心之ETL
大数据平台架构： 我想这幅架构图，对大数据处理的人来说，应该不是很陌生。 IaaS：基础设施即服务。基于Internet的服务（如存储和数据库）。 PaaS：平台即服务。 大数据技术之数据采集ETL： 这里不过多的说数据采集的过程，可以简单的理解：有数据库就会有数据。 这里我们更关注数据的ETL过程，而ETL前期的过程，只需要了解其基本范畴就OK。 在数据挖掘的范畴了，数据清洗的前期过程，可简单的认为就是ETL的过程。ETL的发展过程伴随着数据挖掘至今，其相关技术也已非常成熟。这里我们也不过多的探讨ETL过程，日后如有涉及，在细分。 有人写SP，包括ETL中需要用到的SP还有日常维护系统的SP，比如检查数据质量之类的。 5. 有人分析原数据，包括表结构，数据质量，空值还有业务逻辑。 6. 异常处理 在ETL的过程中，必不可少的要面临数据异常的问题，处理办法： 1. 将错误信息单独输出，继续执行ETL，错误数据修改后再单独加载。中断ETL，修改后重新执行ETL。原则：最大限度接收数据。
3.6K100发布于 2018-02-27 - 来自专栏数据指象
谈谈ETL
ETL绝不是三个单词直译这么简单，三个数据环节紧密连接构成体系庞大、技术复杂度的数据生态系统。 ETL有三个难题：一是，数据的集成效率是评估抽取能力的主要考点；二是，数据的高类聚低耦合的组织结构是转换的难点；三是，数据的信息化智能化是加载的终极目标。 基于E阶段数据集中到数据平台，我们通过范式来实现数据的建模，目前应用比较广的是多维建模，通过维度和事实构建数据的关系。 四，数据角色来自ETL分工 围绕ETL 的不同阶段，工程师按岗位分工也是不同的。 数据平台工程师，主要职责是构建数据工具，搭建数据处理的环境体系，需要基于业务场景构建数据同步工具，自动报表系统，数据api工具等等。 数仓开发工程师，主要工作是构建数据的组织和管理，构建数仓体系。
1.4K30编辑于 2022-06-21 - 来自专栏TASKCTL技术交流讨论
这些常用ETL批量调度平台框架组件，你都知道几个？
", new HelloWorldTask()); scheduler.start(); Thread.sleep(300000); // pause the main thread for 5 项目规模：适用于中小型ETL项目 ETL工具环境：TASKCTL由于采用任务插件驱动机制，因此，可支持各种存储过程、各种脚本、以及诸如Datastage\Informatica\kettle等各种ETL 扩展功能 网络扩展：可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署 应用扩展：技术平台设计有专门的应用API接口，可实现更多的调度应用。 (三) 主要创新 无数据库设计：国内首款专业无数据库调度技术平台。 插件机制：业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台。 流程设计代码开发设计理念：调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比，操作更方便、设计更灵活、可读性更强。
1.5K40发布于 2021-01-06 - 来自专栏Hadoop数据仓库
Kettle构建Hadoop ETL实践（一）：ETL与Kettle
5. （2）平台独立 一个ETL工具应该能在任何平台上甚至是不同平台的组合上运行。 （5）复用性 设计完的ETL转换应该可以被复用，这也是ETL工具的一个不可或缺的特征。复制和粘贴已存在的转换步骤是最常见的一种复用，但这还不是真正意义上的复用。 完全跨平台 Kettle是基于Java的解决方案，因此天然继承了Java跨平台性。 这样只要有合适的JVM存在，转换或作业就能运行在任何环境和平台之上，真正做到与平台无关。 以我个人的经验而言，只要是和关系数据库打交道，很多情况ETL通过SQL就能搞定。
6.1K79发布于 2020-08-17 - 来自专栏技术杂记
ETL CSV to Elasticsearch
,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state DOWN qlen 1000 link/ether 52:54:00:16:5e -5.el7.noarch.rpm is not installed python2-pip-8.1.2-5.el7.noarch.rpm | 1.7 MB Userid : "Fedora EPEL (7) <epel@fedoraproject.org>" Fingerprint: 91e9 7d7c 4a5e 96f1 7f3e 888f record): for i in record: record[i]=str(record[i]).encode('utf-8') return record def etl_csv_to_es es.indices.flush(index=[indexName]) return (True,count) #main if __name__ == "__main__": res,num = etl_csv_to_es
2.8K30发布于 2021-08-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号