- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
ETL是什么_ETL平台
据统计，数据量每经过2-3年时间就会成倍增长，这些数据蕴含着巨大的商业价值，而企业所关注的通常只占总数据量的2%~4%左右。 1、数据抽取 数据抽取指的是从不同的网络、不同的操作平台、不同的数据库和数据格式、不同的应用中抽取数据的过程。目标源可能包括ERP、CRM和其他企业系统，以及来自第三方源的数据。 整个操作过程往往要跨网络、跨操作平台。 ---- 2、数据清洗处理规范 不符合要求的数据主要有不完整数据（缺失值）、错误数据（异常值）、重复数据、不同类型需归一化处理数据。 （2）警告发送 ETL出错了，不仅要写ETL出错日志而且要向系统管理员发送警告，发送警告的方式有多种，常用的就是给系统管理员发送邮件，并附上错误信息，便于管理员排查。
2.7K31编辑于 2022-09-20 - 来自专栏TASKCTL技术交流讨论
数据仓库ETL管理平台TASKCTL调度计划控制原理
表达式例子 “* * *”: 表示每天可执行，缺省就是 * * * “0 6,12 *”: 表示每年 6 月月末、12 月月末可执行 “-1 * 1,4”: 表示每周一、四可执行 “2,4-10 1,2 *”: 表示 1,2 月的 2 号以及 4 到 10 号可执行 执行计划应用案例以下通过代码举例说明执行计划的应用 以上计划按自然日期确定。 远程调度与负载均衡 运程调度指当作业程序未部署在相应调度服务上时，调度服务器需要通过执行代理控制相应程序。 如下图所示： 上图表明调度服务控制 agent3 部署 test2.sh 程序。 对于负载均衡应用，实际上与代码设计无关，只与部署相关。 说明：该例表明如果自定义程序 myexe（并带两个参数 1 与 2）的执行结果是 5 时， 执行当前作业，否则继续等待。
1.4K20编辑于 2022-05-10 - 来自专栏数据社
ETL的灵魂：调度系统
任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分，可以说是ETL任务的灵魂。 01 原始任务调度 ? 比如上游任务1结束后拿到结果，下游任务2、任务3需结合任务1的结果才能执行，因此下游任务的开始一定是在上游任务成功运行拿到结果之后才可以开始。 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求；将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler 由于ETL是极为复杂的过程，而手写程序不易管理，所以越来越多的可视化调度编排工具出现了。 调度系统作为大数据平台的核心部分之一，牵扯的业务逻辑比较复杂，场景不同，也许需求就会差别很多，所以，有自研能力的公司都会选择市面上开源系统二次开发或者完全自研一套调度系统，已满足自身ETL任务调度需求。
2.1K10发布于 2021-07-09 - 来自专栏TASKCTL技术交流讨论
这些常用ETL批量调度平台框架组件，你都知道几个？
它志在促进该领域的独立发展，使调度在ETL领域独立化、专业化、系统化。从而使项目实施更轻松便捷，使企业基础架构更清晰、更易管理。 扩展功能 网络扩展：可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署 应用扩展：技术平台设计有专门的应用API接口，可实现更多的调度应用。 任务类型扩展：为了适应不同类型的任务调度，平台可通过具有统一模版、统一接口的插件进行快速扩展。 应用功能：配置功能、流程设计功能、监控功能、各种查询功能以及诸如重跑、重置等人工干预功能。 (三) 主要创新 无数据库设计：国内首款专业无数据库调度技术平台。 插件机制：业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台。 流程设计代码开发设计理念：调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比，操作更方便、设计更灵活、可读性更强。
1.5K40发布于 2021-01-06 - 来自专栏TASKCTL技术交流讨论
ETL批量调度工具TASKCTL核心调度节点安装
同时，服务端完成对目标层的调度控制。整个平台采用无数据库设计，每层之间以TCP作为通信协议。 应用层从功能的角度，主要分 admin，designer，monitor。 而代理层完成与目标服务器（ETL等）的控制交互。代理层通过主从代理级联方式，可实现对集群部署的服务器进行调度控制，实现负载均衡等。 目标层，是整个产品所控制的目标，比如我们的ETL服务器，作业工作站等。 一个平台必须安装且只能安装一个核心调度服务节点，而核心调度代理节点则根据实际情况安装部署，核心调度服务节点中已经集成了一个核心调度代理，当单机部署时，只用安装核心调度服务节点即可。 这里先选择2产品自定义安装。选择好了后会出现以下界面： image.png 接下来选择2核心调度代理安装。安装程序自动开始安装到之前指定的产品目录。并要求输入代理节点IP地址和监听端口号等信息。
81140编辑于 2022-03-11 - 来自专栏TASKCTL技术交流讨论
金融服务业etl作业集群统一调度平台搭建
2、批量调度现状分析 2.1、目前主要实现方式 目前，由于银行内部缺乏一款专业批量产品支撑，缺乏一定的批量调度规范与标准，使银行内部几十上百个系统相关批量调度实施混乱。 2、Informatic工具：我们采用其workflow实现流程开发，通过对workflow的执行，从而完成调度。 在具体部署时，首先需要部署一个独立技术平台Server，并在多个具体的批量或ETL服务器上部署技术平台核心代理Agent组件，通过Server与Agent之间通信实现对具批量或ETL服务器部署的作业的调度 用户可以直接通过技术平台标准客户端（图形客户端、字符界面客户端）操作管理，并实现调度管理，以及各个ETL服务器上作业的运行监控。 建设周期1~2个月。 平台完善阶段，批量应用建设第二期，最好选择数据类、批量作业集中的系统，比如ECIF、ODS等传统业务系统，应用企业级监控平台建设；实施方由产品原成商、银行科技人员共同配合建设。
2.5K40发布于 2020-06-18 - 来自专栏TASKCTL技术交流讨论
批量ETL任务调度运维平台 TASKCTL 作业互斥与强制依赖
另外，互斥只能对部署在同一调度服务器的流程生效，互斥资源名称的异同也是相对同一调度服务器而言。对于不同调度服务器之间的流程不会产生任何关系。 执行计划控制策略 执行计划控制策略在调度应用中非常普遍，是调度控制策略中最重要的策略之一。执行计划指作业的运行周期，简单说，指一个作业什么时候需要运行，比如每周一、每月初、每月底以及季末等。 分别代码礼拜天到礼拜六 表达式例子 “* * *”: 表示每天可执行，缺省就是 * * * “0 6,12 *”: 表示每年 6 月月末、12 月月末可执行 “-1 * 1,4”: 表示每周一、四可执行 “2,4 -10 1,2 *”: 表示 1,2 月的 2 号以及 4 到 10 号可执行 执行计划应用案例 以下通过代码举例说明执行计划的应用： 以上计划按自然日期确定。
65630编辑于 2022-05-06 - 来自专栏TASKCTL技术交流讨论
【国产免费】分布式ETL作业调度处理平台TASKCTL变量属性设置
长度：变量值长度不能超过 200 个字符 变量类型 TASKCTL 调度平台变量类型主要分三类：日期类(date)、普通类(comm)、常量（const）。 自定义作业类型标签 自定义作业指 ETL 中用户开发的各种作业，比如：shell、datastage 类作业等。对此类作业标签关键字是由用户自定义确定。 该固定结构为：1、根节点始终为串行节点；2、二级节点第一个节点始终为开始节点；二级节点最后一个节点始终为结束节点。 缺省变量主要包括： cycle：当前循环值，循环值从 1 开始； ctlid：流程 ID，在实际应用中，调度平台会自动给每个流程分配一个 ID 号； renum：重做次数，对于一些错误作业，平台会不断重调 ，第一次运行前为 0，第一次运行完后为 1，当错误后第二次运行前为 1，当错误后第二次运行该值为 2，以此类推；
91730编辑于 2022-05-07 - 来自专栏TASKCTL技术交流讨论
ETL是BI（商业智能）的基础，调度是ETL的灵魂
所以说ETL是BI商业智能的基础， 调度是ETL的灵魂，我们首先讲讲调度的功能。 2) 下传文件信息维护，维护所有区域的下传文件名称、文件状态、文件数据日期和对应区域的归属关系。 2) Job执行日志，管理记录Job执行信息的日志，提供该日志的查询、删除和执行状态重置功能。 2) 用C封装的SQLLDR（加载），将ORACLE SQLLDR封装在C程序中进行调度。 所以说调度是ETL的灵魂。
93430发布于 2020-06-12 - 来自专栏TASKCTL技术交流讨论
【开源】etl作业调度工具性能综合对比
最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用 Kettle ，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？ 今天我们就先对其中一个比较火热的“App”——调度工具，做一个简单的评测对比，帮助大家快速解锁用开源工具做 ETL 的新姿势。 为什么需要调度系统？ 开局我们先扫盲。 在业界，普遍将这种技术称为作业调度，其技术本质是作业运行管理的自动化控制。 基于成都塔斯克旗下产品taskctl部署面向于个人、企业主和独立数据应用开发商提供的一个一站式大数据工具平台和社区。 人工干预多样化：正常调度，自由调度，虚拟调度。强制中断、强制通过、禁用通过、预设断点、忽略条件等； 支持作业优先级配置：平台级、流程级和作业级并行控制、资源权重设置。动态设置作业优先级置顶等操作。 当然taskctl不仅仅是一个功能全面的工作流调度工具，作为一个一站式大数据平台，它同时涵盖以下功能，无论是简单的 ETL 工作，还是复杂的数据中台构建工作，使用taskctl都可以完成。
2.5K20发布于 2020-06-22 - 来自专栏TASKCTL技术交流讨论
etl作业部署与调度——taskctl管理概述
TASKCTL作为一款作业自动化调度控制工具，可广泛应用于各种IT应用建设、实施各种IT设施维护管理中。其中大数据领域ETL以及批量作业自动化调度，是TASKCTL最典型的应用之一。 2 作业流程调度设计 独立的IDE开发设计环境程序Designer，可以让你快速友好地设计流程信息。 （各种数据库、ETL工具、语言、以及大数据平台等），不同应用规则的作业类型。 (2)应用API扩展 TASKCTL提供一套完整基于JAVA的二次开发接口，可以实现企业个性化的调度监控管理应用平台。 用户可以通过开发自己驱动插件，让TASKCTL支持您基于不同技术平台（各种数据库、ETL工具、语言、以及大数据平台等），不同应用规则的作业类型。 7.无代理远程调度 一机简单部署，全网轻松受控。
1.2K10发布于 2020-06-16 - 来自专栏TASKCTL技术交流讨论
【国产】TASKCTL数据仓库ETL统一调度管控运维平台
2. 停止并中断作业：发起停止命令，并尝试中断正在运行的作业。 注：中断作业默认会调用系统命令杀死作业的程序进程。 是比平台节点并行度更细粒度的，控制作业并发运行的参数。列表中展示了作业容器当前的并行度。 2. 运行依赖：在作业容器启动的情况下，运行作业及后续依赖作业链。 3. 中断：中止当前正在运行的作业。中断成功后，作业呈“失败状态”。 4. 中断循环：中止正在循环的作业或模块。 操作日志 记录了当前登录用户对平台内所有关键信息的操作日志。在工具栏中可按时间范围筛选日志信息。 运行分析 作业容器经过一段时期的调度运行之后，会生产出许多数据。 通过分析这些数据，能帮助用户更好的掌握调度平台使用情况，进一步提高平台的使用效率提供数据参考依据。 产品官网：www.taskctl.com
2.4K50编辑于 2022-05-23 - 来自专栏TASKCTL技术交流讨论
ETL大数据统一批量调度监控TASKCTL实时监控平台
2. 钻取展示方式：某些作业容器难免会出现子模块数量多，层次深的情况。双击 include 节点下钻到子模块，双击flow节点下钻到引用的子流程。 3. 静态基本属性包括作业的执行计划，条件，容错，循环等调度策略属性。还包括引用的参数和作业的代码块。点击链接“去设计作业”，能够方便从监控环境Monitor跳转到设计环境Designer的作业位置。 消息设置 个性化订阅平台内需要接收的消息种类。订阅按钮打开后，才能在平台中收到该消息种类。推送渠道对应了平台管理 - Admin中设置的用户手机号码和邮箱地址。 配置好平台的短信或邮件接口后，平台消息才会推送到对应的渠道。 业务链设置 被调度器（主控流 / 定时器）引用调度的作业流（可嵌套），或单独的主控流称之为业务链。 平台可以计算出业务链开始位置和所有作业运行状态。从而分析出这条业务链的运行时长，运行进度，运行成功率，运行效率等多种调度指标。 可以对业务链的名称（通常是主控流或作业流的名称）进行重定义。
2K40编辑于 2022-05-18 - 来自专栏TASKCTL技术交流讨论
国产数据仓库常用ETL调度平台TASKCTL对于Kettle作业类型的转换使用
安装taskctl-plugin-kettle服务 1.确保安装环境（unix/windows）具备kettle程序目录 2.下载taskctl-plugin-kettle_1.2.3.zip，解压后进入目录 产品官网：www.taskctl.com 在Admin中配置插件 1.拷贝生成的cprunsoapktr.sh至调度服务（或代理）端插件目录，例如： 2.更改ktrjob作业类型的执行程序为新插件。 转换作业的完整路径及名称，如下两种情况（资源库/文件系统）：当调用资源库时为“资源库路径/转换名称”；当调用文件系统的转换时为“文件目录/转换文件名” .para：kettle命名参数，格式为：参数名1=参数值1,参数名2= 参数值2,... .exppara: kettle资源库名，资源库用户名，密码等环境信息，与安装时的配置信息一致。 .jobdesc：作业描述信息 调度示例： 调度范例请参考cprunsoapktr.sh注释部分 作业在哪里运行 对于单机调度模式来，不用关心作业在哪里运行. 系统缺省就在调度服务本地环境运行。
1.3K30编辑于 2022-05-30 - 来自专栏TASKCTL技术交流讨论
etl调度工具必备的10个功能属性
如常见的Orcal、MS SQL Server、IBM DB/2、Ingres、MySQL和PostgreSQL。 ETL工具的功能之二：平台独立 一个ETL工具应该能在任何平台下甚至是不同平台的组合上运行。一个32位的操作系统可能在开发的初始阶段运行很好，但是当数据量越来越大时，就需要一个更强大的操作系统。 而生产环境一般是Linux系统或集群，你的ETL解决方案应该可以无缝地在这些系统间切换。 ETL工具的功能之三：数据规模 一般ETL能通过下面的3种方式来处理大数据。 并发：ETL过程能够同时处理多个数据流，以便利用现代多核的硬件架构。 分区：ETL能够使用特定的分区模式，将数据分发到并发的数据流中。 集群：ETL过程能够分配在多台机器上联合完成。 Kettle在设计上就是可扩展的，它提供了一个插件平台。这种插件架构允许第三方为Kettle平台开发插件。 Kettle里的所有插件，即使是默认提供的组件，实际上也都是插件。
1.9K30发布于 2020-07-07 - 来自专栏TASKCTL技术交流讨论
【国产】ETL自动化调度运维管理平台 TASKCTL 8.0 分布式部署
目前国内ETL项目中，分布式部署是主流部署形式。 当配置了主从代理时，在设计时，可以使用负载均衡，） 初始化平台 产品核心安装分为核心调度服务节点安装、核心调度代理节点安装。 定义调度服务器节点 由于第一次进入系统，系统已经默认节点的类型cntServer（调度服务节点）、节点名称、IP地址、端口号和备注，用户此时只能修改节点名称和备注。 2. 2. 调度服务器 主要查看ctlcpg、ctlsps、ctldrr、ctldar、ctlstr、ctldsy、ctlemr、ctlucd、ctljmm等相关进程是否启动。 2.
58740编辑于 2022-04-27 - 来自专栏TASKCTL技术交流讨论
深入浅出的etl调度工具TASKCTL
没有批量调度自动化的数据管理、数据整合等ETL工作，就像一家大公司没有领导，所有工作必将变得紊乱、低效、失控。 没错，批量调度自动化技术对数据整合、对各种各样的ETL，就像领导对公司的意义。 product_2_2.png TASKCTL就是这样一款批量调度自动化技术专业产品。 控制层 控制层是多级金字塔架构，顶层为服务控制节点，完成各种调度服务控制以及为客户端提供各种操作应用服务。而代理层完成与目标服务器（ETL等）的控制交互。 2.支持各种技术平台的集成，能实现各种作业类型的调度 TASKCTL是一个开放的调度平台，为了适应诸如Datastage、Informatic、kettle、一体机、大数据、存储过程、java以及各种脚本任务程序的支持与扩展 ，同时保证不同任务类型的应用统一，TASKCTL对作业的控制采用插件驱动机制，从而实现不同技术平台、不同作业类型调度控制。
2K60编辑于 2022-03-28 任务调度平台TASKCTL与ETL工具DataStage的深度融合：构建企业数据处理生态
本文将深入探讨任务调度平台TASKCTL与ETL工具DataStage的深度融合，通过详尽的代码示例、结合细节以及实际案例的具体描述，展示这两个工具如何携手打造企业数据处理生态。 TASKCTL：调度中心的精准掌控调度配置示例TASKCTL的调度配置通常通过其提供的图形界面或XML配置文件进行。 <description>自动执行DataStage的ETL作业以处理日常数据</description> <schedule> <cron>0 0 2 * * ? TASKCTL负责根据业务需求设定ETL作业的调度计划，并监控作业的执行情况。一旦作业开始执行，DataStage便接管数据处理的具体工作，利用其强大的ETL能力完成数据的提取、转换和加载。 每天凌晨，TASKCTL根据预设的调度计划自动触发DataStage执行ETL作业。DataStage作业从多个销售系统中提取前一天的销售数据，经过数据清洗、转换后加载到数据仓库中。
52810编辑于 2024-07-16- 来自专栏卡尼慕
大数据平台架构+ETL
2、错误的数据：格式错误，日期越界，或者多了一个空格等。 3、重复的数据：重复数据记录的所有字段都要去重。 数据转换：不一致的数据转换。统一编码。 ETL的实现方法： 1、借助ETL工具。 2、SQL方法实现。 3、ETL工具与SQL相结合。 工具降低难度，但缺少灵活性。SQL灵活但编码复杂，因此结合两者。 2 大数据平台架构 ? 首先，对于做大数据开发而言，平台的监控与报警和平台管理不归我们管，主要是给运维人员做的事情。我们要做的就是中间的事情。 然后来看看数据基础平台。 调度层，就是把计算层的计算放到调度层运行。如前面讲的小案例，就是把mapreduce放到yarn上面去运行。计算层，就是对数据的处理运算。 接着看数据应用平台。元数据管理。 作业平台管理，就是任务调度。交互分析就关系到sql语句。多维分析主要是对数据的维度分析，如按年分析，按月分析，按周分析等。数据可视化，展示数据，供给决策。 最后看看数据应用。
2.4K21发布于 2019-09-09 - 来自专栏技术杂记
Forklift ETL 基础（一）（2）
forklift wrapper 脚本 [root@h102 ~]# cat /usr/local/rvm/gems/ruby-2.3.0/gems/forklift_etl-1.2.2/bin/forklift /lib/forklift.rb" [root@h102 bin]# ruby x /usr/local/rvm/gems/ruby-2.3.0/gems/forklift_etl-1.2.2/bin/ /lib/forklift.rb [root@h102 bin]# ll /usr/local/rvm/gems/ruby-2.3.0/gems/forklift_etl-1.2.2/bin/.. lib/forklift.rb -rwxr-xr-x 1 root rvm 651 Aug 9 15:12 /usr/local/rvm/gems/ruby-2.3.0/gems/forklift_etl x ll /usr/local/rvm/gems/ruby-2.3.0/gems/forklift_etl-1.2.2/bin/..
43220发布于 2021-10-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号