- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
ETL是什么_ETL平台
1、数据抽取 数据抽取指的是从不同的网络、不同的操作平台、不同的数据库和数据格式、不同的应用中抽取数据的过程。目标源可能包括ERP、CRM和其他企业系统，以及来自第三方源的数据。 整个操作过程往往要跨网络、跨操作平台。 在ETL架构中，数据的流向是从源数据流到ETL工具，ETL工具是一个单独的数据处理引擎，一般会在单独的硬件服务器上，实现所有数据转化的工作，然后将数据加载到目标数据仓库中。 ---- 4、ETL日志与警告发送 （1）ETL日志 记录日志的目的是随时可以知道ETL运行情况，如果出错了，出错在那里。 如果使用ETL工具，工具会自动产生一些日志，这一类日志也可以作为ETL日志的一部分。
2.7K31编辑于 2022-09-20 - 来自专栏TASKCTL技术交流讨论
数据仓库ETL管理平台TASKCTL调度计划控制原理
执行计划控制 执行计划控制策略在调度应用中非常普遍，是调度控制策略中最重要的策略之一。执行计划指作业的运行周期，简单说，指一个作业什么时候需要运行，比如：每周一、每月初、每月底以及季末等。 远程调度与负载均衡 运程调度指当作业程序未部署在相应调度服务上时，调度服务器需要通过执行代理控制相应程序。 就拿以上调度示例为例，只需在 agent3 下级联从代理并与上级代理做相同的作业程序部署即可完成负载均衡调度。 如下图所示： 利用 hostuser 实现远程调度 从 v6.0+开始，TASKCTL 为用户提供统一的无代理远程调度机制。 相对于代理模式来讲，无代理由于无需在受控目标机器部署相应的软件，即可调度控制相应的作业程序。这种变化，让调度控制空间格局，得到彻底的延展变化，极大拓展了调度的应用场景。这种场景适合运维管理自动化。
1.4K20编辑于 2022-05-10 - 来自专栏数据社
ETL的灵魂：调度系统
任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分，可以说是ETL任务的灵魂。 01 原始任务调度 ? 将调度行为抽象形成“调度中心”公共平台，而平台自身并不承担业务逻辑，“调度中心”负责发起调度请求；将任务抽象成分散的JobHandler，交由“执行器”统一管理，“执行器”负责接收调度请求并执行对应的JobHandler 被调度运行的任务会发送到消息队列中，然后等待任务协调计算平台消费并运行任务，这时调度平台只需要等待任务运行完成的结果消息到达，然后对作业和任务的状态进行更新，根据实际状态确定下一次调度的任务。 由于ETL是极为复杂的过程，而手写程序不易管理，所以越来越多的可视化调度编排工具出现了。 调度系统作为大数据平台的核心部分之一，牵扯的业务逻辑比较复杂，场景不同，也许需求就会差别很多，所以，有自研能力的公司都会选择市面上开源系统二次开发或者完全自研一套调度系统，已满足自身ETL任务调度需求。
2.1K10发布于 2021-07-09 - 来自专栏TASKCTL技术交流讨论
这些常用ETL批量调度平台框架组件，你都知道几个？
它志在促进该领域的独立发展，使调度在ETL领域独立化、专业化、系统化。从而使项目实施更轻松便捷，使企业基础架构更清晰、更易管理。 扩展功能 网络扩展：可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署 应用扩展：技术平台设计有专门的应用API接口，可实现更多的调度应用。 任务类型扩展：为了适应不同类型的任务调度，平台可通过具有统一模版、统一接口的插件进行快速扩展。 应用功能：配置功能、流程设计功能、监控功能、各种查询功能以及诸如重跑、重置等人工干预功能。 (三) 主要创新 无数据库设计：国内首款专业无数据库调度技术平台。 插件机制：业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台。 流程设计代码开发设计理念：调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比，操作更方便、设计更灵活、可读性更强。
1.5K40发布于 2021-01-06 - 来自专栏TASKCTL技术交流讨论
ETL批量调度工具TASKCTL核心调度节点安装
同时，服务端完成对目标层的调度控制。整个平台采用无数据库设计，每层之间以TCP作为通信协议。 应用层从功能的角度，主要分 admin，designer，monitor。 而代理层完成与目标服务器（ETL等）的控制交互。代理层通过主从代理级联方式，可实现对集群部署的服务器进行调度控制，实现负载均衡等。 目标层，是整个产品所控制的目标，比如我们的ETL服务器，作业工作站等。 产品核心安装 产品核心由核心调度服务节点和核心调度代理节点构成，它们协同工作，共同完成后台核心的各种功能。所以产品核心安装分为核心调度服务节点安装、核心调度代理节点安装。 一个平台必须安装且只能安装一个核心调度服务节点，而核心调度代理节点则根据实际情况安装部署，核心调度服务节点中已经集成了一个核心调度代理，当单机部署时，只用安装核心调度服务节点即可。
81040编辑于 2022-03-11 - 来自专栏TASKCTL技术交流讨论
金融服务业etl作业集群统一调度平台搭建
2.1.4、利用现有ETL工具的调度功能 随着银行信息化发展，特别是数据仓库的建立，并以此为基础建立的更多数据类、管理类系统，或多或少都在采用一些专业的ETL工具来实现批量处理，并结合工具本身的调度组件完成相应批量调度处理工作 其特征是无须独立服务器，只需在具体应用系统的批量或相应ETL服务器上部署技术平台Server即可。 用户可以直接通过技术平台标准客户端（图形客户端、字符界面客户端）操作管理对应的调度系统。 5.2.3.2、多ETL服务器项目群部署方案 该部署方案主要针对具有多个批量处理服务器或多个ETL服务器的应用系统。 在具体部署时，首先需要部署一个独立技术平台Server，并在多个具体的批量或ETL服务器上部署技术平台核心代理Agent组件，通过Server与Agent之间通信实现对具批量或ETL服务器部署的作业的调度 用户可以直接通过技术平台标准客户端（图形客户端、字符界面客户端）操作管理，并实现调度管理，以及各个ETL服务器上作业的运行监控。
2.5K40发布于 2020-06-18 - 来自专栏TASKCTL技术交流讨论
批量ETL任务调度运维平台 TASKCTL 作业互斥与强制依赖
另外，互斥只能对部署在同一调度服务器的流程生效，互斥资源名称的异同也是相对同一调度服务器而言。对于不同调度服务器之间的流程不会产生任何关系。 执行计划控制策略 执行计划控制策略在调度应用中非常普遍，是调度控制策略中最重要的策略之一。执行计划指作业的运行周期，简单说，指一个作业什么时候需要运行，比如每周一、每月初、每月底以及季末等。
65330编辑于 2022-05-06 - 来自专栏TASKCTL技术交流讨论
【国产免费】分布式ETL作业调度处理平台TASKCTL变量属性设置
在整个调度应用过程，该值可能会根据用户的行为进行修改。比如业务日期类变量。 长度：变量值长度不能超过 200 个字符 变量类型 TASKCTL 调度平台变量类型主要分三类：日期类(date)、普通类(comm)、常量（const）。 一般情况下， 此类变量在调度应用过程会随不同调度批次的变化而变化。 普通类：普通类变量是相对日期类而言的。 自定义作业类型标签 自定义作业指 ETL 中用户开发的各种作业，比如：shell、datastage 类作业等。对此类作业标签关键字是由用户自定义确定。 缺省变量主要包括： cycle：当前循环值，循环值从 1 开始； ctlid：流程 ID，在实际应用中，调度平台会自动给每个流程分配一个 ID 号； renum：重做次数，对于一些错误作业，平台会不断重调
91230编辑于 2022-05-07 - 来自专栏TASKCTL技术交流讨论
ETL是BI（商业智能）的基础，调度是ETL的灵魂
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程 你想啊，数据的由来都是ETL实现的，以后所有的数据处理，不都是要依靠这些抽取来的数据。 所以说ETL是BI商业智能的基础， 调度是ETL的灵魂，我们首先讲讲调度的功能。 ETL调度功能说明 调度维护 1) 调度系统参数维护，对调度系统的公共参数：期数、进程数、数据日期、本期开始日期和本期结束日期进行设置和修改。 作业调度 正常情况下的作业调度，对整个ETL过程进行调度，提供分段提交处理和自动提交处理功能。 可调度的Job类型 1) C程序（清洗），ETL调度提供与C程序的接口，从而可以对C程序进行调度。 所以说调度是ETL的灵魂。
93030发布于 2020-06-12 - 来自专栏TASKCTL技术交流讨论
【开源】etl作业调度工具性能综合对比
最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用 Kettle ，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？ 今天我们就先对其中一个比较火热的“App”——调度工具，做一个简单的评测对比，帮助大家快速解锁用开源工具做 ETL 的新姿势。 为什么需要调度系统？ 开局我们先扫盲。 在业界，普遍将这种技术称为作业调度，其技术本质是作业运行管理的自动化控制。 基于成都塔斯克旗下产品taskctl部署面向于个人、企业主和独立数据应用开发商提供的一个一站式大数据工具平台和社区。 人工干预多样化：正常调度，自由调度，虚拟调度。强制中断、强制通过、禁用通过、预设断点、忽略条件等； 支持作业优先级配置：平台级、流程级和作业级并行控制、资源权重设置。动态设置作业优先级置顶等操作。 当然taskctl不仅仅是一个功能全面的工作流调度工具，作为一个一站式大数据平台，它同时涵盖以下功能，无论是简单的 ETL 工作，还是复杂的数据中台构建工作，使用taskctl都可以完成。
2.5K20发布于 2020-06-22 - 来自专栏TASKCTL技术交流讨论
ETL大数据统一批量调度监控TASKCTL实时监控平台
静态基本属性包括作业的执行计划，条件，容错，循环等调度策略属性。还包括引用的参数和作业的代码块。点击链接“去设计作业”，能够方便从监控环境Monitor跳转到设计环境Designer的作业位置。 双击数据行打开当前作业的侧边窗口 节点监控 平台节点又叫控制节点，展示了平台整体的网络架构拓扑图，实时监控各个控制节点的健康程度，以及各个节点的资源利用率。 消息设置 个性化订阅平台内需要接收的消息种类。订阅按钮打开后，才能在平台中收到该消息种类。推送渠道对应了平台管理 - Admin中设置的用户手机号码和邮箱地址。 配置好平台的短信或邮件接口后，平台消息才会推送到对应的渠道。 业务链设置 被调度器（主控流 / 定时器）引用调度的作业流（可嵌套），或单独的主控流称之为业务链。 平台可以计算出业务链开始位置和所有作业运行状态。从而分析出这条业务链的运行时长，运行进度，运行成功率，运行效率等多种调度指标。 可以对业务链的名称（通常是主控流或作业流的名称）进行重定义。
2K40编辑于 2022-05-18 - 来自专栏TASKCTL技术交流讨论
【国产】TASKCTL数据仓库ETL统一调度管控运维平台
激活调度 激活调度特指启动具备自动化运行特征的作业容器：主控流及定时器。而不具备自动化运行特征的作业容器：作业流启动后，从开始到结束运行一次后就退出了，不适用激活概念。 是比平台节点并行度更细粒度的，控制作业并发运行的参数。列表中展示了作业容器当前的并行度。 禁用日期计划：取消作业period日期计划的调度策略。 12. 启用日期计划：恢复作业period日期计划的调度策略。 13. 置顶优先级：设置处于运行队列中的作业为最高优先级。 操作日志 记录了当前登录用户对平台内所有关键信息的操作日志。在工具栏中可按时间范围筛选日志信息。 运行分析 作业容器经过一段时期的调度运行之后，会生产出许多数据。 通过分析这些数据，能帮助用户更好的掌握调度平台使用情况，进一步提高平台的使用效率提供数据参考依据。 产品官网：www.taskctl.com
2.4K50编辑于 2022-05-23 - 来自专栏TASKCTL技术交流讨论
etl作业部署与调度——taskctl管理概述
TASKCTL作为一款作业自动化调度控制工具，可广泛应用于各种IT应用建设、实施各种IT设施维护管理中。其中大数据领域ETL以及批量作业自动化调度，是TASKCTL最典型的应用之一。 1 平台管理 平台管理功能主要包括： 平台代理主机维护管理； 作业类型维护管理； 用户（组)权限维护管理； 调度节点并发度维护管理； 作业&流程定义信息导入导出等。 （各种数据库、ETL工具、语言、以及大数据平台等），不同应用规则的作业类型。 目前，整个业界的调度系统设计，主要是基于数据库、通信等各种第三方中间件基础上构建各自的调度技术平台。 用户可以通过开发自己驱动插件，让TASKCTL支持您基于不同技术平台（各种数据库、ETL工具、语言、以及大数据平台等），不同应用规则的作业类型。 7.无代理远程调度 一机简单部署，全网轻松受控。
1.2K10发布于 2020-06-16 - 来自专栏TASKCTL技术交流讨论
国产数据仓库常用ETL调度平台TASKCTL对于Kettle作业类型的转换使用
Kettle作业转换 TASKCTL默认采用pan命令方式调度kettle转换作业。除此之外，我们还提供了taskctl-plugin-kettle（Soap服务）插件的方式驱动kettle转换。 相比原生的pan命令，Soap服务直接驱动kettle核心进行调度。资源消耗更低、速度更快，支持高并发。 生成cprunsoapktr.sh文件（注释部分已含调度示例，请查看）。 5.执行startup命令启动插件Soap服务。 注意： windows需以“管理员身份运行”命令。 .jobdesc：作业描述信息 调度示例： 调度范例请参考cprunsoapktr.sh注释部分 作业在哪里运行 对于单机调度模式来，不用关心作业在哪里运行. 系统缺省就在调度服务本地环境运行。 如果您的作业不在调度服务环境,而是在远程指定代理环境，我们就需要定义agentid 。 kettle目前不支持无代理模式。hostuser属性无效。
1.3K30编辑于 2022-05-30 - 来自专栏TASKCTL技术交流讨论
etl调度工具必备的10个功能属性
ETL工具的功能之二：平台独立 一个ETL工具应该能在任何平台下甚至是不同平台的组合上运行。一个32位的操作系统可能在开发的初始阶段运行很好，但是当数据量越来越大时，就需要一个更强大的操作系统。 而生产环境一般是Linux系统或集群，你的ETL解决方案应该可以无缝地在这些系统间切换。 ETL工具的功能之三：数据规模 一般ETL能通过下面的3种方式来处理大数据。 并发：ETL过程能够同时处理多个数据流，以便利用现代多核的硬件架构。 分区：ETL能够使用特定的分区模式，将数据分发到并发的数据流中。 集群：ETL过程能够分配在多台机器上联合完成。 ETL工具的功能之四：设计灵活性 一个ETL工具应该留给开发人员足够的自由度来使用，而不能通过一种固定的方式来限制用户的创造力和设计的需求。ETL工具可以分为基于过程的和基于映射的。 Kettle在设计上就是可扩展的，它提供了一个插件平台。这种插件架构允许第三方为Kettle平台开发插件。 Kettle里的所有插件，即使是默认提供的组件，实际上也都是插件。
1.9K30发布于 2020-07-07 - 来自专栏TASKCTL技术交流讨论
【国产】ETL自动化调度运维管理平台 TASKCTL 8.0 分布式部署
单机部署 单机部署指的是指我们整个平台只部署一个核心服务节点且没有代理节点。对于后台TASKCTL字符界面应用系统，我们可以与服务部署在一起，也可以部署于其它环境。该部署模式也是调度最简单的部署。 目前国内ETL项目中，分布式部署是主流部署形式。 当配置了主从代理时，在设计时，可以使用负载均衡，） 初始化平台 产品核心安装分为核心调度服务节点安装、核心调度代理节点安装。 说明：工程名称整个平台唯一。 启动服务节点 要检验产品是否安装成功，调度服务器能否正常启动。 启动调度服务器的方式有以下几种： Admin管理平台启动 登录Admin管理平台，在平台节点的节点关系图中，如下图所示： 在上图里面选择需要启动的节点，然后点击<启动>按钮即可启动。
58140编辑于 2022-04-27 - 来自专栏TASKCTL技术交流讨论
深入浅出的etl调度工具TASKCTL
没有批量调度自动化的数据管理、数据整合等ETL工作，就像一家大公司没有领导，所有工作必将变得紊乱、低效、失控。 没错，批量调度自动化技术对数据整合、对各种各样的ETL，就像领导对公司的意义。 控制层 控制层是多级金字塔架构，顶层为服务控制节点，完成各种调度服务控制以及为客户端提供各种操作应用服务。而代理层完成与目标服务器（ETL等）的控制交互。 另，代理层通过主从代理级联方式，可实现对集群部署的服务器进行调度控制，实现负载均衡等。 目标层 目标层，是整个产品所控制的目标，比如我们的ETL服务器，作业工作站等。 2.支持各种技术平台的集成，能实现各种作业类型的调度 TASKCTL是一个开放的调度平台，为了适应诸如Datastage、Informatic、kettle、一体机、大数据、存储过程、java以及各种脚本任务程序的支持与扩展 ，同时保证不同任务类型的应用统一，TASKCTL对作业的控制采用插件驱动机制，从而实现不同技术平台、不同作业类型调度控制。
2K60编辑于 2022-03-28 任务调度平台TASKCTL与ETL工具DataStage的深度融合：构建企业数据处理生态
本文将深入探讨任务调度平台TASKCTL与ETL工具DataStage的深度融合，通过详尽的代码示例、结合细节以及实际案例的具体描述，展示这两个工具如何携手打造企业数据处理生态。 TASKCTL：调度中心的精准掌控调度配置示例TASKCTL的调度配置通常通过其提供的图形界面或XML配置文件进行。 TASKCTL与DataStage的深度融合体现在调度与执行的紧密配合上。 TASKCTL负责根据业务需求设定ETL作业的调度计划，并监控作业的执行情况。一旦作业开始执行，DataStage便接管数据处理的具体工作，利用其强大的ETL能力完成数据的提取、转换和加载。 每天凌晨，TASKCTL根据预设的调度计划自动触发DataStage执行ETL作业。DataStage作业从多个销售系统中提取前一天的销售数据，经过数据清洗、转换后加载到数据仓库中。
51010编辑于 2024-07-16- 来自专栏卡尼慕
大数据平台架构+ETL
ETL的实现方法： 1、借助ETL工具。（如OWB，DTS，SSIS等）实现。 2、SQL方法实现。 3、ETL工具与SQL相结合。 工具降低难度，但缺少灵活性。SQL灵活但编码复杂，因此结合两者。 2 大数据平台架构 ? 首先，对于做大数据开发而言，平台的监控与报警和平台管理不归我们管，主要是给运维人员做的事情。我们要做的就是中间的事情。 然后来看看数据基础平台。 调度层，就是把计算层的计算放到调度层运行。如前面讲的小案例，就是把mapreduce放到yarn上面去运行。计算层，就是对数据的处理运算。 接着看数据应用平台。元数据管理。 作业平台管理，就是任务调度。交互分析就关系到sql语句。多维分析主要是对数据的维度分析，如按年分析，按月分析，按周分析等。数据可视化，展示数据，供给决策。 最后看看数据应用。 拿到数据后直接存入kafka或者是hdfs中进行缓存，如果此时计算层需要调度数据，可以直接从kafka中直接消费。
2.4K21发布于 2019-09-09 - 来自专栏TASKCTL技术交流讨论
免费IT自动化运维工具- ETL调度批量管理平台 TASKCTL 8.0 作业设计功能介绍
TASKCTL 8.0 8.0 是一款基于 B/S 架构【轻量企业级免费ETL任务批量处理工具】它支持各类脚本任务程序和扩展；具备可视化图形拖拽设计界面，以及可视化任务作业管理、计划调度、实时监控、消息提醒和日志分析功能 ；有效弥补了传统 ETL 工具在调度管理和监控分析方面不足；同时平台还提供原数据管理、数据质量、版本控制、日志分析等完善的辅助管理功能，为企业提供数据迁移、数据仓库、数据标准化、数据同步、数据备份、数据交换以及企业定制化二次开发在内的一体化数据整合服务 在管理平台 Admin 搭建好调度节点网络拓扑架构、应用工程、全局变量等平台级基础配置之后。就可以进入设计平台 Designer，进行调度元信息的设计与开发了。 最后在监控平台 Monitor 中启动运行。 查找替换 在 8.0 中，作业属性和关系的调度元信息采用类似于 xml 格式的文件来存储。因此能够采用类似文本搜索替换的方案来快速查找更改作业信息
1.2K20编辑于 2022-04-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号