首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏浩Coding

    Kettle教程一:Kettle简介和Kettle的部署安装

    2、Kettle简介 Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 3、kettle的核心组件 4、Kettle的概念模型 Kettle的执行分为两个层次:Job(作业)和Transformation(转换)。 二 安装Kettle 1、kettle下载地址和教程链接: 官网各个版本下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration / B站2019kettle8.2最新教程:https://www.bilibili.com/video/BV1jE411B7J8 国内kettle论坛网:https://www.kettle.net.cn 4、打开kettle只需要运行spoon.bat,即可打开spoon图形工具: 5、Kettle目录文件介绍 三 常见的kettle报错 1、打开kettle后一闪而过就没了 可能有如下原因:

    87.2K67发布于 2021-01-29
  • 来自专栏全栈程序员必看

    kettle 性能优化_kettle过滤记录

    本章主要是介绍Kettle的性能优化及效率提升。 一、Kettle调优 1、 调整JVM大小进行性能优化 修改Kettle定时任务中的Kitchen或Pan或Spoon脚本: 修改脚本代码片段 set OPT=-Xmx512m -cp %CLASSPATH % -Djava.library.path=libswt\win32\ -DKETTLE_HOME=”%KETTLE_HOME%” -DKETTLE_REPOSITORY=”%KETTLE_REPOSITORY %” -DKETTLE_USER=”%KETTLE_USER%” -DKETTLE_PASSWORD=”%KETTLE_PASSWORD%” -DKETTLE_PLUGIN_PACKAGES=”% KETTLE_PLUGIN_PACKAGES%” -DKETTLE_LOG_SIZE_LIMIT=”%KETTLE_LOG_SIZE_LIMIT%” 参数参考: -Xmx1024m:设置JVM最大可用内存为

    5K21编辑于 2022-11-08
  • 来自专栏Hadoop数据仓库

    Kettle与Hadoop(一)Kettle简介

    Kettle是一款流行的ETL(Extract-Transform-Load,即数据抽取、转换、装载)工具,并可用来操作Hadoop上的数据。Kettle是用Java语言开发的。 后来Pentaho公司获得了Kettle源代码的版权,Kettle也随之更名为Pentaho Data Integration,简称PDI。 一、Kettle设计原则 Kettle工具在设计之初就考虑到了一些设计原则,这些原则也借鉴了以前使用过的其它一些ETL工具积累下的经验和教训。 Kettle里的图就是转换和作业。可视化编程一直是Kettle里的核心概念,它可以让用户快速构建复杂的ETL作业和降低维护工作量。Kettle中的设计开发工作几乎都可以通过简单的拖拽来完成。 参见“Kettle数据库连接中的集群与分片” 六、工具 Kettle里有不同的工具,用于ETL的不同阶段。

    4.4K21发布于 2020-05-27
  • 来自专栏全栈程序员必看

    kettle教程(1) 简单入门、kettle简单插入与更新。打开kettle

    本文要点:Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比字段,若目标表不存在该字段,则新插入该条记录。若存在,则更新。 Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。 (引用百度百科) 1、Kettle的下载与安装(在本文中使用的kettle版本为6.1.0.1-196)   kettle的最新下载地址:http://community.pentaho.com/projects /data-integration/ 2、打开kettle。 到这里,一个简单的通过作业调度的kettle就算做完了。

    8K10编辑于 2022-08-25
  • 来自专栏HUC思梦的java专栏

    kettle学习笔记(二)——kettle基本使用

    Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。 Encr.bat: 密码加密   转换和作业: Kettle 的 Spoon 设计器用来设计转换(Transformation)和 作业(Job)。   

    6.4K20发布于 2020-09-03
  • 来自专栏HUC思梦的java专栏

    kettle学习笔记(四)——kettle输入步骤

        • 生成记录/自定义常量     • 获取系统信息     • 表输入     • 文本文件输入     • XML 文件输入     • Json输入     • 其他输入步骤

    6.1K20发布于 2020-09-03
  • 来自专栏HUC思梦的java专栏

    kettle学习笔记(五)——kettle输出步骤

      数据库表:     • 表输出     • 更新,删除,插入/更新     • 批量加载(mysql,oracle)     • 数据同步   文件:     • SQL 文件输出     • 文本文件输出     • XML 输出     • Excel Output/Excel Writer   其他(报表、应用)

    5K30发布于 2020-09-03
  • 来自专栏IT码农

    安装kettle

    > set global time_zone='+8:00'; 方法二: 修改my.ini文件,在[mysqld]加入以下命令: default-time-zone='+8:00' 方法三: 修改kettle

    1.7K43编辑于 2022-05-06
  • 来自专栏全栈程序员必看

    kettle调度监控平台(kettle-scheduler)开源

    背景 Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。 所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库。 项目介绍 Kettle调度监控平台(以下简称KS)是一个自主开发的javaweb程序,专门用来调度和监控由kettle客户端创建的job和transformation。 # Kettle Properties #绝对路径,用于初始化kettle环境变量(.kettle/kettle.properties所在路径),指向kettle根目录(例如 D:\data-integration ) kettle.home=D:\\data-integration #绝对路径kettle下plugins文件 kettle.plugin=E:\\zhaxiaodong\\apache-tomcat

    12.4K150编辑于 2022-11-02
  • 来自专栏Hadoop数据仓库

    Kettle与Hadoop(二)Kettle安装配置

    五、配置 Kettle运行环境内的一些因素会影响Kettle的运行方式。这些因素包括配置文件、与Kettle集成在一起的外部软件。我们把这些因素统称为Kettle的配置。 1. 配置文件和.kettle目录 Kettle运行环境中有几个文件影响了Kettle的运行情况。 这些文件可以看成是Kettle配置文件,当Kettle做了环境移植或升级时,这些文件也要随之改变,包括: .spoonrc jdbc.properties kettle.properties kettle.pwd (3)kettle.properties kettle.properties文件是一个通用的保存在Kettle属性的文件。 kettle.pwd文件位于Kettle根目录下的pwd目录下。

    8.2K50发布于 2020-06-01
  • 来自专栏全栈程序员必看

    kettle工具使用教程_开源etl工具kettle

    kettle工具使用简明手册 运行启动脚本spoon.bat快捷方式 如果正确启动,则出现的主界面应该是下面这样的。

    1.3K41编辑于 2022-09-27
  • 来自专栏HUC思梦的java专栏

    kettle学习笔记(六)——kettle转换步骤

          可以进行字符串转义(例如> 转义为 >)、保留/去除字符串里的数字、移除特殊字符、补充长度

    4.1K20发布于 2020-09-03
  • 来自专栏全栈程序员必看

    kettle工具中嵌入java代码_kettle设置变量

    Java调用Kettle工具方法 这里需要的主要依赖包下面已列出,其他的运行时缺什么补什么就行: <dependency> <groupId>pentaho-kettle</groupId> <artifactId >kettle-core</artifactId> <version>7.1.0.0-12</version> </dependency> <dependency> <groupId>pentaho-kettle = "D:\\kettle"; private static final String KETTLE_KET_DIR = KETTLE_BASE_DIR + "\\ktr"; private static final String KETTLE_PLUGIN_DIR = KETTLE_BASE_DIR + "\\plugins"; static { try { log.debug("加载Kettle true)); log.debug("Kettle插件加载成功"); log.debug("初始化Kettle插件环境"); KettleEnvironment.init(); log.debug("Kettle

    1.9K30编辑于 2022-11-03
  • 来自专栏Hadoop数据仓库

    Kettle构建Hadoop ETL实践(一):ETL与Kettle

    主要内容包括: (一)ETL与Kettle的基本概念 (二)Kettle及其使用环境的安装与配置 (三)Kettle对Hadoop的支持 (四)建立ETL示例模型 (五)数据抽取 (六)数据转换与装载 本专题的(十)Kettle数据分发与多线程 将论述Kettle并行机制。 为了更精确控制数据,Kettle还使用了分区模式,通过分区可以将同一特征的数据发送到同一个数据流。 Kettle在设计上就是可扩展的,它提供了一个插件平台。这种插件架构允许第三方为Kettle平台开发插件。Kettle里的所有组件都是插件,即使是默认提供的组件。 Kettle用Java语言开发,因此在使用Kettle命令行时需要注意匹配Java版本。例如Kettle8.2.0版本需要JDK 1.8的支持。 关于Carte以及Kettle集群的配置和使用,详见本专题的(十一)Kettle集群与数据分片。 8.

    6K79发布于 2020-08-17
  • 来自专栏程序萌部落

    Kettle对接Hadoop

    ? ? ? ? ? ? ? ? ?

    1.1K20发布于 2019-08-08
  • 来自专栏杨飞@益术

    Kettle使用小结

    ♂️简介:Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。 Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转换,job 则完成整个工作流的控制...(更多介绍自行搜索) ? Kettle中文网:https://www.kettle.net.cn/ ⏬下载地址:https://jaist.dl.sourceforge.net/project/pentaho/Pentaho 9.1 举例子: 第一种:从A表->抽数据到->B表(可不同数据库) 启动kettle step 1:左侧操作区->核心对象Tab->输入->选择“表输入”->拖拽到右侧操作区 step 2:左侧操作区->核心对象

    1.8K40发布于 2020-12-23
  • 来自专栏HUC思梦的java专栏

    kettle学习笔记(七)——kettle流程步骤与应用步骤

        类似Java中的反射,在设计时不知道文件名、文件位置等,在真正执行时才知道具体的一些配置等信息

    4.7K21发布于 2020-09-03
  • 来自专栏成长道路

    kettle环境搭建

    1.github上面kettle的源码下载地址:https://github.com/pentaho/pentaho-kettle 2.环境准备: 1 Maven, version 3+ 2.Java

    2.2K61发布于 2019-07-02
  • 来自专栏全栈程序员必看

    kettle工具练习

    1.打开kettle工具创建一个转换csv_extract,并添加“CSV文件输入”控件,“表输出”控件及Hop跳连接线,用于实现CSV文件数据的抽取功能,具体效果如下图所示: 2.配置CSV文件输入控件 1.打开kettle工具创建转换,并添加JSONinput控件。

    883100编辑于 2022-11-02
  • 来自专栏大数据组件部署

    kettle 安装 (win)

    原理Kettle 的工作原理可以分为以下几个关键部分:数据源连接:Kettle 支持多种数据源,包括关系型数据库、文件、Web 服务等。用户可以通过图形界面配置连接信息。 作业(Job):作业是 Kettle 中用于控制转换执行的工具。用户可以定义作业的执行顺序、条件和错误处理等逻辑。 调度与监控:Kettle 允许用户调度作业和转换的执行,并提供监控功能,以便跟踪数据处理的状态和性能。 Kettle 也提供了类似的监控功能,帮助用户跟踪数据处理的状态,确保数据能够及时、准确地加载到目标系统中。 前提工作下载kettle并解压至win上某个路径启动切换至解压路径,找到启动脚本,点击脚本运行

    53621编辑于 2024-09-14
领券