首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Hadoop数据仓库

    Kettle工具——Spoon、Kitchen、Pan、Carte

    Spoon 2. Kitchen和Pan (1)命令行参数 (2)例子 3. Carte ---- Kettle里有不同的工具,用于ETL的不同阶段。 主要工具如下: Spoon:图形化工具,用于快速设计和维护复杂的ETL工作流。 Kitchen:运行作业的命令行工具。 Pan:运行转换的命令行工具。 Spoon Spoon是Kettle的集成开发环境(IDE)。它基于SWT提供了图形化的用户接口,主要用于ETL的设计。 在Kettle安装目录下,有启动Spoon的脚本。 如Windows下的Spoon.bat,类UNIX下的spoon.sh。Windows用户还可以通过执行Kettle.exe启动SpoonSpoon的屏幕截图如图1所示。 ? 一些调试作业/转换的工具也集成到了Spoon的图形界面里,设计者可以在IDE里直接调试作业/转换。这些调试功能按钮在画布上方的工具栏里。

    10.1K10发布于 2020-05-26
  • 来自专栏全栈程序员必看

    ETL工具-Kettle Spoon教程

    Kettle Spoon简介 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,了解并掌握一种 kettle Spoon 安装入门 1》 安装kettle spoon kettle是使用java编写 直接是绿色版 解压即可使用 解压后的目录结构 lib目录 可以存放第三方的jar 比如 数据库的驱动包 将来如果要连接某个数据库 将驱动包置入这个lib目录即可 spoon.bat是可执行文件 启动之前确保 jdk安装 环境变量(PATH和JAVA_HOME) 可以直接输入java和javaw 主对象树就两种类型脚本 转换和作业 2》kettle spoon操作和核心对象介绍 》》转换 转换菜单点击右键 新建 就创建了一个ktr结尾的转换脚本 新建好转换脚本后 主窗口的转换1 打开时 就可以拖拽控件到主窗口了

    3.5K21编辑于 2022-08-31
  • 来自专栏全栈程序员必看

    Kettle Spoon入门教程「建议收藏」

    其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。 Spoon通过图形化的页面,方便直观的让你完成数据转换的操作。 配置完环境后,运行Spoon.bat或spoon.sh,就可以看到Spoon的页面了。 Tips:进行操作前,别忘记将数据库驱动包放入Spoon的lib文件夹下。 这是不太方便的地方,Spoon支持的数据库类型特别多,如果把所有的数据库驱动都提前下载好,又有点多余了。 如果忘记这个步骤,在建立数据库连接时,会报错。 2、小试牛刀 首先先新建一个作业。

    8.8K20编辑于 2022-08-31
  • 来自专栏landv

    在Linux上面kettle-spoon启动问题

    在Linux上面kettle-spoon启动问题 文件大小限制问题 修改此文件 /etc/security/limits.conf * soft nofile 327680 * hard nofile /spoon.sh

    2K20发布于 2020-04-08
  • 来自专栏路过君BLOG from CSDN

    pentaho pdi(kettle) spoon检测空流对象用法

    定义增量同步转换时,使用表输入从目标表查询最新更新的时间戳用于查询新增数据。 如果目标表没有记录时,则表输入返回一个空流。 如果希望在这种情况下进行全量更新,则使用检测空流对象添加一行空行,以触发后续操作

    1K10编辑于 2021-12-07
  • 来自专栏卯金刀GG

    kettle设计工具spoon安装问题及解决(Win环境)

    1.官网下载 http://community.pentaho.com/projects/data-integration/ 下载完后,解压即可,双击Spoon.bat就可以启动了。 2. 如果启动还报错“could not create the Java virtual machine”,不是java虚拟机出了问题,修改一下spoon.bat里内存配置 if "%PENTAHO_DI_JAVA_OPTIONS

    3.5K30发布于 2019-07-26
  • 来自专栏路过君BLOG from CSDN

    pentaho pdi(kettle) spoon创建映射获取OAUTH2 TOKEN并封装header参数值

    版本 pentaho-pdi-ce 9.2 创建转换 映射输入规格 通过环境参数控制多环境切换 自定义常量数据保存多环境的认证服务器地址 自定义常量数据保存客户端认证信息 通过JS代码输出对应环境的url和客户端认证信息 通过REST client查询接口 通过字段字段获取url 结果输出到body字段 选择POST方法,应用类型JSON 通过字段传入客户端认证信息参数 使用JSON输入解析返回结果 从body字段获取源 输出解析结果到对应字段 使用JS脚本拼装head

    1.1K40编辑于 2021-12-07
  • 来自专栏IT杂记

    git+github创建分支&提交并贡献代码(linux环境)

    根据github官网的教程,创建一个Spoon-Knife项目的分支https://github.com/octocat/Spoon-Knife 1、在github创建指定项目分支 登陆github,进入上述 Spoon-Knife项目网址,点击右上角“Fork”按钮,稍等片刻便在自己的库中创建了Spoon-Knife的分支,地址为https://github.com/myusername/Spoon-Knife.git 2、克隆项目到本地 由于此时项目只是存在与远程GitHub,所以必须克隆到本地用于开发, 执行如下命令 git clone https://github.com/username/Spoon-Knife.git 的关联,名为upstream 执行如下: cd Spoon-Knife #进入本地克隆的项目 git remote add upstream https://github.com/octocat/Spoon-Knife.git git fetch upstream #抓取远程原始库的更新 git merge upstream/master #将抓取的更新合并到本地的库中 5、发送Pull Requests     进入自己的Spoon-Knife

    1.8K60发布于 2018-02-08
  • 来自专栏IT从业者张某某

    07-PDI(Kettle)源码编译8.2.0.0.R版本

    (Spoon.java:865) 2021/09/18 09:10:11 - General - at org.pentaho.di.ui.spoon.Spoon.createContents(Spoon.java (Spoon.java:9174) 2021/09/18 09:10:11 - General - at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:707 (Spoon.java:918) 2021/09/18 09:10:11 - General - at org.pentaho.di.ui.spoon.Spoon.createContents(Spoon.java (Spoon.java:9174) 2021/09/18 09:10:11 - General - at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:707 (Spoon.java:9174) 2021/09/18 09:12:49 - General - at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java

    3.3K20编辑于 2022-11-12
  • 来自专栏非著名运维

    数据库迁移工具Kettle连接Mysql数据库报错:Driver class ‘org.gjt.mm.mysql.Dr...解决

    (SpoonDBDelegate.java:485) at org.pentaho.di.ui.spoon.delegates.SpoonDBDelegate.newConnection(SpoonDBDelegate.java :472) at org.pentaho.di.ui.spoon.Spoon.newConnection(Spoon.java:8788) at sun.reflect.NativeMethodAccessorImpl.invoke0 Unknown Source) at org.eclipse.swt.widgets.Display.readAndDispatch(Unknown Source) at org.pentaho.di.ui.spoon.Spoon.readAndDispatch (Spoon.java:1366) at org.pentaho.di.ui.spoon.Spoon.waitForDispose(Spoon.java:8022) at org.pentaho.di.ui.spoon.Spoon.start (Spoon.java:9277) at org.pentaho.di.ui.spoon.Spoon.main(Spoon.java:692) at sun.reflect.NativeMethodAccessorImpl.invoke0

    3.5K10编辑于 2022-06-22
  • 来自专栏小鑫同学编程历险记

    RabbitMQ的基本使用

    定义消息接收一 /* 接收MQ消息 */ @Slf4j @Component public class MqReceiver { @RabbitListener(queues = "spoon-queues 接收MQ消息 */ @Slf4j @Component public class MqReceiver { @RabbitListener(queuesToDeclare = @Queue("spoon-queues public class MqReceiver { @RabbitListener(bindings = @QueueBinding( value = @Queue("spoon-queues "), exchange = @Exchange("spoon-exchange") )) public void process(String message) 消息接收方 /* 数码供应商 接收消息 */ @RabbitListener(bindings = @QueueBinding( exchange = @Exchange("spoon-order

    36330编辑于 2022-12-24
  • 来自专栏全栈程序员必看

    kettle下载安装使用教程

    然后打开Spoon.bat,如图所示: 因为,运行spoon在不同的平台上运行spoon所支持的脚本: Spoon.bat:在Windows平台上运行spoonSpoon.sh:在Linux、AppleOSX 、Solaris平台上运行Spoon。 不是Java虚拟出了问题,修改一下spoon.bat里内存配置: if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m

    14.1K32编辑于 2022-08-31
  • 来自专栏全栈程序员必看

    kettle在linux定时任务_CentOS(Linux)安装KETTLE教程 并配置执行定时任务[通俗易懂]

    解压后给予相应文件可执行权限 进入到/opt/kettle/data-integration 授予 *.sh +x权限 即可执行权限 5,执行转换 编写测试转换,执行如下命令即可 /opt/kettle-spoon /data-integration/pan.sh -file=/opt/kettle-spoon/ktr/test/test1.ktr log=test1.log 6,执行job sudo /opt/kettle-spoon /data-integration/kitchen.sh -file=/opt/kettle-spoon/ktr/test/SechuldUpdate.kjb log=timeLogUpdate.log :JAVA_HOME/lib:CLASSPATH export PATH=JAVA_HOME/bin:PATH/opt/kettle-spoon/data-integration/pan.sh -file =/opt/kettle-spoon/ktr/test/Sechuld.kjb log=log.timelog ~data +%y%m%d~ 然后给这个文件可执行权限 +x 然后运行 crontab –

    8.6K20编辑于 2022-08-31
  • 来自专栏YashanDB知识库

    【YashanDB 知识库】kettle 做增量同步,出现报错:Unrecognized VM option 'MaxPermSize-256m'

    23.2.4.100kettle 版本:kettle 8问题发生原因客户环境的 java 环境是 17,而 MaxPermSize 参数在 java 8 之后已经移除了,而执行的 kitchen.sh 里面调用了 spoon.sh ,spoon.sh 里面包含有 MaxPermSize 参数,因此出现这个报错。 解决方法及规避方式kettle 8 启动的 java 版本设置成为 java 问题分析和处理过程1、下载 java 8 版本,并上传到 kettle 所在服务器,并解压2、在 spoon.sh 文件的头部加上

    19800编辑于 2025-02-27
  • 来自专栏prepared

    AI编程:可视化Java项目拆解第一弹,解析本地Java项目

    原文在这里AI 编程:可视化 Java 项目 有很多人感兴趣,我打算写一个系列文章拆解这个项目,大家多多点赞支持~ 今天分享的是第一篇:如何使用 Spoon + JavaParser 工具解析一个本地的 我这里使用的是 Spoon 工具。 Spoon 是什么? Spoon 框架常被用于解析和处理 Java 源代码。 Spoon 是一个强大的源码分析与转换工具,它通过构建抽象语法树(Abstract Syntax Tree, AST)来表示 Java 源代码,并提供了一套丰富的 API 供开发者操作 AST。 Spoon 能够完整且准确地捕获源代码的所有细节,所以它非常适合于进行复杂的静态代码分析、重构、自动插入代码逻辑等工作。 Spoon 不会用?没关系,AI 可以帮你写代码。 请你使用 Spoon 生成解析代码 写到这里,我要告诉你的是,其实类解析器和方法解析的代码,也可以交给 AI 来完成哟~ 你可以试试看,如果有问题,随时找阿七给你解答。

    97010编辑于 2024-01-17
  • 来自专栏浩Coding

    Kettle教程一:Kettle简介和Kettle的部署安装

    4、打开kettle只需要运行spoon.bat,即可打开spoon图形工具: 5、Kettle目录文件介绍 三 常见的kettle报错 1、打开kettle后一闪而过就没了 可能有如下原因: ① Java环境没配置好会出现问题 ② 可能是JDK版本太低了,JDK1.6以上版本才行,具体的可以查看spoon.bat配置文件。 ,也就是双击spoon.bat后一闪就没了的问题。 报错:error:could not create the java virtual machine;这错误并不是说java虚拟机出了问题,可能是由于kettle启动内存过大,要修改spoon.bat里内存配置 3、kettle无法创建xml相关步骤,有相关步骤的.ktr文件也打不开 可能是因为路径中包含中文,将整个安装包移动到桌面或其他没有中文字符的路径下,重启Spoon.bat即可。

    87.6K67发布于 2021-01-29
  • 来自专栏HUC思梦的java专栏

    kettle学习笔记(一)——入门与安装

    更多介绍,参考kettle中文网:http://www.kettle.net.cn/   2.kettle四大家族   Chef(中文:厨师)、Kitchen(中文:厨房)、Spoon(中文:勺子)、Pan (中文:平底锅)     Chef—工作(job)设计工具 (GUI方式)     Kitchen—工作(job)执行器 (命令行方式)     Spoon—转换(transform)设计工具 (GUI 4.启动       由于是WIN平台,双击 Spoon.bat: ?     启动画面: ?     启动完成: ? 三、常见问题 ?   

    2.4K21发布于 2020-09-03
  • 来自专栏Hadoop数据仓库

    Kettle与Hadoop(二)Kettle安装配置

    执行spoon.sh 四、给Spoon创建一个桌面快捷启动方式 五、配置 1. 执行spoon.sh 在桌面中打开一个终端执行spoon.sh,如图2所示。 ? 图2 打开的spoon界面如图3所示。 ? 保存文件后,Linux桌面出现spoon图标,如图4所示。 ? 图4 双击spoon图标或者点击图标右键菜单的“Open”,启动spoon.sh程序,打开Kettle设计界面。 无论什么时候连接到了资源库,这个文件都由Spoon自动维护。 例如Spoon启动时,要包含swt.jar文件,用于生成Spoon图形界面。 构造Java虚拟机选项字符串,前面构造的classpath字符串也包含在这个字符串里。虚拟机选项设置了最大内存大小。

    8.4K50发布于 2020-06-01
  • 来自专栏全栈程序员必看

    java prototype是什么,Java设计模式之原型模式(Prototype模式)介绍

    ConcretePrototype): public class SoupSpoon extends AbstractSpoon{ public SoupSpoon(){ setSpoonName(“Soup Spoon ”); } } public class SaladSpoon extends AbstractSpoon{ public SaladSpoon(){ setSpoonName(“Salad Spoon ”); } } 调用Prototype模式很简单: AbstractSpoon spoon = new SoupSpoon(); AbstractSpoon spoon = new SaladSpoon

    51420编辑于 2022-11-16
  • 来自专栏DevOps

    Kettle Carte集群 在windows 上的部署与运行

    本片文章主要是关于使用Kettle的UI界面: Spoon来实现基于集群的对数据库中的数据表数据进行排序的试验。 需要注意的是,如果是在开启carte或是Spoon的时候进行相关的配置文件 进行设定的话呢, 需要退出程序之后再次进入才能是相关的配置文件生效。 因为配置文件决定的是Carte服务的启动运行,而Spoon中需要调用到Carte服务。 所以今后在Spoon中设定配置子服务器的时候,一定要先配置好Carte的配置文件才好。 (Spoon中的子服务器设定和配置文件)的一致性才好: 接下来的其余子节点就不进行一一演示了。

    2.5K10编辑于 2024-03-29
领券