在StreamSets 2.5版中使用StreamSets 3.8的JDBC数据处理器

Question

我的团队需要使用StreamSet的旧版本，即2.5版。但是在3.8版中有一些重要的处理器，我们希望在旧的环境中包括这些处理器，即JDBC元数据处理器。

所做的工作如下：

1. 使用StreamSets版本2.5.1.1创建示例自定义处理器项目

mvn原型:生成-DarchetypeArtifactId=streamsets-datacollector-stage-lib-tutorial -DinteractiveMode=true

• Modify -DinteractiveMode=true

• Modify基于JDBC元数据类在StreamSets 3.8中的代码，在StreamSets 3.8中有参考库到StreamSets 3.8:

2.1流集-数据选择器-api

2.2流型.数据采集器.jdbc-protolib

1. 包并将定制的jar上传到StreamSets UI的外部库。
2. 将依赖jar上载到StreamSets UI:

。

4.1流集-数据选择器-api-3.8.jar

4.2 streamsets-datacollector-jdbc-protolib-3.8.jar

所有的东西都找到了，除了我上传的时候

streamsets-datacollector-jdbc-protolib-3.8.jar

然后重新启动StreamSets，日志中会出现错误：

java.lang.NoClassDefFoundError: com/streamsets/pipeline/api/base/configurablestage/DPushSource
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:468)
at java.net.URLClassLoader.access$100(URLClassLoader.java:74)
at java.net.URLClassLoader$1.run(URLClassLoader.java:369)
at java.net.URLClassLoader$1.run(URLClassLoader.java:363)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:362)
at com.streamsets.pipeline.BlackListURLClassLoader.findClass(BlackListURLClassLoader.java:77)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:341)
at com.streamsets.pipeline.SDCClassLoader.loadClass(SDCClassLoader.java:323)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.loadStages(ClassLoaderStageLibraryTask.java:325)
at com.streamsets.datacollector.stagelibrary.ClassLoaderStageLibraryTask.initTask(ClassLoaderStageLibraryTask.java:192)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.CompositeTask.initTask(CompositeTask.java:48)
at com.streamsets.datacollector.task.AbstractTask.init(AbstractTask.java:66)
at com.streamsets.datacollector.task.TaskWrapper.init(TaskWrapper.java:44)
at com.streamsets.datacollector.main.Main$1.run(Main.java:101)
at com.streamsets.datacollector.main.Main$1.run(Main.java:98)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at com.streamsets.datacollector.main.Main.doMain(Main.java:98)
at com.streamsets.datacollector.main.DataCollectorMain.main(DataCollectorMain.java:46)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at com.streamsets.pipeline.BootstrapMain.main(BootstrapMain.java:308)

我注意到这个类存在于API-3.8JAR中，API-2.5中的类也存在，但是有不同的包路径，

API-3.8 com/streamsets/pipeline/api/base/configurablestage/DPushSource

API-2.5 com/streamsets/pipeline/configurablestage/DPushSource

有什么提示我错过了让它发挥作用吗？谢谢。

Answer 1

不用说，自从StreamSets数据收集器2.5.0以来，有许多修复和增强，我强烈建议您升级。

尽管如此，由于DPushSource是特定于原点的，而且您关注的是处理器，所以最简单的方法是简单地删除JDBC原点。删除jdbc-protolib/src/main/java/com/streamsets/pipeline/stage/origin/jdbc下的所有内容，然后再试一次。