OSGi中嵌入式流处理的Flink

Question

我想使用Apache来处理应用程序中的事件。我在独立JVM上的测试运行得相当好，尽管flink是一个非常大的依赖项。

我还试图让它在OSGi中运行，但现在放弃了，因为有许多依赖项。

所以我的问题是:我能做多小的Flink。目前，我尝试使用maven依赖于flink流-java。

不幸的是，这取决于或嵌入(只列出有问题的)：

• flink-阴影-hadoop2 2
• 克里奥
• 动物园管理员
• 奈蒂
• 防波堤
• apache http客户端
• apache http核心
• 斯卡拉
• 阿克卡
• 杰克逊

它还看起来像几个jars一次又一次地嵌入相同的库。就像一些谷歌libs和asm。

那么，有什么方法可以让flink的瘦版不依赖于这么多的libs呢？

Answer 1

Apache的主要用例(即分布式流和批处理)需要许多依赖项。

• 在(过程)故障情况下高可用性的动物园管理员
• 数据网络传输网
• 通过REST和web仪表板进行监视的Jetty
• 用于协调分布式过程的Akka (和传递Scala)

这些库中的大多数与系统紧密耦合，很难关闭或排除。

对不起，本地流处理没有精简版本。