尝试从Confluent在Zookeeper上运行Apache/NIFI

Question

我正尝试在confluent-zookeeper上运行Apache/NIFI。NIFI版本1.11.3通过解压tar容器安装在/opt/nifi中，confluent是社区版，版本5.3。使用confluent repo https://packages.confluent.io/rpm/5.3安装。

所以NIFI使用集成的zookeper工作，如果我从Apache/zookeeper站点单独下载zookeeper，NIFI就可以工作。Confluent Kafka还可以与单独的zookeeper和NIFI集成一起工作。但是我不能使用confluent的zookeeper来工作。

在日志中，我只看到一个警告，即：

WARN Received packet at server of unknown type 15 (org.apache.zookeeper.server.ZooKeeperServer)

我对所有三个zookeepers的配置文件都是相同的：

tickTime=2000
dataDir=/var/lib/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=myhost1:2888:3888
server.2=myhost2:2888:3888
server.3=myhost3:2888:3888
autopurge.snapRetainCount=3
autopurge.purgeInterval=24

我不认为Confluent真的改变了他们的动物园管理员。此错误的原因可能是什么？

Answer 1

正如@BryanBende所说：

NiFi 1.11.x (在我们的特殊情况下是1.11.4)需要ZK 3.5，请确认在Confluent platform中使用的ZK版本，如果是3.4，那么它将无法工作- Bryan Bende Mar 27在14:35

你将在zookeeper日志中看到的典型错误是：

.zookeeper.server.ZooKeeperServer) Oct 08 17:22:23 some-pro-zk03 zookeeper- /10.159.164.93:53794 -start14136: 2020-10-08 17:22:23,275信息客户端socket关闭连接(未为客户端建立会话) (org.apache.zookeeper.server.NIOServerCnxn)

您将在客户端日志中看到的典型错误是：

框架2020-10-07 16:00:09,112错误策展人-

-0框架后台操作重试已给出uporg.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLossat o.a.c.f.imps.CuratorFrameworkImpljava:943)在org.apache.curator.framework.imps.CuratorFrameworkImpl.access$300(CuratorFrameworkImpl.java:66)at org.apache.curator.framework.imps.CuratorFrameworkImpl$4.call(CuratorFrameworkImpl.java:346)at java.util.concurrent.FutureTask.run(FutureTask.java:266)at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)at java.lang.Thread.run(Thread.java:748)

这需要一整天的工作(阅读日志！！)来找出错误。所以，检查一下你的zookeeper版本：

适用于Zookeeper 3.5+

echo srvr | nc localhost 2181

适用于Zookeeper 3.5<

echo stats | nc localost 2181

您也可以使用telnet

适用于Zookeeper 3.5+

telnet localhost 2181
srvr

适用于Zookeeper 3.5<

telnet localhost 2181
stats