在Kafka连接分布式模式下为多个主题配置连接器

Question

我们有制片人将以下内容发送给卡夫卡：

• topic=syslog，~25,000次/ day
• topic=zeek.xxx.log，~5,000次/天~10,000次事件(总计)。在最后一个例子中，有20个不同的zeek主题，例如zeek.conn.log和zeek.http.log

。

kafka-connect-elasticsearch实例作为消费者将数据从Kafka发送到Elasticsearch。kafka-connect-elasticsearch的hello-world Sink配置可能如下所示：

# elasticsearch.properties
name=elasticsearch-sink
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=24
topics=syslog,nginx,zeek.broker.log,zeek.capture_loss.log,zeek.conn.log,zeek.dhcp.log,zeek.dns.log,zeek.files.log,zeek.http.log,zeek.known_services.log,zeek.loaded_scripts.log,zeek.notice.log,zeek.ntp.log,zeek.packet_filtering.log,zeek.software.log,zeek.ssh.log,zeek.ssl.log,zeek.status.log,zeek.stderr.log,zeek.stdout.log,zeek.weird.log,zeek.x509.log
topic.creation.enable=true
key.ignore=true
schema.ignore=true
...

并且可以用bin/connect-standalone.sh调用。我意识到，在单个进程中执行工作时运行或尝试运行tasks.max=24并不理想。我知道使用分布式模式将是一个更好的选择，但还不清楚性能-提交连接器到分布式模式的最佳方式。即，

• In分布式模式，我是否仍然想通过一个API调用提交一个 elasticsearch.properties ？还是最好拆分多个.properties 倾诉+连接器(例如，一个用于syslog，一个用于nginx，一个用于zeek。**)并提交它们separately?
• I --理解tasks等于主题x分区的数量，但是是什么决定了工作人员的数量?在文档中的任何地方都有
• ，在这种情况下，对于不同主题的吞吐量存在明显的不平衡？

Answer 1

在分布式模式下，我是否仍然想通过一个elasticsearch.properties调用提交一个elasticsearch.properties？

这是一个JSON文件，但是是的。

是什么决定了工人的数量？

你说了算。JVM的使用是您可以监视和缩放的因素之一。

没有我所知道的任何文档