是否有开放源码Kafka Cassandra连接器配置示例？

Question

我们使用PerimeterX Cassandra插件将从Logstash到Apache的事件(日志)输入。我们已经达到了插件的最大吞吐量为8K，因为它只打开到Cassandra的2个连接，而Cassandra的吞吐量要高得多(用于消耗数据)，并且我们预计实际系统的吞吐量为30K或更高。

这里的吞吐量是使用传入事件的能力，即x单位/秒。

因此，我们计划在中间引入Kafa，它的吞吐量为45K，具有Logstash输出。

我们正在寻找来自这堆栈溢出帖子的帮助。我们可以像文档中提到的那样配置连接器JAR。但是没有适当的指南，或者当前的文档非常混乱，并且与配置需求循环。当卡夫卡运行目标主题时，我们没有看到这个插件被调用。

一些关于什么是正确配置的帮助，或者关于Cassandra键空间的一些文档信息将是有帮助的。

Answer 1

在放置文档中提到的JAR之后，我们需要运行Kafka，它将显示配置好的所有连接器。要打开Kafka连接，请运行以下命令(Kafka连接在分布式模式下)

bin/connect-distributed.sh配置/connect-Distributed.properties

Kafka在http://localhost:8083上提供了REST服务，使用这个REST，您可以配置连接器。

要注册连接器，请使用以下API

POST /connectors -创建一个新的连接器；请求体应该是一个包含字符串名称字段和带有连接器配置参数的对象配置字段的JSON对象。

注册连接器的JSON示例是kafka-Connec-Cassandra-接收器-1.4.0.tar.gz文件。

正式文件提供一个包含所有端点的列表。

更多信息可用这里