Apache与MongoDB4.0的官方MongoDB源连接器

Question

我需要捕获MongoDB ChangeStream (插入/更新等)事件并采取一些操作(保存到OracleDB)。我想过这个看起来不错的设计：

"MongoDB-ChangeStream" --> "MongoDB Source Connector for Apache Kafka" --> "Kafka Broker-Topic" --> "Java Service" --> OracleDB

我这里的问题是，我正在使用MongoDB4.0，“Apache的MongoDB源连接器”是在MongoDB4.2中引入的。我还能在MongoDB4.0中使用“Apache的MongoDB源连接器”吗？

MongoDB Apache的源连接器-官方页面：https://www.confluent.io/hub/mongodb/kafka-connect-mongodb

“Apache的MongoDB源连接器”的官方页面没有提到MongoDB版本的任何先决条件。

我的第二个问题，这个问题( Apache的MongoDB源代码连接器)能在MongoDB？上完成吗？

感谢你的帮助。

Answer 1

MongoDB(4.0) ChangeStreams与官方MongoDB连接器(mongodb connect-MongoDB1.1.0)的工作解决方案

1. 下载官方MongoDB Kafka连接器：i. open https://www.confluent.io/hub/ ii. search "mongodb" iii. select from dropdown "MongoDB Connector for Apache Kafka" iv. Click on Download in Download installtion (note I am not using Confluent) v. unzip the downloaded file (on windows) eg. F:\software\mongodb\mongodb-kafka-connect-mongodb-1.1.0 vi. inside "etc" folder open file "MongoSourceConnector.properties" vii. Make only one change with respect to MongoDB url: connection.uri=mongodb://localhost:27017,localhost:27018 viii. One change in Kafka: In F:\software\kafka_2.12-2.4.1\config\connect-standalone.properties: plugin.path=F:\\software\\mongodb\\mongodb-kafka-connect-mongodb-1.1.0
2. 启动动物园管理员：bin/zookeeper-server-start.sh config/zookeeper.properties
3. 启动卡夫卡：.\bin\windows\kafka-server-start.bat .\config\server.properties
4. 启动卡夫卡-连接：bin\windows\connect-standalone.bat config\connect-standalone.properties F:\software\mongodb\mongodb-kafka-connect-mongodb-1.1.0\etc\MongoSourceConnector.properties
5. 向MongoDB集合添加新文档，您应该创建了一个新主题，dbName.collectionName和ChangeStream事件应该出现在这个主题上。

Answer 2

答案已经在文档里了

卡夫卡源连接器需要MongoDB 3.6或更高版本作为您的数据源，如果您使用的只是一个集合的变更流。如果需要查看数据库或部署，则需要MongoDB 4.0或更高版本。

关于你的第二个问题，是的，在Windows上运行Kafka是可能的。