Kafka connect jdbc源返回0条记录

Question

尽管news表有超过6500万条记录，但我在Kafka主题中看不到任何记录。连接器配置：

curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d '{
        "name": "news_fetcher",
        "config": {
                "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
                "connection.url": "jdbc:mysql://MY-SERVER/DATABASE",
                "connection.user": "user", 
                "connection.password": "HIDDEN",
                "mode":"bulk",
                "table.whitelist": "news",
                "topic.prefix": "news_"
                }
        }'

此消息在工作节点中保持打印状态：

[2021-06-06 11:20:29,355] INFO Begin using SQL query: SELECT * FROM `DATABASE`.`news` (io.confluent.connect.jdbc.source.TableQuerier:164)
[2021-06-06 11:20:31,519] INFO WorkerSourceTask{id=news_fetcher-0} Committing offsets (org.apache.kafka.connect.runtime.WorkerSourceTask:424)
[2021-06-06 11:20:31,521] INFO WorkerSourceTask{id=news_fetcher-0} flushing 0 outstanding messages for offset commit (org.apache.kafka.connect.runtime.WorkerSourceTask:441)

在切换到mysql之前，我对sqlite进行了测试，一切工作正常。你知道怎么解决这个问题吗？

Answer 1

logs说它正在运行查询，并且您没有收到关于mysql驱动程序丢失或某些错误版本的错误，因此我建议首先修改log4j属性以获取更多的调试日志。

其次，尝试限制每个批量查询的行数。特别是因为批量模式将不断地将数据上传到主题。

否则，请使用不同的模式值，或者如果要为表创建快照并获得正确的CDC Kafka记录，请切换到Debezium