我用的是雪花-卡夫卡连接器。其中与3个Kafka服务器集群是集成的。这有一个分布式连接器,在Zookeeper和Kafka服务上面执行。最重要的是雪花连接器正在运行。然而,与源系统相比,记录的no在目标数据库雪花中的记录较少。我如何才能得到准确的结果,我如何可以检查这些记录卡夫卡以及雪花。请提供具体的机制和步骤/方法的帮助。
发布于 2022-06-24 03:47:56
在雪花边记录的数量只有当有某些记录没有摄入时才会减少。您可以检查“复制历史记录”表,还可以查看台台,如果有任何文件由于无法摄入该文件而进入此阶段。您可以从获取调试日志并在这里上传
请同时提供架构和表名。
Kakfa连接器https://docs.snowflake.com/en/user-guide/kafka-connector-ts.html的故障排除
发布于 2022-07-09 03:03:16
我们面临着类似的问题,这似乎与连接-分发属性或连接-标准属性中缺少的consumer.auto.offset.reset=latest配置有关。
https://stackoverflow.com/questions/72738663
复制相似问题