我学会了使用Kafka connect通过Confluent SpoolDir连接器来使用CSV文件。对于"Ctrl+A“分隔的文件,有没有办法使用这个连接器(或者是否存在其他这样的连接器)?
我要使用的(源)文件中的记录用换行符分隔,而列用"Ctrl+A“分隔。
发布于 2020-09-04 18:47:55
我可以使用SpoolDir连接器完成此操作,方法是创建一个SpoolDirCsvSourceConnector并在文件源属性中设置csv.separator.char=01 (01是Ctrl-A的ASCII )。
发布于 2020-09-04 16:18:02
您可以使用file pulse connector来摄取文件。您只需使用confluent工具安装它并设置相应的配置即可。
您需要配置DelimitedRowFilter Filter才能准确解析CSV文件。如何使用"Ctrl+A“应该是可能的。
当一切都设置正确后,您可以将CSV文件复制到给定的目录中。在配置的时间间隔内,读取文件并将内容复制到主题中。
https://stackoverflow.com/questions/63735537
复制相似问题