如何在Apache Nifi中拆分大文件

Question

我有一个要求拆分数以百万计的数据(csv格式)到单一的原始数据在apache nifi.Currently我正在使用多个拆分文本处理器来实现这一点。除了多个拆分文本处理器之外，还有其他方法可以做到这一点吗？

Answer 1

您可以使用SplitRecord处理器。您需要先创建记录读取器和记录写入器服务。然后，您可以为每次拆分的记录指定一个值，以在n个位置进行拆分。