如何将Apache配置为不使用.COMPLETE重命名已摄取的文件

Question

我们有一个AWS S3桶，在其中我们得到新的CSV文件在10分钟间隔。目标是把这些文件吞进蜂巢。

因此，对我来说，最明显的方法是使用Apache Flume，并使用Spooling Directory源代码，它将继续在登陆目录中查找新文件，并在Hive中摄取它们。

我们有read-only权限的S3桶和登陆目录中的文件将被复制和Flume后缀吞并的文件与.COMPLETED后缀。因此，在我们的情况下，Flume将无法标记已完成的文件，因为权限问题。

现在的问题是：

1. 如果Flume无法向已完成的文件添加后缀，会发生什么情况？它会产生什么错误，还是会默默地失败？(我实际上是在测试这个，但是如果有人已经尝试过了，那么我就不用重新发明轮子了)
2. Flume是否能够在不使用.COMPLETED标记的情况下摄取文件
3. 还有其他更适合这个用例的大数据工具/技术吗？

Answer 1

Flume假脱机目录源需要有重命名或删除已处理/读取日志文件的写权限。

检查'fileSuffix'，'deletePolicy‘设置。

如果不重命名/删除已完成的文件，则无法确定哪些文件已被处理。

您可能想要编写一个“脚本”，从只读S3桶读取到具有写权限的“暂存”文件夹，并将此暂存文件夹提供给flume。