我正在计划做一个项目,我需要实时监控HDFS文件的创建、删除和添加操作。Hadoop metrics告诉我执行的此类操作的数量,但我需要知道正在对哪些文件执行这些操作。日志似乎对此没有多大帮助。有没有什么框架/技术可以让我轻松监控HDFS文件操作?
发布于 2017-10-23 21:31:16
如果您使用Hadoop 2.6+,本机方法是使用在https://issues.apache.org/jira/browse/HDFS-6634中实现的inotify功能
看看Cloudera的这个很好的演示文稿:https://www.slideshare.net/Hadoop_Summit/keep-me-in-the-loop-inotify-in-hdfs
https://stackoverflow.com/questions/46890466
复制相似问题