将数据从网站加载到hdfs

Question

我需要上传数据，这是存在于一个网络链接，比如说，一个“博客”到hdfs。

现在，我正在研究实现该功能的选项，可以找到以下链接：

http://blog.cloudera.com/blog/2012/09/analyzing-twitter-data-with-hadoop/

但是，通过阅读flume docs，我不清楚如何设置flume源代码来指向博客内容所在的网站。

根据我对fluem文档的理解，需要有一个webserver，我需要在其中部署一个应用程序，然后生成weblog，然后通过flume将其传输到hdfs。

但是我不想要web服务器日志，实际上我正在寻找博客内容(，即所有的数据+博客上的评论，如果有的话)，这是一个非结构化的数据，然后我正在考虑使用java还原来进一步处理这些数据。

但我不确定我正朝着正确的方向前进。

我也经历过五旬节。但不清楚是否使用PDI可以从网站获取数据并上传到hdfs。

上面的任何信息都会很有帮助。

提前谢谢。

Answer 1

Flume可以提取数据(如Twitter中的数据)，也可以将数据推送到Flume，就像使用FlumeAppender的服务器日志那样。

将博客数据输入HDFS

( a)博客应用程序应该将数据推送到HDFS，就像FlumeAppender的情况一样。必须对blogger应用程序进行更改，在大多数情况下都不是这样。

或

( b) Flume可以使用适当的API (如Twitter中的API)提取博客数据。博主提供了一个API来提取代码，代码可以在Flume源代码中使用。Cloudera 博客有参考文献到Flume代码来从Twitter中提取数据。