Fi-Ware Bigdata配置

Question

我正在阅读一本关于Bigdata安装在Bigdata上的教程。

https://github.com/telefonicaid/fiware-connectors/blob/develop/flume/README.md

我已经完成了“安装天鹅座及其附属物”的步骤。我意识到有一个新的Cygnus版本(0.3而不是本教程中使用的0.2.1 )。我想知道是否有必要采取另一个与依赖关系安装有关的步骤。

我在教程中找到了下一段

OrionCKANSink依赖关系

如果您没有将这些包包含在Cygnus包中，则需要在APACHE_FLUME_HOME/plugins.d/cygnus/libext下安装以下软件包：

json-simple-1.1.jar
OrionHDFSSink dependencies

如果您没有将这些包包含在Cygnus包中，则需要在APACHE_FLUME_HOME/plugins.d/cygnus/libext下安装以下软件包：

hadoop-core-0.20.0.jar (or higher)
hive-exec-0.12.0.jar
hive-jdbc-0.12.0.jar
hive-metastore-0.12.0.jar
hive-service-0.12.0.jar
hive-common-0.12.0.jar
hive-shims-0.12.0.jar

这些软件包不需要安装，因为它们已经包含在Flume包中(它们被列出只是为了提供信息)：

httpclient-4.2.1.jar
httpcore-4.2.2.jar

此外，如前所述，请记住用下面的一个覆盖APACHE_FLUME_HOME/lib/libthrift-0.7.0.jar包：

libthrift-0.9.1.jar

最后，如果您计划使用OrionMySQLSink，请在APACHE_ MySQL _HOME/plugins.d/cygnus/libext中包括最新的MySQL连接器：

mysql-connector-java-5.1.26-bin.jar

有更简单的方法来安装和配置天鹅座吗？与fi软件一起使用Bigdata似乎很困难。

谢谢

Answer 1

首先，有几点重要的意见：

• 天鹅座不是FI-WARE大数据支持器，它是一个连接器，负责将Orion上下文代理管理的实时上下文数据存储在几个用于历史数据集生成的持久存储中。这样的存储库之一可能是大数据支持器，但也可能是MySQL服务器 o a CKAN部署。
• 在撰写此回复时，Cygnus还没有正式发布0.3版本，预计将于2014年6月底发布：https://github.com/telefonicaid/fiware-connectors/issues?milestone=2&state=open

尽管如此，安装天鹅座是相当简单的。基本上，您必须安装阿帕奇水槽，然后构建Cygnus，它将包含Flume的其他类。

Cygnus 0.1建筑就像做以下事情一样简单：

$ cd /path/to/cygnus/folder
$ /path/to/maven/bin/mvn package
$ cp target/cygnus-0.1.jar /path/to/flume/lib

因为这样的版本不支持MySQL，也不支持Hive表的自动创建，所以不需要其他任何东西。

Cygnus 0.2和Cygnus 0.2.1都需要几个第三方库，但它们中的大多数都是通过使用此命令与Cygnus类进行填充的，如自述文件中所述：

$ cd /path/to/cygnus/folder
$ /path/to/maven/bin/mvn clean compile assembly:single
$ cp target/cygnus-0.2.x-jar-with-dependencies.jar /path/to/flume/plugins.d/cygnus/lib

您需要做的唯一额外的事情是升级Flume库，并在MySQL中复制/path/to/flume/plugins.d/cygnus/libext连接器。您在自述文件中找到的库列表仅仅是为了文档目的列出的(如前所述)。

无论如何，我们正致力于RPM的生成，使上述步骤自动化。所以请继续关注！