目前两大开源大数据平台CDH和HDP已闭源,国内也涌现出了一些开源的大数据平台,比如:apache bigtop 和 DataSophon。 一、apache bigtop 项目地址:https://bigtop.apache.org Apache Bigtop 是一个开源项目,目的是提供一套完整的开源软件栈,用于构建、测试和部署大数据平台 同时,Apache Bigtop 还提供了一些示例和文档,帮助用户更好地理解和使用这些组件。 目前apache bigtop 已完成在 x86 和 arm架构主机操作系统下进行适配和验证,已经进入生产环境。
Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop Apache Bigtop: 是一个对Hadoop及其周边生态进行打包,分发和测试的工具。 Cassandra 跟上创新的脚步,不断坚持:(TODO列表,不定期更新) Avro, Ambari, Chukwa, Hama, Flume, Giraph, Oozie, Crunch, Whirr, Bigtop
所以,目前只保留BIGTOP组件集成。 BIGTOP组件集成的安装部署操作如下: cd /home/ambariRepo wget -r -np -nH --cut-dirs=4 --reject 'index.html*' https:// www.apache-ambari.com/dist/bigtop/3.3.0/rocky8/ 根据Ambari向导安装组件即可,效果演示如下: BIGTOP适配的组件有限,目前支持列表如下(对于不支持的组件
制作网络资源库(node03是主节点) 安装impala 修改hive配置文件 修改hadoop配置文件 复制hadoop、hive的配置文件到impala配置文件 修改impala的配置文件 修改bigtop hive-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar 修改bigtop 配置(三个节点都要执行) vim /etc/default/bigtop-utils ?
-1.1.0-cdh5.14.0/lib/mysql-connector-java-5.1.38.jar /usr/share/java/mysql-connector-java.jar 7.3.修改bigtop 配置 修改bigtop的java_home路径(3台机器) vim /etc/default/bigtop-utils export JAVA_HOME=/export/servers/jdk1.8.0 _65 scp -r /etc/default/bigtop-utils node02:$PWD 8.启动、关闭impala服务 主节点node-3启动以下三个服务进程 service impala-state-store
Bigtop: Bigtop is a project for the development of packaging and tests of the Apache Hadoop ecosystem The primary goal of Bigtop is to build a community around the packaging and interoperability testing
JVM使用下面的Bigtop实用程序 /usr/bin/bigtop-detect-javahome自动检测到 JAVA_HOME。 设置JAVA_HOME为固定值: cat /etc/default/bigtop-utils export JAVA_HOME=/usr/java/default 笔记 Cloudera强烈建议将此值设置为与
root@whx lib]# ls avro hadoop hadoop-yarn impala oozie spark bigtop-tomcat hadoop-0.20-mapreduce hbase impala-shell parquet sqoop bigtop-utils hadoop-hdfs
servers/hive/lib/mysql-connector-java-5.1.32.jar /usr/share/java/mysql-connector-java.jar 7.3.修改bigtop 配置 修改bigtop的java_home路径(3台机器) vim /etc/default/bigtop-utils export JAVA_HOME=/export/servers/jdk1.8.0
batch_cmd.sh node.list "rm -rf /etc/alternatives/avro-tools /etc/alternatives/beeline /etc/alternatives/bigtop-detect-javahome bin/目录下各项服务的可执行程序命令脚本 sh batch_cmd.sh node.list "rm -rf /usr/bin/avro-tools /usr/bin/beeline /usr/bin/bigtop-detect-javahome node.list "rm -rf /var/lib/alternatives/avro-tools /var/lib/alternatives/beeline /var/lib/alternatives/bigtop-detect-javahome
For ZooKeeper packages specific to your OS (such as rpm and deb), consider using Apache Bigtop: http ://bigtop.apache.org/ Command to build tarball package: ant tar zookeeper-<version>.tar.gz tarball
Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop Apache Bigtop: 是一个对Hadoop及其周边生态进行打包,分发和测试的工具。
BigTop 一个给Hadoop打包和测试的软件。其本来是cloudera公司自己给自己写的一个方便OP部署和搭建环境的工具, 不过因为写得不错, 已经成为了Apache顶级项目。
Bigtop: 是一个对Hadoop及其周边生态进行打包,分发和测试的工具。
设定的位置和大小用如下四个参数表示: bigLeft,bigTop,bigRight,bigBottom 这四个值在ViewGroup的以左上角为原点,向右x,向下y的坐标系中构成了一个矩形。 如下: Rect bigRect = new Rect( bigLeft, bigTop, bigRight, bigBottom); 进一步假设这个bigRect的宽高大于子View要求的宽高( 现在ViewGroup准备把bigRect区域全部分给子View,但是ViewGroup显然不能直接这样layout 子View: child.layout(bigLeft,bigTop,bigRight
ambari-server stop ambari-agent stop 3,卸载安装的软件 yum remove hadoop_2* hdp-select* ranger_2* zookeeper* bigtop ganglia-web.noarch yum remove -y perl-Digest-HMAC.noarch yum remove -y perl-Digest-SHA1.x86_64 yum remove -y bigtop-jsvc.x86
8 Apache Bigtop Bigtop是一个用于开发Apache Hadoop生态系统的打包和测试的项目。Bigtop的主要目标是围绕Hadoop相关项目的打包和互操作性测试构建社区。
在之后部署 hadoop 集群的时候,我们会在 ambari 界面上设置大数据集群的 yum 离线安装源,ambari 会在各 ambari-agent 节点上自动生成 ambari-bigtop-1. 所以我们不需要额外配置 hadoop 安装包的 repo 文件,只需在 Ambari 页面注册 hadoop 集群时,填好 hadoop(bigtop) 的 base url(示例:http://node1 .ambari.com/bigtop) 即可。
usr/lib/hive /usr/lib/hbase /usr/lib/hue /usr/lib/oozie /usr/lib/sqoop* /usr/lib/zookeeper /usr/lib/bigtop
系统部署 Apache Ambari:Hadoop管理的运作框架; Apache Bigtop:Hadoop生态系统的部署框架; Apache Helix:集群管理框架; Apache Mesos Apache Whirr:运行云服务的库集; Apache YARN:集群管理器; Brooklyn:用于简化应用程序部署和管理的库; Buildoop:基于Groovy语言,和Apache BigTop