首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏pydata

    RHadoop环境搭建

    Rhadoop环境搭建 在集成R和hadoop之前需要将hadoop以及R运行环境安装好,hadoop的安装可参见hadoop2.4.1安装笔记. 1.下载相关安装包: $wget https://raw.githubusercontent.com

    41520发布于 2018-08-02
  • 来自专栏奇点大数据

    RHadoop应用(1)

    使用RHadoop结合hdfs存储R语言输入数据 1 R语言是著名的开源统计分析和绘图语言,但限于功能,只能进行单机存储数据和计算,通过hadoop的功能可以存储更多的数据和并行计算。 Rhadoop包括rhdfs、rmr2、rhbase等R语言插件,rhdfs插件可以加载hdfs文件系统,rmr2可以使用mapreduce做并行计算。 /tools/lib/hadoop-streaming-2.6.0.jar 4 之后下载最新版本的rhdfs插件包到本地 https://github.com/RevolutionAnalytics/RHadoop

    81490发布于 2018-04-11
  • 来自专栏大数据智能实战

    RHadoop 例子WordCount测试

    安装完RHadoop,当然要进行一下例子测试,看了网上相关的关于wordcount的例子,还是有不少,有些还比较模糊,于是就把自己下载的代码与编译结果记录一下: library(rmr2) library

    26410编辑于 2022-05-07
  • 来自专栏大数据智能实战

    RHadoop的安装与试验

    # RHadoop export HADOOP_CMD=/usr/hadoop/bin/hadoop export HADOOP_STREAMING=/usr/hadoop/share/hadoop /tools/lib/hadoop-streaming-2.6. 0.jar 并从https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

    31820编辑于 2022-05-07
  • 来自专栏奇点大数据

    RHadoop 应用(2) : rmr2

    上篇中我们介绍了rhdfs插件,R语言通过它可以加载和操作hdfs,这里为大家继续介绍Rhadoop的另一个插件rmr2,它能够在计算过程调用MapReduce,来看下如何使用: 1 安装 下载安装文件

    993100发布于 2018-04-11
  • 来自专栏机器学习与统计学

    【R的极客理想系列文章】RHadoop培训 之 R基础课

    R是一种语法非常简单的表达式语言(expression language),大小写敏感。 可以在R 环境下使用的命名字符集依赖于R 所运行的系统和国家(系统的locale 设置),允许数字,字母,“.”,“_”

    3.5K20发布于 2019-04-10
  • 来自专栏CDA数据分析师

    如何让Hadoop结合R语言做统计和大数据分析?

    由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起,很好发挥了R语言特长。 广大R语言爱好者借助强大工具RHadoop,可以在大数据领域大展拳脚,这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。 以下为原文: 前言 写过几篇关于RHadoop的技术性文章,都是从统计的角度,介绍如何让R语言利用Hadoop处理大数据。 RHadoop RHadoop是一款Hadoop和R语言的结合的产品,由RevolutionAnalytics公司开发,并将代码开源到github社区上面。 RHadoop包含三个R包 (rmr,rhdfs,rhbase),分别是对应Hadoop系统架构中的,MapReduce, HDFS, HBase 三个部分。 2).

    1.4K50发布于 2018-02-08
  • 来自专栏PPV课数据科学社区

    如何让Hadoop结合R语言做统计和大数据分析?

    由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起,很好发挥了R语言特长。 广大R语言爱好者借助强大工具RHadoop,可以在大数据领域大展拳脚,这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。 以下为原文: 前言 写过几篇关于RHadoop的技术性文章,都是从统计的角度,介绍如何让R语言利用Hadoop处理大数据。 RHadoop RHadoop是一款Hadoop和R语言的结合的产品,由RevolutionAnalytics公司开发,并将代码开源到github社区上面。 RHadoop包含三个R包 (rmr,rhdfs,rhbase),分别是对应Hadoop系统架构中的,MapReduce, HDFS, HBase 三个部分。 2).

    1.4K50发布于 2018-04-23
  • 来自专栏pangguoming

    Hadoop家族学习路线图v

    Hadoop编程调用HDFS 海量Web日志分析 用Hadoop提取KPI统计指标 用Hadoop构建电影推荐系统 创建Hadoop母体虚拟机 克隆虚拟机增加Hadoop节点 R语言为Hadoop注入统计血脉 RHadoop Zookeeper Zookeeper学习路线图 ZooKeeper伪分步式集群安装及使用 ZooKeeper实现分布式队列Queue ZooKeeper实现分布式FIFO队列 HBase HBase学习路线图 RHadoop 实践系列之四  rhbase安装与使用 Mahout Mahout学习路线图 用R解析Mahout用户推荐协同过滤算法(UserCF) RHadoop实践系列之三 R实现MapReduce的协同过滤算法

    2K30发布于 2018-03-07
  • 来自专栏科技记者

    第12章 大数据分析(R和Hadoop) 笔记

    RHadoop是R支持Hadoop大数据分析和处理提供的算法包合集。传统统计学主要关注样本数据(小数据集)的分析,可能忽略发生概率极小单导致不确定性的结果。 RHadoop主要包含五个算法包: rmr:R-MapReduce交互接口,我们只需关注map和reduce函数。 rhdfs:R-HDFS交互接口,访问HDFS的数据。 准备RHadoop环境 使用这个虚拟机啦,这个公司好像已经停止提供相应镜像了,找到一个书中提到的mapr的。 rstudio-server-rhel-2021.09.1-372-x86_64.rpm sudo yum install rstudio-server-rhel-2021.09.1-372-x86_64.rpm 12.6 RHadoop 12.11 RHadoop中实施机器学习 library(MASS) data(cats) X <- matrix(cats$Bwt) Y <- matrix(cats$Hwt) model <- lm

    80140编辑于 2022-03-04
  • 来自专栏python3

    python调用mrjob实现hadoo

    You can use -rinline (the default), -rlocal, -rhadoop, or -remr. To run it on your Hadoop cluster, use -rhadoop.

    1.1K30发布于 2020-01-07
  • 来自专栏北京马哥教育

    Hadoop家族学习路线图

    Hadoop编程调用HDFS 海量Web日志分析 用Hadoop提取KPI统计指标 用Hadoop构建电影推荐系统 创建Hadoop母体虚拟机 克隆虚拟机增加Hadoop节点 R语言为Hadoop注入统计血脉 RHadoop ZooKeeper实现分布式队列Queue ZooKeeper实现分布式FIFO队列 基于Zookeeper的分步式队列系统集成案例 HBase HBase学习路线图 在Ubuntu中安装HBase RHadoop 实践系列之四 rhbase安装与使用 Mahout Mahout学习路线图 用R解析Mahout用户推荐协同过滤算法(UserCF) RHadoop实践系列之三 R实现MapReduce的协同过滤算法

    1.6K80发布于 2018-05-03
  • 来自专栏个人分享

    用户画像的技术选型与架构实现

    2、计算的框架选用Spark以及RHadoop,这里Spark的主要用途有两种,一种是对于数据处理与上层应用所指定的规则的数据筛选过滤,(通过Scala编写spark代码提交至sparksubmit)。 RHadoop的应用主要在于对于标签数据的打分,比如利用协同过滤算法等各种推荐算法对数据进行各方面评分。

    1.9K20发布于 2018-09-06
  • 来自专栏大数据

    Hadoop/R 集成 I:流处理

    有很多方法可以将R语言与Hadoop结合使用,其中包括: Hadoop流媒体,这篇文章的主角 RHadoop,R/Hadoop的集成(请参阅RHadoop Wiki),这是将在未来发布的文章的主角。 由于我在本博客中试图涵盖的主题十分广泛,因此我将限制自己使用流式传输和RHadoop

    87530发布于 2018-05-28
  • 来自专栏PPV课数据科学社区

    【学习】Hadoop大数据学习线路图

    Hadoop编程调用HDFS 海量Web日志分析 用Hadoop提取KPI统计指标 用Hadoop构建电影推荐系统 创建Hadoop母体虚拟机 克隆虚拟机增加Hadoop节点 R语言为Hadoop注入统计血脉 RHadoop Zookeeper Zookeeper学习路线图 ZooKeeper伪分步式集群安装及使用 ZooKeeper实现分布式队列Queue ZooKeeper实现分布式FIFO队列 HBase HBase学习路线图 RHadoop 实践系列之四 rhbase安装与使用 Mahout Mahout学习路线图 用R解析Mahout用户推荐协同过滤算法(UserCF) RHadoop实践系列之三 R实现MapReduce的协同过滤算法

    1.6K60发布于 2018-04-18
  • 来自专栏大数据技术博文

    Hadoop分布式部署

    JAVA_HOME注释,并设置JAVA_HOME对应的JDK路径 JAVA_HOME=/opt/hadoop/jdk1.7.0_79 四:将Hadoop 配置完成之后的文件分发到其它节点中 命令 :scp –rhadoop -2.6.5 hadoop02:/opt/hadoop scp –rhadoop-2.6.5 hadoop03:/opt/hadoop 五:启动服务 1 :格式化namenode (参考Hadoop技术点

    67930编辑于 2022-04-18
  • 大数据挖掘企业服务平台典型合作案例都有哪些

    运用大数据挖掘算法完善数据分析挖掘模块,实现对 Mahout、Rhadoop 等分析挖掘工具中的算法封装,通过企业数据挖掘应用流程化的模式,使得数据应用开发速度更快,成本更低, 让企业大数据挖掘应用更简单

    69010编辑于 2024-06-26
  • 来自专栏TechBlog

    R语言之处理大型数据集的策略

    R 中有几个包可以用于处理 TB 级数据集,例如 RHIPE、RHadoop 和 RevoScaleR 等。

    1K20编辑于 2023-10-13
  • 来自专栏Datawhale专栏

    数据科学家成长指南(中)

    Rhadoop, RHipe 将R和hadoop结合起来2种架构。 RHadoop包含三个包(rmr,rhdfs,rhbase),分别对应MapReduce,HDFS,HBase三个部分。 rmr RHadoop的一个包,和hadoop的MapReduce相关。

    1.3K30发布于 2019-09-09
  • 来自专栏全栈程序员必看

    Hadoop的生态系统介绍

    2.16 RHadoop(R和Hadoop接口工具) RHadoop是由Revolution Analytics发起的一个开源项目,它可以将统计语言R与Hadoop结合起来。

    1.6K40编辑于 2022-08-31
领券