首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏米虫的家

    BigData--MapReduce入门

    MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。

    49240发布于 2020-09-24
  • 来自专栏BanzClub

    BigData集群搭建

    “本文主要介绍大数据相关集群搭建,包括hadoop集群、zookeeper集群、hbase集群、spark集群等”

    65630发布于 2019-12-18
  • 来自专栏米虫的家

    BigData--Hadoop技术

    (7)-chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限

    51010发布于 2020-09-24
  • 来自专栏SAMshare

    BigData |述说Apache Spark

    Spark是一个Apache项目,被标榜为"Lightning-Fast"的大数据处理工具,它的开源社区也是非常活跃,与Hadoop相比,其在内存中运行的速度可以提升100倍。Apache Spark在Java、Scale、Python和R语言中提供了高级API,还支持一组丰富的高级工具,如Spark SQL(结构化数据处理)、MLlib(机器学习)、GraphX(图计算)、SparkR(统计分析)以及Spark Streaming(处理实时数据)。

    98730发布于 2019-08-21
  • 来自专栏小郎码知答

    The BigData,Hadoop组成及生态

    随着科技的发展,我们在网上留下的数据越来越多,大到网上购物、商品交易,小到浏览网页、微信聊天、手机自动记录日常行程等,可以说,在如今的生活里,只要你还在,你就会每时每刻产生数据,但是这些数据能称为大数据么?不,这些还不能称为大数据。那么大数据数据到底是什么呢?

    60150发布于 2021-05-21
  • 来自专栏Greenplum

    《快学BigData》--Codis总结(33)

    Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

    1.6K20编辑于 2023-03-06
  • 来自专栏米虫的家

    BigData-数据仓库学习

    二者对比 对比属性 OLTP OLAP 读特性 每次查询只返回少量记录 对大量记录进行汇总 写特性 随机、低延时写入用户的输入 批量导入 使用场景 用户,Java EE项目 内部分析师,为决策提供支持 数据表征 最新数据状态 随时间变化的历史状态 数据规模 GB TB到PB

    70620发布于 2021-01-12
  • 来自专栏SAMshare

    BigData | Beam的基本操作(PCollection)

    BigData,顾名思义就是大数据专栏了,主要是介绍常见的大数据相关的原理与技术实践,从基础到进阶,逐步带大家入门大数据。 ? 首先,PCollection的全称是 Parallel Collection(并行集合),顾名思义那就是可并行计算的数据集,与先前的RDD很相似(BigData |述说Apache Spark),它是一层数据抽象

    1.7K20发布于 2019-08-09
  • 来自专栏Greenplum

    《快学BigData》--Linux 编程(7)

    if condition then statements [elif condition then statements. ..] [else statements ] fi

    1.8K20编辑于 2023-03-06
  • 来自专栏Greenplum

    《快学BigData》--Tomcat 总结(19)

    Tomcat 是常用的web开发服务器之一,在并发时有一定的局限性,一般的大型的网站采用NGINX与tomcat结合使用从而减少单个机器压力的问题。

    48720编辑于 2023-03-06
  • 来自专栏米虫的家

    BigData--Hadoop数据压缩

    要想对正在被写入一个输出流的数据进行压缩,我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream,将其以压缩格式写入底层的流。

    74020发布于 2020-09-24
  • 来自专栏米虫的家

    BigData--Apache Flume框架

    Event 是 Flume NG 数据传输的基本单元。类似于 JMS 和消息系统中的消息。一个 Event 由标题和正文组成:前者是键/值映射,后者是任意字节数组。

    84720发布于 2020-09-24
  • 来自专栏Greenplum

    《快学BigData》--Hadoop总结(A)(34)

    Hadoop 是一个性能、可靠性、可扩展性、可管理性的软件,为以后的分布式打下了基础,接下来咱们好好的深刨一下这个有意思的框架。

    41420编辑于 2023-03-06
  • 来自专栏云技术分享

    BIGDATA】CSV文件导入到ClickHouse

    最近遇到给ClickHouse灌注测试数据的场景。方法多种多样,此处提供一种思路。

    3.1K20编辑于 2022-05-12
  • 来自专栏云技术分享

    BIGDATA】Grafana告警之webhook的坑

    近日搭建一套基于ELK&Grafana的监控告警平台,目的是将生产端某性能日志导入ES中,通过Grafana进行可视化监测,同时设置告警。

    4.2K20发布于 2021-01-28
  • 来自专栏Greenplum

    《快学BigData》--Redis 总结(F)(31)

    链接:http://pan.baidu.com/s/1gf9dknp 密码:hfyd 如果无法下载请联系作者。

    44640编辑于 2023-03-06
  • 来自专栏米虫的家

    BigData-Apache HBase数据库

    内存和磁盘同时读取,但是将两个数据进行对比,返回时间戳大的数据,所以说HBase读取比写入要慢得多

    1.4K20发布于 2020-09-24
  • 来自专栏Greenplum

    《快学BigData》--Hadoop总结(F)(39)

    Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210

    51920发布于 2019-08-05
  • 来自专栏米虫的家

    BigData--大数据技术之SparkStreaming

    所有基于窗口的操作都需要两个参数,分别为窗口时长以及滑动步长,两者都必须是 StreamContext 的批次间隔的整数倍。

    1.2K20发布于 2020-09-24
  • 来自专栏Greenplum

    《快学BigData》--Redis 总结(B)(27)

    在以上的图上可以看出Redis是使用redisObject的对象来表示所有的key和value的,数据类型包括:String,Hash,List,Set,Sort Set编码的方式有Row,int,ht,zipmap,linkedlist,ziplist,intset方式,只有打开了 Redis 的虚拟内存功能,此字段才会真正的分配内存,该功能默认是关闭状态的。

    39720编辑于 2023-03-06
领券