首页
学习
活动
专区
圈层
工具
发布

存算分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?

相较 HDFS,数据存储在对象存储上可以节约存储成本,但与此同时,对象存储对海量文件的写性能也会差很多。...近期,在支持一位 EMR 客户时,遇到典型的存储计算分离应用场景。客户使用了 EMR 中的 Spark 组件作为计算引擎,数据存储在对象存储上。...本篇文章将介绍在存储计算分离架构中,腾讯云 EMR Spark 计算引擎如何提升在海量文件场景下的写性能,希望与大家一同交流。文章作者:钟德艮,腾讯后台开发工程师。...与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。...三、优化结果 可以看到社区版本大数据计算引擎在处理对象存储的访问上还在一定的性能问题,主要原因是大多数数据平台都是基于 HDFS 存储,而 HDFS 对文件的 rename 只需要在 namenode

2K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    存算分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?

    相较 HDFS,数据存储在对象存储上可以节约存储成本,但与此同时,对象存储对海量文件的写性能也会差很多。...近期,在支持一位 EMR 客户时,遇到典型的存储计算分离应用场景。客户使用了 EMR 中的 Spark 组件作为计算引擎,数据存储在对象存储上。...本篇文章将介绍在存储计算分离架构中,腾讯云 EMR Spark 计算引擎如何提升在海量文件场景下的写性能,希望与大家一同交流。文章作者:钟德艮,腾讯后台开发工程师。...与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。...三、优化结果 可以看到社区版本大数据计算引擎在处理对象存储的访问上还在一定的性能问题,主要原因是大多数数据平台都是基于 HDFS 存储,而 HDFS 对文件的 rename 只需要在 namenode

    2K41

    存算分离下写性能提升10倍以上,EMR Spark引擎是如何做到的?

    相较 HDFS,数据存储在对象存储上可以节约存储成本,但与此同时,对象存储对海量文件的写性能也会差很多。...近期,在支持一位 EMR 客户时,遇到典型的存储计算分离应用场景。客户使用了 EMR 中的 Spark 组件作为计算引擎,数据存储在对象存储上。...本篇文章将介绍在存储计算分离架构中,腾讯云 EMR Spark 计算引擎如何提升在海量文件场景下的写性能,希望与大家一同交流。文章作者:钟德艮,腾讯后台开发工程师。...与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。...三、优化结果 可以看到社区版本大数据计算引擎在处理对象存储的访问上还在一定的性能问题,主要原因是大多数数据平台都是基于 HDFS 存储,而 HDFS 对文件的 rename 只需要在 namenode

    1.2K108

    腾讯云 EMR vs 阿里云 EMR :开源大数据平台选型参考

    、 Spark 集群常驻模式、 Ray 集群、缓存集群等功能,并在 AI 中心能力、纳管文件目录、任务优先级设置等方面进行了增强。...对比维度 腾讯云 EMR 阿里云 EMR 组件数量 超过 30 种开源大数据组件 涵盖数据集成、数据存储、资源管理、计算引擎、数据开发、数据服务等多个领域 必选组件 HDFS 、 YARN 、 ZooKeeper...等能力 监控告警 支持节点和服务运行指标、事件监控、日志搜索、主动巡检;支持默认指标及事件告警策略、自定义告警 支持多维度指标监控、集群日志与分析、监控与报警 应用分析 支持 HDFS 存储文件分析、...集成,使用 EMR 作为作业计算和数据存储引擎 对象存储集成 支持与对象存储 COS 、云 HDFS 集成 支持与对象存储 OSS 、 OSS-HDFS 集成 工作流调度 未明确列出 支持 EMR Workflow...BI 集成,构建交互式报表 可视化工具集成 未明确列出 支持与 DataV 集成,展示复杂数据的仪表板 十一、产品优势总结 基于以上对比,腾讯云 EMR 和阿里云 EMR 各有优势。

    64010

    Spark 3.0新特性在FreeWheel核心业务数据团队的应用与实战

    比如 EMR 有一个大版本的升级,从 5.26 升级到最新版 6.2.0,底层的 Hadoop 也从 2.x 升级到 3.2.1,Scala 只能支持 2.12 等等。...升级到 Spark 3.0 后,读源数据 Parquet 文件会出现一些莫名的问题,有些文件可以正常解析,而有些文件则会抛出失败的异常错误,这个错误是整个升级的 Blocker,非常令人苦恼。...数据偶尔会失败 在最新版的 EMR 集群上跑时,经常会出现写 HDFS 数据阶段失败的情况。...dfs.datanode.max.transfer.threads = 16384 不确定 EMR 集群在升级的过程中是否修改过 HDFS 连接数的默认参数。...Scala 升级到 2.12 由于 Spark 3.0 不再支持 Scala 2.11 版本,需要将所有的代码升级到 2.12 的版本。更多 Scala 2.12 的新的发布内容可以参考文档。

    1.5K10

    GooseFS助力大数据业务数倍提升计算能力

    GooseFS 提供了感知元数据 Table 的能力,能够加速大数据场景下列出文件列表( List ),重命名文件( Rename )等元数据操作的性能。...我们使用了1台EMR标准型S2机器(CPU:8核,内存:32GB,高效云盘:100G x 1)作为GooseFS集群的Master节点,3台EMR标准型S5机器(CPU:16核,内存:64GB,高效云盘...这个主要是因为GooseFS采用文件粒度锁,可以并发创建文件。而HDFS是全局锁,相当于顺序做创建操作。因此写请求QPS增加的时候,GooseFS性能提升更明显。 2....(2)单层级数据:单个目录下10w文件。 相关测试结果表现如下: 可以看到,GooseFS加速数据I/O性能。提供了感知元数据的能力,能够加速大数据场景下列出文件列表List等元数据操作的性能。...基于上面几个测试,GooseFS采用文件粒度锁及list开启了并发优化,在SliveTest这种混合读写(多读少写)的场景中,GooseFS处理事物的能力明显优于HDFS。

    69240

    GooseFS助力大数据业务数倍提升计算能力

    GooseFS 提供了感知元数据 Table 的能力,能够加速大数据场景下列出文件列表( List ),重命名文件( Rename )等元数据操作的性能。...我们使用了1台EMR标准型S2机器(CPU:8核,内存:32GB,高效云盘:100G x 1)作为GooseFS集群的Master节点,3台EMR标准型S5机器(CPU:16核,内存:64GB,高效云盘...这个主要是因为GooseFS采用文件粒度锁,可以并发创建文件。而HDFS是全局锁,相当于顺序做创建操作。因此写请求QPS增加的时候,GooseFS性能提升更明显。 2....(2)单层级数据:单个目录下10w文件。 相关测试结果表现如下: 可以看到,GooseFS加速数据I/O性能。提供了感知元数据的能力,能够加速大数据场景下列出文件列表List等元数据操作的性能。...基于上面几个测试,GooseFS采用文件粒度锁及list开启了并发优化,在SliveTest这种混合读写(多读少写)的场景中,GooseFS处理事物的能力明显优于HDFS。

    1.2K40

    大数据之Hadoop vs. Spark,如何取舍?

    它是一种通用的分布式系统基础架构,具有多个组件:Hadoop分布式文件系统(HDFS),它将文件以Hadoop本机格式存储并在集群中并行化; YARN,协调应用程序运行时的调度程序; MapReduce...除了将HDFS用于文件存储之外,Hadoop现在还可以配置使用S3 buckets或Azure blob作为输入。...最初,Spark从HDFS,S3或其他文件存储系统读取到名为SparkContext的程序执行入口。...另一种选择是使用供应商进行安装,例如Cloudera for Hadoop或Spark for DataBricks,或使用AWS在云中运行EMR / Mapreduce。...对于高级别的比较,假设为Hadoop选择计算优化的EMR集群,最小实例c4.large的成本为每小时0.026美元。 Spark最小内存优化集群每小时成本为0.067美元。

    1.7K80

    EMR 支持 30+ 开源组件全解析:从 Hive 到 Flink 到 StarRocks

    1.1 核心组件分类 EMR 支持的开源组件可以分为以下几个类别: 数据存储与管理组件: HDFS ( Hadoop Distributed File System ):分布式文件系统,用于存储大规模数据...EMR 中的 Hive 组件支持以下特性: 支持多种文件格式( TextFile 、 SequenceFile 、 RCFile 、 ORC 、 Parquet 等) 支持分区表和分桶表 支持视图、索引...Spark 支持多种编程语言( Scala 、 Java 、 Python 、 R ),并提供了丰富的 API 。...EMR 中的 Flink 组件支持以下特性: 支持流式计算和批处理 支持事件时间处理和水位线 支持状态管理和检查点 支持与 Kafka 、 HBase 、 HDFS 等组件集成 EMR 版本 EMR-V3.7.0...Trino 支持查询多种数据源,包括 HDFS 、 Hive 、 HBase 、 Kafka 等。

    79310

    基于Alluxio优化大数据计算存储分离架构的最佳实践

    目前腾讯云弹性MapReduce(EMR)[1]支持了三种存储系统:EMR-HDFS、EMR-COS[2]、EMR-CHDFS[3],其中EMR-COS EMR-CHDFS在EMR中都是开箱即用的原生支持计算存储分离的方案...,其具体应用场景及特点如下: 特点 EMR-HDFS EMR-COS EMR-CHDFS 存储空间 集群规模相关 海量 海量 可靠性 高 高 高 元数据效率 快 慢 快 弹性效率 中 高 高 数据本地化...高 低 低 带宽成本 低 高 高 网络风暴 低 高 中 元数据操作效率高,能够与HDFS相当,能够有效规避COS文件系统元数据操作耗时以及高频访问下可能引发不稳定的问题。...简化云存储和对象存储接入:与传统文件系统相比,云存储系统和对象存储系统使用不同的语义,这些语义对性能的影响也不同于传统文件系统。...在云存储和对象存储系统上进行常见的文件系统操作(如列出目录和重命名)通常会导致显著的性能开销。当访问云存储中的数据时,应用程序没有节点级数据本地性或跨应用程序缓存。

    2.2K50

    基于Alluxio优化大数据计算存储分离架构的最佳实践

    image (1).png image (7).png 目前腾讯云弹性MapReduce(EMR)[1]支持了三种存储系统:EMR-HDFS、EMR-COS[2]、EMR-CHDFS[3],其中EMR-COS...EMR-CHDFS在EMR中都是开箱即用的原生支持计算存储分离的方案,其具体应用场景及特点如下: 特点 EMR-HDFS EMR-COS EMR-CHDFS 存储空间 集群规模相关 海量 海量 可靠性...高 高 高 元数据效率 快 慢 快 弹性效率 中 高 高 数据本地化 高 低 低 带宽成本 低 高 高 网络风暴 低 高 中 元数据操作效率高,能够与HDFS相当,能够有效规避COS文件系统元数据操作耗时以及高频访问下可能引发不稳定的问题...简化云存储和对象存储接入:与传统文件系统相比,云存储系统和对象存储系统使用不同的语义,这些语义对性能的影响也不同于传统文件系统。...在云存储和对象存储系统上进行常见的文件系统操作(如列出目录和重命名)通常会导致显著的性能开销。当访问云存储中的数据时,应用程序没有节点级数据本地性或跨应用程序缓存。

    3.5K100

    腾讯云基于Alluxio优化计算存储分离架构的最佳实践

    传统计算存储一体架构 计算存储分离架构 目前腾讯云弹性MapReduce(EMR)[1]支持了三种存储系统:EMR-HDFS、EMR-COS[2]、EMR-CHDFS[3],其中EMR-COS和EMR-CHDFS...在EMR中都是开箱即用的原生支持计算存储分离的方案,其具体应用场景及特点如下: 特点 EMR-HDFS EMR-COS EMR-CHDFS 存储空间 集群规模相关 海量 海量 可靠性 高 高 高 元数据效率...快 慢 快 弹性效率 中 高 高 数据本地化 高 低 低 带宽成本 低 高 高 网络风暴 低 高 中 元数据操作效率高,能够与HDFS相当,能够有效规避COS文件系统元数据操作耗时以及高频访问下可能引发不稳定的问题...简化云存储和对象存储接入 与传统文件系统相比,云存储系统和对象存储系统使用不同的语义,这些语义对性能的影响也不同于传统文件系统。...在云存储和对象存储系统上进行常见的文件系统操作(如列出目录和重命名)通常会导致显著的性能开销。当访问云存储中的数据时,应用程序没有节点级数据本地性或跨应用程序缓存。 4.

    1.8K30
    领券