首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >虽然我增加了节点的数量,但火花csv的读取速度还是很慢的。

问虽然我增加了节点的数量,但火花csv的读取速度还是很慢的。
EN

Stack Overflow用户
提问于 2018-07-19 16:58:07
回答 2查看 9K关注 0票数 7

我在上创建了两个集群,该集群读取100 GB的数据。

集群I: 1主内存- 15 GB内存- 250 GB磁盘10节点- 7.5 GB内存- 200 GB磁盘

集群II: 1主内存- 15 GB内存- 250 GB磁盘150个节点- 1.7 GB内存- 200 GB磁盘

我用它来读取文件:

代码语言:javascript
复制
val df = spark.read.format("csv")
    .option("inferSchema", true)
    .option("maxColumns",900000)
    .load("hdfs://master:9000/tmp/test.csv")

这也是一个包含55k行和850 k列的数据集。

Q1:虽然我增加了机器的数量,但阅读速度并没有明显的提高。有什么不对,或者做什么使这个过程更快?我应该增加更多节点吗?

Q2:增加机器数量是为了更快,还是增加内存对火花很重要?节点、内存和速度之间是否有性能图?

Q3:对于hadoop来说,复制或移动命令的速度也很慢。数据只有100 GB。大公司如何处理兆字节的数据?我无法捕捉到数据读取速度的提高。

谢谢你的回答

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-07-19 17:40:45

TL;DR Spark (以及一般的Spark和其他共享类似架构和设计的项目)主要用于处理长而(相对)窄的数据。这与你的数据正好相反,在那里输入是宽的,(相对的)短的。

请记住,虽然Spark使用列式格式来缓存其核心处理模型,但它处理数据的行(记录)。如果数据是宽而短的,那么它不仅限制了数据的分发能力,而且更重要的是,它会导致非常大对象的初始化。这会对整个内存管理和垃圾收集进程(What is large object for JVM GC)产生有害影响。

在Spark中使用非常广泛的数据会导致其他问题。不同的优化器组件在查询中使用的表达式具有非线性复杂性。这通常不是数据窄的问题(< 1K列),但很容易成为更宽数据集的瓶颈。

此外,您使用的输入格式不太适合高性能分析和昂贵的读取器选项(模式推断)。

根据您对数据的了解以及以后计划如何处理这些数据,您可以尝试解决其中的一些问题,方法是在读取时转换为长格式,或者直接使用稀疏表示(如果适用)对数据进行编码。

除此之外,您最好的选择是根据运行时统计进行仔细的内存和GC调优。

票数 12
EN

Stack Overflow用户

发布于 2018-07-19 17:58:43

不要使用inferSchema代替手动提供模式。星星之火花时间在inferSchema上获取大量数据。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51428195

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档