我在上创建了两个集群,该集群读取100 GB的数据。
集群I: 1主内存- 15 GB内存- 250 GB磁盘10节点- 7.5 GB内存- 200 GB磁盘
集群II: 1主内存- 15 GB内存- 250 GB磁盘150个节点- 1.7 GB内存- 200 GB磁盘
我用它来读取文件:
val df = spark.read.format("csv")
.option("inferSchema", true)
.option("maxColumns",900000)
.load("hdfs://master:9000/tmp/test.csv")这也是一个包含55k行和850 k列的数据集。
Q1:虽然我增加了机器的数量,但阅读速度并没有明显的提高。有什么不对,或者做什么使这个过程更快?我应该增加更多节点吗?
Q2:增加机器数量是为了更快,还是增加内存对火花很重要?节点、内存和速度之间是否有性能图?
Q3:对于hadoop来说,复制或移动命令的速度也很慢。数据只有100 GB。大公司如何处理兆字节的数据?我无法捕捉到数据读取速度的提高。
谢谢你的回答
发布于 2018-07-19 17:40:45
TL;DR Spark (以及一般的Spark和其他共享类似架构和设计的项目)主要用于处理长而(相对)窄的数据。这与你的数据正好相反,在那里输入是宽的,(相对的)短的。
请记住,虽然Spark使用列式格式来缓存其核心处理模型,但它处理数据的行(记录)。如果数据是宽而短的,那么它不仅限制了数据的分发能力,而且更重要的是,它会导致非常大对象的初始化。这会对整个内存管理和垃圾收集进程(What is large object for JVM GC)产生有害影响。
在Spark中使用非常广泛的数据会导致其他问题。不同的优化器组件在查询中使用的表达式具有非线性复杂性。这通常不是数据窄的问题(< 1K列),但很容易成为更宽数据集的瓶颈。
此外,您使用的输入格式不太适合高性能分析和昂贵的读取器选项(模式推断)。
根据您对数据的了解以及以后计划如何处理这些数据,您可以尝试解决其中的一些问题,方法是在读取时转换为长格式,或者直接使用稀疏表示(如果适用)对数据进行编码。
除此之外,您最好的选择是根据运行时统计进行仔细的内存和GC调优。
发布于 2018-07-19 17:58:43
不要使用inferSchema代替手动提供模式。星星之火花时间在inferSchema上获取大量数据。
https://stackoverflow.com/questions/51428195
复制相似问题