Hadoop基准测试/性能测试

Question

我想在我的Hadoop集群上执行基准测试和性能测试。我知道hadoop-mapreduce*test*.jar和hadoop-mapreduce-examples*.jar有许多用于基准测试的程序。

是否有任何文档可用于这些测试，其中给出了每个测试和性能度量的详细信息？此外，在执行任何测试之后，是否有任何值可用于比较结果？

谢谢。

Answer 1

你有HiBench，它包含一些基准测试hdfs的工具，hive ...你可以在这里找到它：https://github.com/intel-hadoop/HiBench

伯克利大学创建了一个基准数据集，用于蜂箱，黑斑鹿...你可以在这里参考它：https://amplab.cs.berkeley.edu/benchmark/

Terasort也是一个著名的基准测试。它包含3个生成数据并使用MapReduce测试集群的程序。更多信息请点击此处：http://hadoop.apache.org/docs/current/api/org/apache/hadoop/examples/terasort/package-summary.html