如何使用job spark测量hdfs上的读写时间？

Question

我刚刚开始大数据平台的鉴定工作，我想就如何在hdfs上测试读写性能提出建议。

Answer 1

如果您正在为读写操作运行spark作业，那么您可以在应用程序管理器(localhost:50070)上看到作业时间，如果您使用的是spark-shell，那么您必须手动测量时间，或者您可以使用时间函数。