从PySpark中的两个不同数据帧中减去列的值，得到均方根

Question

我想不出来。我正在尝试计算测试数据和预测数据之间的RMSE。

测试

col1    col2
 a        2 
 b        3

预测

col1   col2
 a       4 
 b       5

我正在尝试做这个测试(Col2)-prediction(Col2)。那是

2-4 =-2
3-5 =-2

我试过了

test.select("col2").subtract(prediction.select("col2"))

但我没有得到所需的结果。我正在尝试获得此结果以查找RMSE。spark中是否有一个内置函数来查找RMSE？

谢谢。

Answer 1

它是一个连接和一个算术减法：

test.join(prediction, on="col1").withColumn("sub", test.col2-prediction.col2)

Answer 2

请在下面的表达式中替换您的表名：

tab1.join(tab2).withColumn("Sub", tab2("T1")-tab1("T")).select("Sub").show()