如何在spark中缓存随机森林模型

Question

我的平台是Spark2.1.0，使用python语言。

现在我有了大约100个随机森林多分类模型，我已经将它们保存在HDFS.There中--这些数据集也保存在HDFS中。我想用相应的model.If来预测数据集，模型和数据集都缓存在内存中，预测速度会快10倍以上。

但是我不知道如何缓存模型，因为模型不是RDD或Dataframe。

谢谢!

Answer 1

TL；博士只是cache数据，如果它曾经被重复使用外部预测过程，如果没有，你甚至可以跳过它。

RandomForestModel是一个不受分布式数据结构支持的本地对象，没有需要重新计算的DAG，而且预测过程是一个简单的、只映射的工作。因此，不能缓存模型，即使可以，操作也将毫无意义。

另见(Why) do we need to call cache or persist on a RDD