有没有一种方法可以将预处理对象保存在scikit中--学习？

Question

我正在建立一个神经网络，目的是对未来的新数据进行预测。首先利用sklearn.preprocessing对训练数据进行预处理，然后对模型进行训练，然后进行预测，然后关闭程序。将来，当新数据出现时，我必须使用相同的预处理尺度来转换新数据，然后再将其放入模型中。目前，我必须加载所有的旧数据，适合预处理，然后转换新的数据与这些预处理程序。是否有一种方法可以保存预处理对象(如sklearn.preprocessing.StandardScaler)，这样我就可以加载旧对象而不必重新创建它们了吗？

Answer 1

正如lejlot所提到的，您可以使用库泡菜将经过训练的网络保存为硬盘驱动器中的文件，然后您只需要加载它就可以开始进行预测。

下面是一个示例，说明如何使用泡菜保存和加载python对象：

import pickle
import numpy as np

npTest_obj = np.asarray([[1,2,3],[6,5,4],[8,7,9]])

strTest_obj = "pickle example XXXX"


if __name__ == "__main__":
    # store object information
    pickle.dump(npTest_obj, open("npObject.p", "wb"))
    pickle.dump(strTest_obj, open("strObject.p", "wb"))

    # read information from file
    str_readObj = pickle.load(open("strObject.p","rb"))
    np_readObj = pickle.load(open("npObject.p","rb"))
    print(str_readObj)
    print(np_readObj)

Answer 2

我想除了泡菜，你也可以用joblib来做这件事。如Scikit中所述-学习手册3.4。模型持久性

在scikit的具体案例中--学习，最好使用joblib替换泡菜(dump & load)，它在内部携带大型numpy数组的对象上更有效，就像安装的scikit-learn估值器一样，但只能对磁盘而不是字符串进行筛选：

from joblib import dump, load
dump(clf, 'filename.joblib') 

稍后，您可以用以下方法重新加载带泡沫化的模型(可能在另一个Python过程中)：

clf = load('filename.joblib') 

有关更多信息，请参考其他帖子，保存StandardScaler()模型，以便在新数据集中使用，在学习中保存MinMaxScaler模型。