我已经训练了一个模型,我正试图将其应用于新数据。我对fast.ai完全陌生,我正在创建我的数据库,如下所示(ds是我想要评分的数据):
bs = 64
data_lm = (TextList.from_df(df, path, cols='comment_text')
.split_by_rand_pct(0.1)
.label_for_lm()
.databunch(bs=bs))问题是我不能省略.split_by_rand_pct(0.1),所以我不能给整个数据打分
然后,我将加载/应用模型,如下所示
data_clas = load_data(path, 'data_clas.pkl', bs=bs)
learn = text_classifier_learner(data_clas, AWD_LSTM, drop_mult=0.5)
learn.load_encoder('fine_tuned_enc')
learn.load('third');
preds, target = learn.get_preds(DatasetType.Test, ordered=True)
labels = preds.numpy()但问题是,当我创建数据库穿孔时,我只对我的数据的0.1%进行了评分,因为第一段代码是不正确的……我想将保存/加载的模型应用到整个DF上。
非常感谢你提前
发布于 2020-05-29 21:48:28
我的一位同事实际上为我提供了解决方案,我将其张贴在这里,以防对任何人有用。
learn.data.add_test(df['Contact_Text'])
preds,y = learn.get_preds(ds_type=DatasetType.Test)
predshttps://stackoverflow.com/questions/62081552
复制相似问题