如何获得伯特的预科证书

Question

我使用的是堆栈溢出选项卡分类csv数据集，该数据集已加载到dataframe中：

X = df.post
y = df.tags
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state = 42)

除了其他一些分类模型之外，我还想运行BERT，但是，它需要一个变量preproc。我不确定哪一种功能会得到这个结果：

import ktrain
from ktrain import text
model = text.text_classifier('bert', (x_train, y_train), preproc=preproc)
learner = ktrain.get_learner(model,train_data=(x_train, y_train), val_data=(x_test, y_test), batch_size=6)

在一些文档中，我看到人们使用text.texts_from_folder()，但我已经将所有内容都放在了一个数据have中。文本中是否还有其他功能。那能帮我拿到预科吗？

Answer 1

有关可用的预处理功能的完整列表，请参见ktrain 文本分类教程。例如，在您的示例中，您可以使用texts_from_df或texts_from_array。这些功能将按照模型所期望的方式对文本文档进行预处理。有关使用这个例子笔记本的示例，请参阅texts_from_df。或者，您也可以在ktrain中使用变压器API。

Answer 2

我也没有找到，所以我编写了一个将csv分解为txt文件的函数：

import time
import os
from joblib import Parallel, delayed
from tqdm import tqdm_notebook as tqdm

treads=12
path = os.getcwd()
train_path = path + '/' + 'train_df' + '/'
test_path = path + '/' + 'test_df' + '/'

train_len = range(len(train_df['text']))
texts = train_df['text'].tolist()
ids = train_df['id'].tolist()
classes= train_df['class'].tolist()

def create_directory(directory):
    try:
        os.mkdir(directory)
    except OSError:
        print('OSError')
    else:
        print('Error')

def write_txt(text_, id_, class_, path, i):
    cur_path = path + '/' + str(id_) + '/'
    create_directory(cur_path)
    with open(cur_path + f'{class_}_{i}.txt', 'w', encoding='utf-8') as f:
        f.write(text_)

Parallel(n_jobs=treads)(delayed(write_txt)(texts[i], ids[i], classes[i], path, i) for i in tqdm(train_len))