微调/训练预先训练的BERT关于没有句子但只有文字的数据(银行交易)

Question

我有很多银行交易，我想分类为不同的类别。问题是，案文本身并不是一个句子，只是由“私人提款”、“付款发票19234”、“税收”等词组成。

由于领域是如此的具体，我想我们可以通过微调一个已经经过预先训练的伯特来获得更好的表现，而不是仅仅使用预先训练的伯特，但是当我们没有句子的时候，我们该怎么做呢？也就是说，如何创建“猜下一句”部分？或者我们可以跳过它？

Answer 1

你的问题是序列分类问题。如果你想使用预先训练过的模型，你想要做转移学习。基本上，您希望使用Bert基础模型，并添加一层分类。

你可以检查一下https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertForSequenceClassification的拥抱面

我的回答不是很具体，可以在你的问题中添加细节。