文档情感分类的Bert模型

Question

我正试着微调一个伯特模型来分析情绪。我的输入不是一句，而是文件(包括几个句子)，我不会删除点。我想知道在这种情况下只使用第一个令牌的嵌入是否可以。如果没有，我该怎么办？

Answer 1

是的，对包含多个句子的序列进行微调很好，使用伯特进行文本分类的标准方法是在第一个位置使用输出向量。

但是，考虑到BERT的输入序列的最大长度是512个令牌，所以您的文档应该足够短以适应这种情况。