在Mallet主题建模中保留数字

Question

我正在使用Mallet进行主题建模。我输入的文本中有大量的单词，包括字母和数字；例如，A54、D892。我刚刚注意到，Mallet会自动删除数字，只保留单词中的字母。在导入文本文件时，我甚至不使用--remove-stopwords选项。有谁知道我怎么解决这个问题。

Answer 1

bin/mallet import-dir有一个选项--token-regex，它决定接受什么作为单词的一部分。以下两种选择之一可能适合您的需要：[\p{L}\p{D}]+接受字母和数字的任意组合；\p{L}[\p{L}\p{D}]*接受以字母开头的字母数字字符串。