如何使用inltk标记indic语言

Question

我使用这个NLP文档进行了检查：https://inltk.readthedocs.io/en/latest/index.html

from inltk.inltk import tokenize 
text="जो मुझको सताती है तुझे वो बातें आती है जब सामने तू होता नहीं बेचैनी बढ़ जाती है मैं रूठ "
tokenize(text ,'hi')

错误是：

RuntimeError: Internal: src/sentencepiece_processor.cc(890)
[model_proto->ParseFromArray(serialized.data(), serialized.size())] 

Answer 1

当使用错误的SPM模型或与SPM模型相关的任何其他问题时，通常会出现您遇到的问题。

确保首先设置语言支持：

from inltk.inltk import setup
setup('hi')