LingPipe字典大小

Question

我已经创建了一个基于LingPipe DictionaryChunker示例的测试程序。我正在将文件中的字典值读入MapDictionary。当文件超过100,000个条目时，解析器开始返回垃圾：

对于10k行(tail -10000 nameList.txt > shortNameList.txt)

TEXT=now是所有好人来帮助他们国家的时候现在是所有好人来帮助他们国家的时候

查克。All matches=false Case sensitive=false phrase=|Zoe Rogers| start=69 end=79 type= PLAYER score=1.0

对于100k行(tail -100000 nameList.txt > shortNameList.txt)

TEXT=now是所有好人来帮助他们国家的时候现在是所有好人来帮助他们国家的时候

查克。all matches=false Case sensitive=false phrase=|now是所有好人的时候| start=0 end=32 type=球员score=1.0 phrase=|to来帮助他们的国家| start=33 end=68 type=球员score=1.0 phrase=|Zoe Rogers现在是所有人帮助的时候| start=69 end=103 type=球员score=1.0 phrase=|good男人来帮助| start=104 PLAYER

有没有更好的方法来创建MapDictionary？

我已经忽略了VM上的内存约束，这似乎没有什么帮助。

有什么想法吗？

Answer 1

事实证明，允许MapDictionary中的任何值为null都会破坏分块程序。在删除所有包含空值的行之后，分块程序可以正常工作。