如何将特定实体自动拆分/提取到MS Luis？

Question

我目前正在使用M. LUIS.ai。

我的字串/词句中既有英文也有中文。

以下是问题所在：

如果句子在英语中是ALL，那么它在LUIS中工作得很好。原因很可能是因为一个句子是由不同的词组成的，这些词被一个“空格”分隔开来。

然而，在中文(繁体和简体)中，句子是由拼凑在一起，很难分开的词组成的。

例如，我可以用英语写：

I love you so much：这里有5个单词。在LUIS中，我可以选择I love you并将其转换为一个实体。稍后，当更多像I love you这样的词出现在LUIS中时，它可以很容易地识别出相关的意图。

然而，如果我用中文写：

我很喜歡你：它的意思和上面的英语一样。根据路易斯，它将被计算为一个字。如果我想提取单词喜歡 (意思是“爱/喜欢”)，我不能在LUIS中这样做。

只有在喜歡周围放置这样的空间：我很 喜歡 你，我才能选择喜歡作为一个特定的实体。

我的问题

有什么方法/方法/技巧，我可以用，这样，当有人输入连接-字符串，如你看到的中文版本，路易斯，将能够识别特定的词为实体自动，而不需要任何手动更改？

提前谢谢你的帮助。

Answer 1

为了进行机器学习，路易斯在基于文化的基础上将一句话打断了令牌。我们不能禁止令牌化。LUIS在字符级别对中文进行标记，并返回标记实体，而对于英语，则对每个空格或特殊字符进行标记。在zh文化中，LUIS期望使用简体中文字符集而不是传统字符集。希望这能帮上忙！