构建自己的NLP API

Question

我正在建造一个聊天机器人，我是NLP的新手。

(api.ai & AlchemyAPI对我的用例来说太昂贵了。而wit.ai现在似乎是个问题，而且不断变化。)

对于NLP专家来说，在本地复制他们的服务有多容易？

到目前为止，我的愿景(使用节点，但对Python开放)：

• 基于StanfordNER的实体提取
• 通过NodeNatural的LogisticRegressionClassifier的意图
• 使用文本和验证/失效按钮(任何预先构建的工具)对UI进行培训？

对于聊天机器人来说，实体和意图都是我所需要的吗？NodeNatural/StanfordNER与NLP服务相比有多好？我没看到什么头痛？

Answer 1

你好像做了你的家庭工作。就像你说的，接下来的事情会对你有帮助，

• 识别意图的任何分类算法，如sklearn的LinearSVC或LogisticRegression分类器
• 任何好的NER工具，如StanfordNER或CRFsuite。CRFsuite易于使用，称为pycrfsuite。
• 一种情感分析工具，用于更人性化的对话。更好的方法是使用python，因为python有很多相同的免费库。

只有像wit.ai或api.ai这样的服务的好处是，它们经过了严格的训练才能使用意图，如果您能够为您的机器人提供相当数量的培训，models.You也将能够实现类似的准确性。

最好是在现有的开源库的基础上构建，而不是从头开始构建所有的东西。请在github上为wit.ai/api.ai提供类似的接口。编码愉快！

Answer 2

看看Luis.ai (来自微软)。它将帮助您建立一个识别意图的天然Langauge模型。您可以将意图映射到行动。它允许您包含预先配置的NLP模型，以便您的机器人能够破译文本和返回实体(名称、时间、地理等)，Luis支持多种语言。当然，你可以添加你自己的实体。

然后你用言语训练它。当用户与您的bot交谈时，这些话语将存储在网上和Luis.ai中，这将建议您添加一些建议功能来进一步完善您的模型(这允许在不编写代码的情况下进行增量改进)。现在关于编码的东西..。

访问Luis.ai，当您构建您的模型(免费)时，您可以在这里通过测试控制台测试它：https://dev.projectoxford.ai/docs/services，然后您可以使用他们的Bot；然而，我正在用JQuery/Bootstrap构建自己的模型(请看一下这里我正在构建什么，http://onlinebotbuilder.com)，并通过发布到认知服务API (您将使用Python来处理json )来处理json。目前，他们允许每月10,000次的话语，这是足够的测试。小贴士:当创建你的模型时，先从两个意图开始，然后训练你的模型来识别它们。保持简单，然后在你走的时候扩大范围。希望这能有所帮助。

Answer 3

需要考虑的两件事是:你打算如何处理生成方面的事情？实体提取和分类对于自然语言理解(NLU)方面是有用的，但是生成本身是很棘手的。

另一件需要考虑的事情是，对这些模型的管道的培训和开发通常是一个单独的问题，与部署是不同的。我认为，您想使用节点的事实表明，您已经知道如何部署软件。但是请记住，在管道中部署大型机器学习模型可能很复杂，我怀疑这些API可能会为您提供整洁的打包管道。