实战NLP解决方案设计

实战NLP解决方案设计

Ines Montani

2015年初，spaCy首次发布。它是一个用于工业级自然语言处理的开源库，专注于生产环境的使用。

当前统计数据：

• 总下载量超过1700万次
• 在GitHub上获得超过1.6万颗星
• 拥有400多位贡献者
• 有80多个扩展包

2016年末，一家专注于AI开发者工具的新公司成立。

• 在最初的6个月里，通过咨询业务实现自举
• 自2017年起，通过软件销售获得资金支持
• 团队分布各地，以柏林为中心

当前统计数据：

• 8名团队成员
• 100%独立且盈利

2017年末，第一个商业产品发布。它是一个现代化的标注工具，完全可以用Python脚本控制。

当前统计数据：

• 超过4000名用户，包括500多家公司
• 超过1600名论坛成员

即将发布：

• spaCy v2.3：支持中文、日语等多种语言的模型
• spaCy v2.3：基于Transformer的流程，可使用任何库构建自定义模型，以及新的训练工作流
• spaCy v3.0：基于Transformer的流程，可使用任何库构建自定义模型，以及新的训练工作流
• 某工具 v1.10：支持依赖与关系标注、音频与视频标注，以及许多新功能
• 某工具 Teams：可在你的云环境中管理大型标注项目

NLP项目像创业公司：失败率很高

如何最大化你项目的失败风险？

1. 想象：决定你的应用应该做什么。要有雄心！没有人会说“呃，这能行吗？”就改变了世界。
2. 预测：计算出你需要的准确度。如果你不确定，就说90%。
3. 外包：付钱让别人收集你的数据。仔细考虑你的准确度要求，然后索要1万行数据。
4. 连接：实现你的网络。这是有趣的部分！张量化你所有的流，下降每一个梯度！
5. 交付：把所有东西整合起来。如果它不工作，也许可以责怪实习生？

失败令人沮丧。

准确度估计、训练与评估、已标注数据、标注方案、产品愿景

这是一个困难的“先有鸡还是先有蛋”的问题。

你需要迭代你的代码和你的数据。

需求示例

#1

我们正在构建一个基于新闻报道的犯罪数据库。我们想要标注以下内容：

• 受害者姓名
• 犯罪者姓名
• 犯罪地点
• 犯罪日期
• 逮捕日期

#2

我们正在将金融新闻中关于公司销售的数据添加到我们的内部数据库，以便将其连接到我们的分析系统。我们需要提取：

• 买方（官方公司名称）及其股票代码
• 被收购公司及其股票代码
• 销售价格及货币

（使用pytorch预测包含价格和股票代码的公司收购案例。没有结果。）

案例分析：“某中心收购软件开发平台GitHub，价格为75亿美元”

现实并非端到端的预测问题。

一条文本的处理流程可以包括：

1. 文本分类器
2. 实体识别器
3. 实体链接器
4. 属性查找
5. 货币标准化器

核心观点

#1

实用NLP的一大优点是：你可以选择让问题变得更简单，让解决方案成本更低。

#2

最有趣的问题通常非常具体，也需要特定的解决方案。这正是它们的价值所在。

#3

迁移学习意味着我们不再总是需要“大数据”。但我们仍然需要一些数据。