离线语言检测库或脚本

Question

我的Python服务之一是使用textblob进行语言检测。上个月，Google对textblob调用的API服务做了一个破变。已经提供了更新textblob以使其再次工作的步骤。但我已决定，我希望我的服务不容易受到第三方破坏的变化。因此，我正在寻找一个离线解决方案。

这是目前正在讨论的职能。对此没有太大影响：

def is_english(text):
    blob = TextBlob(text)
    language = blob.detect_language()
    return language == "en"

解决办法应：

1. 能够确定一页文本(~300字)是否用英文写成(真/假)。如果不是英语，我不在乎它是什么语言，我只是放弃它)。
2. 能够在没有互联网连接的情况下工作。
3. 要么是Python库，要么是可以在Linux操作系统上运行并从CLI调用的脚本/应用程序。
4. 可以使用ML模型，但也可以只是一个库，检查文本与英语单词语料库，并返回假，如果不够的单词是英语。

如果不存在这种情况，我可能可以在(4)上面编写语料库检查器，但如果它存在，我宁愿使用它。

Answer 1

polyglot图书馆有一个语言检测包polyglot.detect，它似乎非常适合您的需求：

1. 能够确定一页文本(~300字)是否用英文写成(真/假)。如果不是英语，我不关心它是什么语言，我只是放弃它)。

查看介绍性示例，只需使用2行就可以返回最佳匹配，这样您就可以立即测试英语。

1. 能够在没有互联网连接的情况下工作。

在本地安装polyglot之后，您可以脱机使用它。

1. 要么是Python库，要么是可以在Linux操作系统上运行并从CLI调用的脚本/应用程序。

polyglot是一个Python库和可以安装在Linux上.。它还有一个方便的CLI。

1. 可以使用ML模型，但也可以只是一个库，检查文本与英语单词语料库，并返回假，如果不够的单词是英语。

多角体依赖 on "CLD2是一种Na ve tables分类器“，附带”表驱动的评分在空间和速度上都进行了高度优化，运行速度比其他检测器快约10倍，并以1.8MB的x86代码和表覆盖了70多种语言“。所以不需要额外的语料库，因为必要的表是内置的。