以下是取自“指环王”的专有名词列表。我想知道是否有一种好的方法来根据它们是指人、地方还是事物来对它们进行排序。有没有能做到这一点的自然语言处理库?有没有办法区分地点、名称和事物?
Shire、Tookland、Bagginses、Boffins、Marches、Buckland、Fornost、Norbury、Hobbit、Took、Thain、Oldbucks、Hobbitry、Thainship、Isengrim、Michel、Delving、Midsummer、Postmaster、Shirriff、Farthing、边界、Bilbo、Frodo
发布于 2019-12-16 17:54:49
你说的是Named Entity Recognition。信息提取的任务是定位文本并将其分类为预定义的类别,如预定义的名称、位置、组织、时间表达式、货币价值等。您可以通过使用字典(如您拥有的单词)的无监督方法来完成这一任务。或者通过监督方法,使用CRF、神经网络等方法。但您需要具有各自注释名称和类的预定义句子的列表。在这个例子中,here使用Spacy (一个NLP库),作者将NER应用于指环王小说。您可以在链接中阅读更多信息。
发布于 2020-01-28 20:45:53
以下是解决方案:命名实体识别(NER) (也称为实体识别、实体分块和实体提取)是信息提取的子任务,它试图定位非结构化文本中提到的命名实体,并将其分类为预定义的类别,如人名、组织、位置、医疗代码、时间表达式、数量、货币价值、百分比等。
维基百科链接:https://en.wikipedia.org/wiki/Named-entity_recognition
命名实体识别(NER)是一个标准的NLP问题,它涉及识别命名实体(人员、地点、组织等)。从文本块中提取文本,并将它们分类为预定义的类别集。NER的一些实际应用包括:
浏览新闻文章,查找报道的人员、组织和地点。为搜索优化提供简明的功能:人们可以简单地搜索涉及的主要实体,而不是搜索整个内容。Twitter帖子中提到的快速检索地理位置。带有spaCy spaCy的NER被认为是Python语言中速度最快的自然语言处理框架,它实现的每个自然语言处理任务都有单一的优化函数。由于易于学习和使用,人们可以使用几行代码轻松地执行简单的任务。
安装:
!pip install spacy
!python -m spacy download en_core_web_sm
import spacy
nlp = spacy.load('en_core_web_sm')
sentence = "Apple is looking at buying U.K. startup for $1 billion"
doc = nlp(sentence)
for ent in doc.ents:
print(ent.text, ent.start_char, ent.end_char, ent.label_) 输出:
苹果0 5 ORG U.K. 27 31 GPE $10亿44 54美元
在输出中,第一列指定实体,接下来的两列指定句子/文档中的开始和结束字符,最后一列指定类别。
此外,有趣的是,spaCy的NER模型使用大写作为标识命名实体的线索之一。同样的例子,测试时稍加修改,会产生不同的结果。
https://stackoverflow.com/questions/59350267
复制相似问题