使用自然语言处理比较两个句子的语法

Question

我有两个句子可以根据它们的语法使用NLP进行比较。我对NLP完全陌生，想知道是否有算法来确定这一点。我知道如何使用词语相似度和情感进行比较。

Answer 1

您可以使用nltk wordnet的同义词集来度量两个句子之间的相似度

下面是如何在不指定语法的情况下生成所有可能的同义词集，您可以稍后根据某个标准选择要使用的同义词集

import pandas as pd
import nltk
from nltk.stem.porter import PorterStemmer
from nltk.corpus import wordnet as wn
import itertools

#use stemmer 
stm = PorterStemmer()
sent1 =  "I like hot dogs"
sent2 = "My father's favourite food is hot dog"
#Convert the tag given by nltk.pos_tag to the tag used by wordnet.synsets
tag_dict = {'N': 'n', 'J': 'a', 'R': 'r', 'V': 'v'}

s1 = nltk.pos_tag(nltk.word_tokenize(sent1))

s1 = dict(filter(lambda x: len(x[1])>0,
                 map(lambda row: (row[0],wn.synsets(
                       stm.stem(row[0]),
                       tag_dict[row[1][0]])) if row[1][0] in tag_dict.keys() 
                     else (row[0],[]),s1)))

s2 = nltk.pos_tag(nltk.word_tokenize(sent2))

s2 = dict(filter(lambda x: len(x[1])>0,
                 map(lambda row: (row[0],wn.synsets(
                          stm.stem(row[0]),
                          tag_dict[row[1][0]])) if row[1][0] in tag_dict.keys() 
                     else (row[0],[]),s2)))

以下是字典s1中的值示例

dogs    [Synset('dog.n.01'), Synset('frump.n.01'), Synset('dog.n.03'), Synset('cad.n...
hot     [Synset('hot.a.01'), Synset('hot.s.02'), Synset('hot.a.03'), Synset('hot.s.0...
like    [Synset('wish.v.02'), Synset('like.v.02'), Synset('like.v.03'), Synset('like...

这里有一种方法。这里我测量两个单词的所有可能的同义词集之间的相似度，然后取最大值。

res = {}
for w2,gr2 in s2.items():
    for w1,gr1 in s1.items():
        tmp = pd.Series(list(map(lambda row: row[1].path_similarity(row[0]),
                                 itertools.product(gr1,gr2)))).dropna()
        if len(tmp)>0:
            res[(w1,w2)] = tmp.max()
print(res)

输出

{('dogs', 'dog'): 1.0,
 ('dogs', 'father'): 0.16666666666666666,
 ('dogs', 'food'): 0.25,
 ('dogs', 'is'): 0.10000000000000001,
 ('hot', 'hot'): 1.0,
 ('hot', 'is'): 0.33333333333333331,
 ('like', 'is'): 0.33333333333333331}

现在我们找出句子中每个单词达到的最大相似度。然后取平均值

similarity = pd.Series(res).groupby(level=0).max().mean()
print(similarity)

输出为.778

以上是衡量文档相似度的常用方法。如果你想比较语法，你可能想要在两个句子上使用像pos_tag这样的词性标记器(或者使用像nltk.corpus.brown.tagged_words()这样的标记语料库)，然后找出标记之间的Jaccard距离。