自然语言处理模型

Question

我是NLP的初学者，做一个项目来解析，并理解用户用英语输入行的意图。

我认为我应该这样做：

1. 创建一个带有POS标记的句子文本&手工标记每个句子的意图。
2. 创建一个模型，例如:决策树，并对其进行上述句子的训练。
3. 尝试用户输入的模型：
4. 对用户输入语句进行基本的标记和词性标注，并在上述模型上进行测试，以了解该句子的意图。

这一切都可能是完全错误或愚蠢的，但我决心学习如何去做。我不想使用现成的解决方案，编程语言也不是问题。

你们怎么完成这个任务？选择哪一种模式?为什么？通常，要制作NLP解析器，需要执行哪些步骤。

谢谢

Answer 1

我会用NLTK。有一本带有关于标记的章节的在线书和一本关于分析的一章。他们还在python中提供模型。

Answer 2

下面是一个基于NLTK和Bayes的简单示例

import nltk
import random 
from nltk.corpus import movie_reviews


documents = [(list(movie_reviews.words(fileid)),category)
             for category in movie_reviews.categories()
             for fileid in movie_reviews.fileids(category)
        ]

random.shuffle(documents)



all_words = [w.lower() for w in movie_reviews.words()]

for w in movie_reviews.words():
    all_words.append(w.lower())git b

all_words = nltk.FreqDist(all_words)


word_features = list(all_words.keys())[:3000]


def find_features(document):
    words = set(document)
    features =  {}
    for w in word_features:
        features[w] = (w in words)

    return features


print((find_features(movie_reviews.words("neg/cv000_29416.txt"))))

featuresets = [(find_features(rev),category) for (rev,category) in documents ]

training_set  =featuresets[:10]
testing_set = featuresets[1900:]

classifier = nltk.NaiveBayesClassifier.train(training_set)
print("Naive Bayes Algo Accuracy: ",(nltk.classify.accuracy(classifier,testing_set))* 100 )