如何计算课文类别之间的相关性?例如,我有三条短信:
texts = ["Chennai Super Kings won the final 2018 IPL", "Chennai Super Kings Crowned IPL 2018 Champions",
"Chennai super kings returns"]
subjects = ["final", "Crowned",
"returns"]因此,每个文本都有一个标签(类)。因此,它与文本分类问题非常接近。但是我需要计算“差异”的度量。
我可以数数Tfidf并得到矩阵:
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
texts = ["Chennai Super Kings won the final 2018 IPL", "Chennai Super Kings Crowned IPL 2018 Champions",
"Chennai super kings returns"]
tfidf = TfidfVectorizer()
features = tfidf.fit_transform(texts)
res = pd.DataFrame(features.todense(), columns=tfidf.get_feature_names())
2018 champions chennai crowned final ipl kings returns super the won
"final" 0.333407445657484 0.0 0.2589206239570202 0.0 0.4383907244416506 0.333407445657484 0.2589206239570202 0.0 0.2589206239570202 0.4383907244416506 0.4383907244416506
"Crowned" 0.37095371207541605 0.4877595527309446 0.28807864923451976 0.4877595527309446 0.0 0.37095371207541605 0.28807864923451976 0.0 0.28807864923451976 0.0 0.0
"returns" 0.0 0.0 0.4128585720620119 0.0 0.0 0.0 0.4128585720620119 0.6990303272568005 0.4128585720620119 0.0 0.0我需要得到一个分数,它将告诉我:-主题“决赛”接近“加冕”的程度。
我应该用什么标准?
////////////////////////////////////////////////////////////////假设您有5个文本:
放学后,卡马尔带着女儿们去了老房子。它很旧,也很脏。到处都是垃圾。窗户破了,墙壁潮湿了。太可怕了。(1)艾米不喜欢它。墙上有僵尸和骷髅的画。卡迈勒说:“我们将为学校的艺术比赛拍照。”艾米不喜欢,但她什么也没说。(2)“格兰特在哪里”塔拉问。“呃,他在买更多的油漆。”卡马尔迅速地把目光移开。塔拉觉得他看起来很可疑。“天快黑了,我们能走了吗?”艾米说。她不喜欢僵尸。然后,他们听到房间角落里的一个橱柜里传来一声巨响。“那是什么?”艾米吓坏了。“我什么也没听到,”卡马尔说。有东西发出奇怪的声音。(4)“你什么意思?那里什么也没有!“卡马尔尽量不笑。突然,门砰的一声打开了,一个僵尸出现了,大声喊着,动着手臂。艾米尖叫着,捂住了眼睛。(5)
每个文本都有标签:
第一文本-学校,房子,可怕的第二文本-僵尸,画第三文本-僵尸,黑暗,画第4文本-噪音,害怕的第5文本-僵尸,尖叫
第一项任务是找出文本之间的相关性。似乎@MarkH已经给了我正确的方向(余弦相似性),第二项任务是找出标签之间的相关性。你看几乎所有的标签都是“僵尸”。另外,第三句和第二句有两个相等的标签:“僵尸,画画”。假设我们有10000条短信。那么,这些标签描述相同事物的可能性有多大呢?我们可以删除标签之一(油漆)并使用onle 1(僵尸)吗?所以,这就像是对变化的贡献。如果我们移除一些实验室会不会有太大的影响?我们能去掉一些标签吗?
发布于 2019-09-20 14:48:39
我认为你可以使用余弦相似,这是相当常见的这类任务。
from sklearn.metrics.pairwise import cosine_similarity
msgs_CosSim = pd.DataFrame(cosine_similarity(features, features))发布于 2019-09-20 15:06:19
相关性的概念可以发现特性之间的紧密性,但是您是说您想要对那些没有意义的类标签这样做,因为如果特性是相同的,那么它们必须有相同的类标签。请分享你想要解决的最终问题。
https://stackoverflow.com/questions/58030267
复制相似问题