如何评价一个基于方面的情感分析模型？

Question

我有一个模型X，它进行回顾并预测方面和极性的位置：

input: Serves really good sushi. (review)
output: sushi > Positive (aspect > polarity).

我在文献中看到，这个任务有很多不同的评价方法。此外，一些数据集/模型包括情感词(在我们的示例中，'really good')。

无论如何，鉴于上述输入和输出，我如何评估我的模型？在体貌词上？关于极性？在将极性计算为命中之前，我是否应该验证极性是否引用了正确的方面？

Answer 1

经过长时间的文献回顾，我能够回答我的问题：

有几个任务，因此它取决于：

• Aspect提取：测量检测sushi的准确性(或任何其他度量，通常是F1评分)
• Opinion提取：测量good检测精度
• Sentiment分类：测量sushi正确分类为Positive的准确性
• 端到端ABSA：准确度将根据两个步骤(1和3 )来衡量。如果模型正确地检测到了方面和情绪，那么这是正确的情况。如果模型漏掉其中一个，那么这个案例将被认为是错误的。这个类别就是我上述问题的答案。

1. 我在SemEval共享任务(2014、2015、2016)中看到，它们还有另一项任务，即方面的<#>category分类。例如，考虑到上面的例子，模型应该给sushi一个food标签。

因此，这取决于你到底想做什么，或者你的任务是什么。我希望我没有错过任何事。