从段落中提取伤害的方法和描述是什么？

Question

假设我有一个段落来解释这些伤害及其描述。我想从文本中提取伤害及其相应的描述。我怎么能这么做？

例如，该段如下：

在我看来，颈部疼痛是由于软组织损伤。手部骨折将于2个月内愈合。肩部和颈部的疼痛是由软组织损伤引起的。臀部周围有一种僵硬和不适。

预期产出如下：

{
"neck": ["soft tissue"],
"hand": ["fracture"],
"shoulder": [ "soft tissue"],
"hip": ["stiffness", "discomfort"]
}

这里可以使用哪种NLP技术？

我们有两个关于伤害和描述的txt文件。

但我们如何将描述与其相应的伤害联系起来或匹配呢？

我尝试了依赖解析器，但问题是我们必须为每个损伤编写一些模式，我们有100多个损伤和100多个描述。因此，如果我们为所有的伤病写模式，将会有大量的模式，我认为这将需要太多的时间和力量。

还有其他方法来做这种提取吗？

这一段没有共同的结构。

我用python和spacy来做这个。

Answer 1

考虑到你的损伤描述的非结构化性质，我不认为用经典的NLP技术可以做到这一点。我建议您使用大型语言模型(LLM)，或者OpenAi的GPT系列，或者类似于Llama或RedPajama之类的语言模型。给它一个提示符和一个例子，它应该给你的结果。

这将是使用您问题中的示例可能出现的提示的一个例子：

Given the description of the state of a patient, extract the diagnosis of their injuries:

Description: In my opinion the neck pain is due to the soft tissue injury. The fracture on the hand will be resolved in 2 months. The pain in the shoulder and neck is due to the soft tissue injury. There is a stiffness and discomfort around the hip.

Injuries: {
  "neck": ["soft tissue"],
  "hand": ["fracture"],
  "shoulder": [ "soft tissue"],
  "hip": ["stiffness", "discomfort"]
}

Description: the butt pain is due to the coccyx bone. The bruise of the arm is due to the soft tissue injury.

Injuries: {

模型会为你完成伤害JSON。然后解析它。考虑到你的例子缺乏多样性，你可能需要提供更多的例子，可能还有更多的伤害。设计一个有效的提示(又称“提示工程”)是使用LLMs的一部分。

请注意，您不需要对模型进行再培训，您可以使用预先培训过的模型，提供一个明智的提示，使LLM给出所需的输出。

至于使用哪种型号，现在有几十种。有些是一般领域，有些是医学数据方面的培训。其中一些许可证允许商业用途，另一些只允许研究用途。有的很大，有的比较小。你应该研究目前可用的预先训练的模型，并选择一个在满足你的操作限制的同时产生良好效果的模型。