用 OpenAI Functions 从文本构建知识图谱实战篇

# 示例代码将在后续提供


连接示例代码：

```python
from langchain.graphs import Neo4jGraph

url = "neo4j+s://databases.neo4j.io"
username = "neo4j"
password = ""

graph = Neo4jGraph(
    url=url,
    username=username,
    password=password
)

class Node(Serializable):
    """Represents a node in a graph with associated properties.

    Attributes:
        id (Union[str, int]): A unique identifier for the node.
        type (str): The type or label of the node, default is "Node".
        properties (dict): Additional properties and metadata associated with the node.
    """

    id: Union[str, int]
    type: str = "Node"
    properties: dict = Field(default_factory=dict)


class Relationship(Serializable):
    """Represents a directed relationship between two nodes in a graph.

    Attributes:
        source (Node): The source node of the relationship.
        target (Node): The target node of the relationship.
        type (str): The type of the relationship.
        properties (dict): Additional properties associated with the relationship.
    """

    source: Node
    target: Node
    type: str
    properties: dict = Field(default_factory=dict)

from langchain.graphs.graph_document import (
    Node as BaseNode,
    Relationship as BaseRelationship
)
from typing import List, Dict, Any, Optional
from langchain.pydantic_v1 import Field, BaseModel

# 属性类：表示一个 key-value 属性
class Property(BaseModel):
    """一个由 key 和 value 构成的单个属性"""
    key: str = Field(..., description="属性名")
    value: str = Field(..., description="属性值")

# 重写 Node 类，使用属性列表替代字典
class Node(BaseNode):
    properties: Optional[List[Property]] = Field(
        None, description="节点属性列表")

# 重写 Relationship 类，使用属性列表替代字典
class Relationship(BaseRelationship):
    properties: Optional[List[Property]] = Field(
        None, description="关系属性列表")

class KnowledgeGraph(BaseModel):
   """用于生成包含实体和关系的知识图谱的结构定义"""

   nodes: List[Node] = Field(
       ..., description="知识图谱中的节点列表")
   
   rels: List[Relationship] = Field(
       ..., description="知识图谱中的关系列表")

llm = ChatOpenAI(model="gpt-3.5-turbo-16k", temperature=0)

def get_extraction_chain(
    allowed_nodes: Optional[List[str]] = None,
    allowed_rels: Optional[List[str]] = None
):
    prompt = ChatPromptTemplate.from_messages([
        (
            "system",
            f"""# GPT-4 知识图谱构建说明

## 1. 总览（Overview）
你是一个顶尖的算法，用于从自然语言中提取结构化信息，并构建知识图谱。
- **节点（Nodes）** 表示实体和概念，类似维基百科词条；
- 构建目标是简洁明了、结构清晰，方便大众理解和使用。

## 2. 节点标注规范（Labeling Nodes）
- **一致性**：节点标签应统一使用基本类型。
  - 例如：人物统一标记为 `"person"`，不要使用 `"mathematician"` 或 `"scientist"` 这类更具体的术语；
- **节点 ID 规范**：禁止使用纯数字作为 ID，应使用文本中出现的名称或可读标识符。

{'- **允许的节点标签（Allowed Node Labels）:** ' + ", ".join(allowed_nodes) if allowed_nodes else ""}
{'- **允许的关系类型（Allowed Relationship Types）:** ' + ", ".join(allowed_rels) if allowed_rels else ""}

## 3. 数值与日期处理（Handling Numerical Data and Dates）
- 年龄等数值信息应作为节点属性嵌入；
- **禁止将日期/数值作为独立节点**，应直接作为属性附加到相关节点；
- **属性格式**：必须为键值对（key-value）形式；
- **引号使用规范**：属性值中不得包含转义的引号（`\'` 或 `\"`）；
- **命名风格**：属性键使用驼峰命名（如：`birthDate`）。

## 4. 指代消解（Coreference Resolution）
- **保持实体一致性**：如果一个实体在文本中多次出现且使用不同称呼（如 “John Doe”、“Joe”、“he”），应统一使用最完整的名称（如 “John Doe”）作为节点 ID；
- 确保整个知识图谱中实体引用一致、清晰、可读。

## 5. 严格遵守规范（Strict Compliance）
必须严格按照以上规则操作；
若不符合要求，将终止处理任务。
"""
        ),
        ("human", "使用上述格式，从以下输入中提取信息：{input}"),
        ("human", "提示：请确保使用正确格式进行输出")
    ])

    return create_structured_output_chain(KnowledgeGraph, llm, prompt, verbose=False)

def extract_and_store_graph(
  document: Document,
  nodes: Optional[List[str]] = None,
  rels: Optional[List[str]] = None
) -> None:
  # 使用 OpenAI Functions 进行图谱信息抽取
  extract_chain = get_extraction_chain(nodes, rels)
  data = extract_chain.run(document.page_content)

  # 构造图谱文档对象（包含节点和关系）
  graph_document = GraphDocument(
      nodes=[map_to_base_node(node) for node in data.nodes],
      relationships=[map_to_base_relationship(rel) for rel in data.rels],
      source=document
  )

  # 将信息写入 Neo4j 图数据库
  graph.add_graph_documents([graph_document])

from langchain.document_loaders import WikipediaLoader
from langchain.text_splitter import TokenTextSplitter

# 读取 Wikipedia 文章
raw_documents = WikipediaLoader(query="Walt Disney").load()

# 定义文本分块策略
text_splitter = TokenTextSplitter(chunk_size=2048, chunk_overlap=24)

# 仅取前三个文档进行处理
documents = text_splitter.split_documents(raw_documents[:3])

from tqdm import tqdm

for i, d in tqdm(enumerate(documents), total=len(documents)):
    extract_and_store_graph(d)

# 指定 LLM 可抽取的节点标签类型
allowed_nodes = ["Person", "Company", "Location", "Event", "Movie", "Service", "Award"]

# 运行抽取流程，仅保留指定节点类型
for i, d in tqdm(enumerate(documents), total=len(documents)):
    extract_and_store_graph(d, allowed_nodes)

# 在 RAG 应用中查询知识图谱
from langchain.chains import GraphCypherQAChain

# 刷新图谱结构，确保查询时使用最新 schema
graph.refresh_schema()

# 初始化 Cypher 问答链
cypher_chain = GraphCypherQAChain.from_llm(
    graph=graph,
    cypher_llm=ChatOpenAI(temperature=0, model="gpt-4"),       # 生成 Cypher 查询语句的模型
    qa_llm=ChatOpenAI(temperature=0, model="gpt-3.5-turbo"),   # 回答最终问题的模型
    validate_cypher=True,    # 验证 Cypher 中关系方向的正确性
    verbose=True             # 打印调试信息
)

# 执行查询：Walter Elias Disney 是何时出生的？
cypher_chain.run("When was Walter Elias Disney born?")