零基础学AI大模型之新版LangChain向量数据库VectorStore设计全解析

# 安装LangChain核心库+Milvus集成包
pip install langchain-core langchain-milvus

from langchain_core.documents import Document
from langchain_community.embeddings import OpenAIEmbeddings
from langchain_milvus import Milvus

# 1. 准备测试文档（Document对象列表）
documents = [
    Document(
        page_content="LangChain是一个大模型应用开发框架",
        metadata={"category": "AI框架", "author": "工藤学编程"}
    ),
    Document(
        page_content="VectorStore是LangChain的向量存储抽象层",
        metadata={"category": "LangChain核心模块", "author": "工藤学编程"}
    )
]

# 2. 初始化嵌入模型
embedding = OpenAIEmbeddings(api_key="你的API密钥")  # 也可使用本地化嵌入模型（如Sentence-BERT）

# 3. from_documents()：首次初始化向量库并插入文档（自动创建集合）
vector_store = Milvus.from_documents(
    documents=documents,
    embedding=embedding,
    connection_args={"uri": "http://47.119.128.20:19530"},  # Milvus连接参数
    collection_name="langchain_demo",
)

# 4. add_documents()：向已有向量库追加文档（集合已存在）
new_doc = Document(
    page_content="Milvus是一款高性能开源向量数据库",
    metadata={"category": "向量数据库", "author": "工藤学编程"}
)
vector_store.add_documents(documents=[new_doc])

# 5. add_texts()：直接插入文本（自动关联元数据）
texts = ["LangChain支持多种向量数据库", "VectorStore支持相似度搜索和MMR搜索"]
metadatas = [{"category": "LangChain特性"}, {"category": "VectorStore特性"}]
vector_store.add_texts(texts=texts, metadatas=metadatas)

# 1. 基础相似度搜索（返回前2条最相关文档）
sim_results = vector_store.similarity_search(
    query="LangChain的核心模块有哪些？",
    k=2,
    filter={"category": "LangChain核心模块"}  # 元数据过滤
)
print("=== 相似度搜索结果 ===")
for doc in sim_results:
    print(f"内容：{doc.page_content}")
    print(f"元数据：{doc.metadata}\n")

# 2. 带相似度得分的搜索
sim_score_results = vector_store.similarity_search_with_score(
    query="向量数据库有哪些？",
    k=1
)
print("=== 带得分的搜索结果 ===")
for doc, score in sim_score_results:
    print(f"内容：{doc.page_content}")
    print(f"相似度得分：{score:.4f}\n")

# 3. MMR多样化搜索
mmr_results = vector_store.max_marginal_relevance_search(
    query="AI相关的工具和框架有哪些？",
    k=2,
    fetch_k=5,  # 从5条候选集中筛选2条
    lambda_mult=0.6  # 偏向相关性
)
print("=== MMR搜索结果 ===")
for doc in mmr_results:
    print(f"内容：{doc.page_content}")
    print(f"元数据：{doc.metadata}\n")

# 4. 转换为Retriever（融入LangChain链）
retriever = vector_store.as_retriever(
    search_kwargs={
        "k": 2,
        "filter": {"author": "工藤学编程"}
    }
)
# 链式调用中使用
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(api_key="你的API密钥")
chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | llm
    | StrOutputParser()
)
# 执行问答
print("=== 链式调用结果 ===")
print(chain.invoke("LangChain的向量存储模块是什么？"))

from langchain_core.documents import Document
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_community.embeddings import SentenceTransformerEmbeddings
from langchain_milvus import Milvus
from langchain_openai import ChatOpenAI
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser

# 1. 准备原始文档（这里用模拟文档，实际可从文件读取）
raw_text = """
LangChain VectorStore核心特性：
1. 抽象统一接口，支持多向量数据库适配；
2. 内置相似度搜索、MMR搜索等多种检索方式；
3. 无缝衔接LangChain链式调用，适配RAG系统；
4. 支持文档批量插入与增量更新。

VectorStore常用方法：
- from_documents()：初始化并插入文档；
- add_documents()：增量追加文档；
- similarity_search()：相似度检索；
- max_marginal_relevance_search()：多样化检索。
"""

# 2. 文本分割（RecursiveCharacterTextSplitter适合通用场景）
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,  # 每个片段100字符
    chunk_overlap=20,  # 片段重叠20字符（保证语义连贯）
    length_function=len
)
chunks = text_splitter.split_text(raw_text)
# 封装为Document对象（添加元数据）
documents = [Document(page_content=chunk, metadata={"source": "LangChain官方文档"}) for chunk in chunks]

# 3. 初始化嵌入模型（使用本地化模型，无需API密钥）
embedding = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")

# 4. 初始化VectorStore（Milvus）并入库
vector_store = Milvus.from_documents(
    documents=documents,
    embedding=embedding,
    connection_args={"uri": "http://192.168.229.128:19530"},
    collection_name="langchain_vectorstore_demo",
    drop_old=True  # 存在同名集合时删除（冷启动专用）
)

# 5. 转换为Retriever并构建RAG链
retriever = vector_store.as_retriever(
    search_kwargs={"k": 2, "filter": {"source": "LangChain官方文档"}}
)
llm = ChatOpenAI(api_key="你的API密钥", model="gpt-3.5-turbo")
rag_chain = (
    {"context": retriever | (lambda docs: "\n\n".join([d.page_content for d in docs])), "question": RunnablePassthrough()}
    | """根据以下上下文回答问题：
{context}

问题：{question}
"""
    | llm
    | StrOutputParser()
)

# 6. 执行问答（测试冷启动效果）
print("=== 知识库冷启动问答结果 ===")
print(rag_chain.invoke("LangChain VectorStore的核心特性有哪些？"))
print("\n=== 检索到的相关文档 ===")
for doc in retriever.get_relevant_documents("LangChain VectorStore的核心特性有哪些？"):
    print(f"- {doc.page_content}")