万字长文详解向量数据库与RAG

docker run -d --name milvus -p 19530:19530 milvusdb/milvus:v2.6.9

// 初始化知识库
func (r *RAGSystem) InitializeKnowledgeBase() error {
    ctx := context.Background()
    collectionName := r.config.CollectionName

    // 检查集合是否存在
    exists, err := r.milvusClient.HasCollection(ctx, collectionName)
    if err != nil {
        return err
    }

    // 如果集合已存在，先删除（为了演示）
    if exists {
        err = r.milvusClient.DropCollection(ctx, collectionName)
        if err != nil {
            return fmt.Errorf("删除集合失败: %w", err)
        }
    }

    // 创建集合
    err = r.milvusClient.CreateCollection(ctx, &entity.Schema{
        CollectionName: collectionName,
        Description:    "RAG演示知识库",
        Fields: []*entity.Field{
            {
                Name:       "id",
                DataType:   entity.FieldTypeVarChar,
                PrimaryKey: true,
                AutoID:     false,
                TypeParams: map[string]string{
                    "max_length": "100",
                },
            },
            {
                Name:     "title",
                DataType: entity.FieldTypeVarChar,
                TypeParams: map[string]string{
                    "max_length": "200",
                },
            },
            {
                Name:     "content",
                DataType: entity.FieldTypeVarChar,
                TypeParams: map[string]string{
                    "max_length": "10000",
                },
            },
            {
                Name:     "vector",
                DataType: entity.FieldTypeFloatVector,
                TypeParams: map[string]string{
                    "dim": "4", // 简化版，使用4维向量
                },
            },
        },
        EnableDynamicField: false,
    }, 2) // 分片数为2
    if err != nil {
        return fmt.Errorf("创建集合失败: %w", err)
    }

    // 插入示例文档
    err = r.insertSampleDocuments()
    if err != nil {
        return fmt.Errorf("插入文档失败: %w", err)
    }

    // 创建索引
    index, err := entity.NewIndexHNSW(entity.L2, 8, 64)
    if err != nil {
        return fmt.Errorf("创建索引失败: %w", err)
    }

    err = r.milvusClient.CreateIndex(ctx, collectionName, "vector", index, false)
    if err != nil {
        return fmt.Errorf("创建向量索引失败: %w", err)
    }

    return nil
}

// 插入示例文档
func (r *RAGSystem) insertSampleDocuments() error {
    ctx := context.Background()

    // 示例文档数据（包含最新信息）
    documents := []Document{
        {
            ID:      "doc_001",
            Title:   "闫同学人物介绍",
            Content: "闫同学，男，来自中国，26岁，天蝎座，是知名技术博主、摄影博主、技术爱好者，擅长写Go语言，喜欢打羽毛球。",
        },
        {
            ID:      "doc_002",
            Title:   "扯编程的淡公众号介绍",
            Content: "扯编程的淡，科技领域知名微信公众号，由闫同学运营，内容多为技术博客，日常生活感想，截止2026年1月，已有粉丝2000+。",
        },
    }

    // 为每个文档生成向量并插入
    var ids []string
    var titles []string
    var contents []string
    var vectors [][]float32

    for _, doc := range documents {
        // 生成简化向量（4维）
        vector := r.generateSimpleVector(doc.Content)

        ids = append(ids, doc.ID)
        titles = append(titles, doc.Title)
        contents = append(contents, doc.Content)
        vectors = append(vectors, vector)
    }

    // 插入数据
    idColumn := entity.NewColumnVarChar("id", ids)
    titleColumn := entity.NewColumnVarChar("title", titles)
    contentColumn := entity.NewColumnVarChar("content", contents)
    vectorColumn := entity.NewColumnFloatVector("vector", 4, vectors)

    _, err := r.milvusClient.Insert(ctx, r.config.CollectionName, "", idColumn, titleColumn, contentColumn, vectorColumn)

    if err != nil {
        return err
    }

    fmt.Printf("✅ 插入了 %d 个文档到知识库\n", len(documents))
    return nil
}

func (r *RAGSystem) SearchDocuments(query string, topK int) ([]SearchResult, error) {
    ctx := context.Background()
    collectionName := r.config.CollectionName

    // 加载集合
    err := r.milvusClient.LoadCollection(ctx, collectionName, false)
    if err != nil {
        return nil, fmt.Errorf("加载集合失败: %w", err)
    }

    // 生成查询向量
    queryVector := r.generateSimpleVector(query)

    // 搜索参数
    sp, _ := entity.NewIndexHNSWSearchParam(32)

    // 执行搜索 - 根据最新SDK修正
    searchResults, err := r.milvusClient.Search(
        ctx,
        collectionName,
        nil,                                              // 分区列表
        "",                                               // 表达式
        []string{"title", "content"},                     // 输出字段
        []entity.Vector{entity.FloatVector(queryVector)}, // 查询向量
        "vector",                                         // 向量字段名
        entity.L2,                                        // 距离度量
        topK,                                             // topK
        sp,                                               // 搜索参数
    )

    if err != nil {
        return nil, fmt.Errorf("搜索失败: %w", err)
    }

    var results []SearchResult

    // 检查是否有结果
    if len(searchResults) == 0 {
        return results, nil
    }

    // 获取第一个查询的结果（因为我们只查询了一个向量）
    if len(searchResults) > 0 {
        searchResult := searchResults[0]

        // 获取ID列
        idCol, ok := searchResult.IDs.(*entity.ColumnVarChar)
        if !ok {
            return results, fmt.Errorf("ID列类型错误")
        }

        // 获取分数列和字段
        scores := searchResult.Scores
        fields := searchResult.Fields

        // 遍历所有结果
        for i := 0; i < searchResult.ResultCount; i++ {
            // 获取ID、分数
            id := idCol.Data()[i]
            score := float64(1.0 / (1.0 + scores[i]))

            // 获取标题和内容
            var title, content string
            for _, field := range fields {
                switch field.Name() {
                case "title":
                    if col, ok := field.(*entity.ColumnVarChar); ok {
                        title = col.Data()[i]
                    }
                case "content":
                    if col, ok := field.(*entity.ColumnVarChar); ok {
                        content = col.Data()[i]
                    }
                }
            }

            // 添加到结果列表
            results = append(results, SearchResult{
                Title:   title,
                Content: content,
                Score:   float32(score),
            })

            // 调试输出
            fmt.Printf("找到文档: ID=%s, Title=%s, Score=%.2f\n", id, title, score)
        }
    }
    return results, nil
}

func (r *RAGSystem) GetRAGAnswer(question string) (string, float64, []SearchResult, error) {
    start := time.Now()

    // 1. 检索相关文档
    results, err := r.SearchDocuments(question, 3)
    if err != nil {
        return "", 0, nil, err
    }

    // 2. 构建上下文
    var contextBuilder strings.Builder
    contextBuilder.WriteString("以下是相关文档信息：\n\n")

    for i, result := range results {
        contextBuilder.WriteString(fmt.Sprintf("文档%d: %s\n", i+1, result.Title))
        contextBuilder.WriteString(fmt.Sprintf("内容: %s\n\n", result.Content))
    }

    contextStr := contextBuilder.String()

    // 3. 调用DeepSeek生成答案
    ctx := context.Background()
    resp, err := r.openAIClient.CreateChatCompletion(ctx, openai.ChatCompletionRequest{
        Model: r.config.DeepSeekModel,
        Messages: []openai.ChatCompletionMessage{
            {
                Role:    openai.ChatMessageRoleSystem,
                Content: "你是一个严谨的AI助手，必须严格基于提供的上下文信息回答问题。如果上下文信息不足，请如实告知。不要编造上下文之外的信息。",
            },
            {
                Role:    openai.ChatMessageRoleUser,
                Content: fmt.Sprintf("上下文信息：\n%s\n\n问题：%s\n\n请基于上述上下文信息回答问题：", contextStr, question),
            },
        },
        Temperature: 0.1,
        MaxTokens:   500,
    })

    elapsed := time.Since(start).Seconds()

    if err != nil {
        return "", elapsed, results, err
    }

    if len(resp.Choices) == 0 {
        return "", elapsed, results, fmt.Errorf("未收到回答")
    }

    return resp.Choices[0].Message.Content, elapsed, results, nil
}

"闫同学是谁？"
"介绍一下扯编程的淡公众号"

🔍 获取纯DeepSeek回答：
⏱️  响应时间: 6.71秒
💬 回答: “闫同学”这个称呼比较常见，通常用于泛指一位姓“闫”的学生，没有特指某一位具体人物。如果您指的是某个特定领域的知名人物、网络热点事件中的人物，或者您身边的具体个人，请提供更多背景信息，以便我为您提供更准确的解答。

例如：
- 如果您指的是**学术或公众人物**（如科学家、作家等），可以补充其全名或领域。
- 如果您指的是**网络上的热点人物**（如社交媒体上的博主、新闻事件当事人等），可以描述相关事件。
- 如果您指的是**身边的同学或朋友**，建议直接联系对方或相关人士了解。

期待您的补充信息，我将尽力帮助您！

🔍 获取RAG增强回答：
找到文档: ID=doc_002, Title=扯编程的淡公众号介绍, Score=1.00
找到文档: ID=doc_001, Title=闫同学人物介绍, Score=1.00
⏱️  响应时间: 6.04秒
💬 回答: 闫同学是来自中国的26岁男性，天蝎座，是一名知名技术博主和摄影博主，也是技术爱好者，擅长Go语言，喜欢打羽毛球。他运营着科技领域知名微信公众号“扯编程的淡”，该公众号内容以技术博客和日常生活感想为主，截至2026年1月已有2000多名粉丝。

📄 检索到的相关文档:
  1. [相似度: 1.00] 扯编程的淡公众号介绍
     内容: 扯编程的淡，科技领域知名微信公众号，由闫同学运营，内容多为技术博客�...
  2. [相似度: 1.00] 闫同学人物介绍

📊 对比分析:
  - 时间开销: RAG比纯DeepSeek慢 -0.67秒
  - 信息质量: RAG基于 2 个相关文档生成

🔍 获取纯DeepSeek回答：
⏱️  响应时间: 14.38秒
💬 回答: “扯编程的淡”是一个以**幽默、轻松、生活化**的方式分享编程知识、技术观点和行业见闻的微信公众号。其内容风格独特，通常不局限于枯燥的技术教程，而是将编程与生活、职场、文化等结合，用通俗易懂的语言“扯淡”，让读者在轻松的氛围中获取信息或思考技术问题。

### 主要特点：
1. **幽默调侃的风格**  
   文章常以段子、吐槽或网络流行语开头，用轻松的语言讨论技术话题，比如用“程序员脱发”“996”等梗引发共鸣。

2. **贴近实际场景**  
   内容多围绕程序员日常（如面试、加班、技术选型）、行业热点（如AI发展、大厂动态）或学习心得，接地气且实用。

3. **非典型技术分享**  
   可能涉及技术冷知识、工具推荐、职业规划，甚至用编程思维解读生活问题（如“用算法找对象”“Debug人生”）。

4. **互动性强**  
   标题和内容常带有互动性，鼓励读者留言讨论，形成社区氛围。

### 适合人群：
- 编程初学者或学生，想以轻松方式入门技术。
- 在职程序员，希望缓解压力、寻找共鸣。
- 对科技文化感兴趣的非技术读者。

### 注意事项：
- 内容可能不够系统，适合碎片化阅读而非深度学习。
- 幽默风格可能掩盖技术深度，需结合其他资源补充学习。

若你对该公众号感兴趣，可以在微信搜索名称关注。类似风格的公众号还有“程序员小灰”“码农翻身”等，均以故事化、趣味化的方式讲解技术。

🔍 获取RAG增强回答：
找到文档: ID=doc_002, Title=扯编程的淡公众号介绍, Score=1.00
找到文档: ID=doc_001, Title=闫同学人物介绍, Score=1.00
⏱️  响应时间: 5.03秒
💬 回答: 根据提供的上下文信息，“扯编程的淡”是一个科技领域的知名微信公众号，由闫同学运营。该公众号主要发布技术博客和日常生活感想。截至2026年1月，其粉丝数量已超过2000人。

📄 检索到的相关文档:
  1. [相似度: 1.00] 扯编程的淡公众号介绍
     内容: 扯编程的淡，科技领域知名微信公众号，由闫同学运营，内容多为技术博客�...
  2. [相似度: 1.00] 闫同学人物介绍

📊 对比分析:
  - 时间开销: RAG比纯DeepSeek慢 -9.35秒
  - 信息质量: RAG基于 2 个相关文档生成