- 综合排序
- 最热优先
- 最新优先
- 来自专栏陶士涵的菜地
开发GPT知识库功能时，需要上传word文档让知识库向量化，Golang读取word文档功能
开发GPT知识库功能时，需要上传word文档让知识库向量化，Golang读取word文档功能。
1.1K10编辑于 2023-04-21 - 来自专栏陶士涵的菜地
客服系统个性化训练GPT知识库+知识库列表中新增向量搜索功能+语义文本搜索
大家都知道想要实现个性化训练的GPT，离不开向量数据库。 在我的客服系统后台，能够展示出向量库里的数据列表。现在有一个新需求，客户添加的数据很多，想要能够在后台搜索指定的数据，方便去修改。 新增搜索功能后，后台界面展示如下： 搜索部分也是基于的Qdrant数据库的search 接口，该接口需要把搜索的文本转成向量后，再通过向量去搜索相关数据。 所以，还是需要调用下gpt的 /v1/embeddings ，把搜索的关键词转为向量。 拿到向量再去调用qdrant数据库的 /collections/集合/points/search ，就可以把关键词通过语义文本相似性搜索出相关的数据 看看下面的效果，我胡乱写的搜索关键词，正常的分词搜索是搜不出数据的 ，现在通过向量搜索就能搜出来了
43820编辑于 2023-07-21 向量检索+NLU：AI知识库高效检索的核心逻辑与实操
而语义化AI问答和向量检索式AI搜索，则从根本上解决了传统知识库的关键词检索瓶颈，传统基于倒排索引的搜索方式常出现“搜不到”“搜不准”的情况，比如查询“如何解决HTTP接口调用超时的服务端问题”，关键词搜索仅能返回含 “超时”的零散文档，而系统的AI搜索通过自然语言理解（NLU） 解析用户查询意图，结合知识库的内容向量库做精准匹配，AI问答还能基于知识库语料做上下文关联推理，直接给出结构化的解决方案，无需再逐篇翻找整合信息 实操中还可利用其批量离线文件导入接口，将过往散落的Word、PDF、MD格式文档一次性批量迁入知识库，结合系统的内容结构化解析能力完成文档格式归一化，大幅降低知识库初期的内容迁移成本。 系统的第三方体系无缝集成能力依托轻量化的API接口与WebHook机制实现，让知识库的使用场景得到无限延伸，这也是我在团队落地时最看重的特性。 我们团队日常基于飞书做协同办公，通过调用系统的机器人开发接口，快速实现飞书智能问答机器人的开发与部署，同事在飞书群内通过@机器人即可发起知识库查询，无需跨平台操作；同时将知识库的网页挂件组件嵌入公司官网产品板块
18210编辑于 2026-02-28- 来自专栏YO大数据
【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索
是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征，例如意义、上下文关系等。 当我们使用向量化模型（如OpenAI的text-embedding-ada-002模型）将文本转化为向量后，每个向量的维度表示某种语义特征，向量中的值反映了相应特征的强度。 | 分别是这两个向量的欧几里得范数（即向量的长度）。 这个比例的本质是测量两个向量之间夹角的余弦值，范围从-1到1： 当余弦值为1时，表示两个向量方向完全相同。 当余弦值为0时，表示两个向量正交，即在高维空间中不相关。 后续会使用到向量数据库 完成知识库的搭建 欢迎小伙伴们 点赞、收藏⭐、留言 有问题可以咨询主页
13.4K21编辑于 2024-05-25 基于 AutoFlow 快速搭建基于 TiDB 向量搜索的本地知识库问答机器人
导读本文将详细介绍如何通过 PingCAP 开源项目 AutoFlow 实现快速搭建基于 TiDB 的本地知识库问答机器人。 AutoFlow 是 PingCAP 开源的一个基于 Graph RAG、使用 TiDB 向量存储和 LlamaIndex 构建的对话式知识库聊天助手。 启动知识库应用运行以下 docker compose 命令启动知识库应用程序：cd autoflowdocker compose -f docker-compose-cn.yml up -d --force-recreate 网页访问和配置知识库应用应用启动成功后，我们可以直接通过默认的 3000 端口访问相应的界面进行下一步操作了。 体验智能问答至此，我们已经完成了配置数据源并完成了向量化存储及向量索引的创建。
33310编辑于 2024-12-05向量检索与NLP赋能：开源知识库的技术核心与应用场景
此类AI大模型驱动的开源知识库系统，基于AGPL-3.0开源协议开发，依托大模型微调适配、向量数据库检索、RESTful API接口等核心技术，凭借智能化功能、灵活的拓展能力与轻量化的部署体验，为不同组织框架下的企业知识管理提供了全新的解决方案 在知识架构搭建上，该开源知识库支持结构化与轻量化并存的知识体系搭建模式，基于树形目录结构、标签化分类体系、向量嵌入索引，可根据企业组织框架的层级关系，搭建从企业级、部门级到岗位级的层级化知识目录，也可根据业务场景搭建轻量化的专题知识空间 （四）AI检索与问答：实现组织内的“知识找人”传统关键词检索模式往往存在“检索结果与需求匹配度低”的问题，而此类开源知识库的AI语义检索基于向量数据库（如Milvus、Chroma）、BERT语义模型， 针对集团型企业跨子公司、跨部门的知识查询需求，AI可通过跨库向量检索、分布式查询，打破组织边界，整合全集团的相关知识；针对事业部制企业各业务线的专业知识查询需求，AI可通过领域知识库微调，精准匹配业务线专属知识 （三）事业部制框架下的落地成效该企业的使用数据显示，部署该开源知识库后，基于向量检索的高效性，跨事业部知识查询的平均时间从原来的20分钟缩短至1分钟内，研发、生产、售后三大事业部的协作效率提升70%；生产事业部的工艺失误率因精准获取研发资料下降
13510编辑于 2026-03-11- 来自专栏夕阳醉了
基于GPT搭建私有知识库聊天机器人（三）向量数据训练
本文将重点介绍数据训练的流程，以及如何加载、切割、训练数据，并使用向量数据库Milvus进行数据存储。 1. 数据训练依赖于向量数据库 在本文中，我们使用了Milvus作为向量数据库。 读者可以参考之前的文章《基于GPT搭建私有知识库聊天机器人（二）环境安装》来准备其他基础环境。 2. 数据训练流程 数据训练的流程包括准备PDF文档、上传至系统文件目录、开始训练、加载文件内容、内容切割和存储至向量数据库。下面是整个流程的流程图： 3. chunk_size=chunk_size, chunk_overlap=chunk_overlap) texts = text_splitter.split_documents(documents) 3.4 存储至向量数据库 总结 在本文中，我们详细介绍了基于GPT搭建私有知识库聊天机器人的数据训练过程，包括数据训练的依赖、流程和代码展示。数据训练是搭建聊天机器人的重要步骤，希望本文能对读者有所帮助。
1.1K40编辑于 2023-10-16 - 来自专栏coder
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库
什么是 RAG RAG 是retrieval-augmented-generation的缩写，翻译为中文的意思就检索增强，以基于最新，最准确的数据建立LLM 的语料知识库。 LLM 现存的痛点 我们知道 LLM 的知识库是通过现有的网络公开的数据作为数据源来训练的，现在公开的很多模型他们基于的训练数据会比我们现在网络上公开的数据早很多，那自然就会产生一种问题，网络上最新的数据和知识 保存拆分好的文档保存到向量数据库中。 设计向量数据库的数据库、集合、字段，索引等信息。 向量化+存储 上面已经说明了向量库以及embedding model的关系。我们直接使用 langchain 提供的工具连完成 embedding 和store。 0.2, "top_p": 0.95, "stream": true }' 对比pdf中的内容，很明显这个结果就是对的： 总结： 本文主要是介绍了使用 langchain+ Milvus向量数据库构建一个知识库的示例
4.2K11编辑于 2024-09-06 - 来自专栏AI进修生
【闭门会干货】字节 AI 最新动态：豆包升级+提示词神器+ SOTA 向量模型 + AI知识库 ！
AI知识库： 图片、视频 都能理解 | RAG，支持飞书文档作为知识库数据，还能根据文档做 计划。 这些 都是让AI落地 的实用工具。 这次模型升级。 这模型在能力上又升了一级，第一次能把视频也向量化了，让多模态搜索和理解更深入。在所有向量化场景里，它都称得上是最佳选择。 在语义匹配 (STS) 这些常用向量化任务上也领先，各种任务都能搞定，泛化能力更强。 全模态混合检索：这是它第一次能把视频也向量化了。 redirectURI=%2Fvikingdb%2Fknowledge%2Fregion%3Avdb-knowledge%2Bcn-beijing%2Fcollection%2Flist Viking：字节的知识库和向量库 基于这个向量数据库，字节还搞了个好用的知识库产品。升级后的知识库，支持图、文、视频的多模态处理和混排输出，在国内外的评测里效果都更好了。
1.3K10编辑于 2025-08-04 - 来自专栏一直在跳坑然后爬坑
向量空间相关概念总结-向量
n维向量： ? n维列向量 ? n维行向量 两个向量相等：大小相等，方向相同 ? 向量相等 向量的长度：就是起点与终点的距离，记作： ? 向量长度 向量的方向： 用向量和它坐标轴的夹角来表示，比如： ? 向量方向 向量平行：两个向量方向相同或相反就算平行 零向量：起点和终点是同一个点，零向量长度是0，注意，零向量与任何一个向量平行，他虽然长度为0，但是他却有无穷多的方向 基础运算 向量加法 当然，如果两个边共线了，那第三个边等于前两个边之和 向量数乘：就是一个向量乘以一个数。比如一个向量乘以k，几何意义就是这个向量放大了k倍，k如果是负数那方向就反过来了。 k如果是0的话那这个向量就变成零向量了。其实根据字面意思也好理解，就是k倍的某向量嘛，所以向量的各个维度都应该放大k倍，这样就好理解向量的代数表示了。
1.3K20发布于 2018-10-10 - 来自专栏陶士涵的菜地
基于GPT3.5实现本地知识库解决方案-利用向量数据库和GPT向量接口-实现智能回复并限制ChatGPT回答的范围
标题有点长，但是基本也说明出了这篇文章的主旨，那就是利用GPT AI智能回答自己设置好的问题 既能实现自己的AI知识库机器人，又能节省ChatGPT调用的token成本费用。 代码仓库地址 document.ai: 基于GPT3.5的通用本地知识库解决方案 下面图片是整个流程： 导入知识库数据 利用openai的向量接口生成向量数据，然后导入到向量数据库qdrant 这段代码会将指定目录下的所有文件读取出来 最后，将向量和文件名、文件内容一起作为一个文档插入到 Qdrant 数据库中。 具体来说，这段代码会遍历 . to_embeddings函数会使用 OpenAI 的 API 将文本内容转换为向量，最后返回一个包含文件名、文件内容和向量的列表。 title": item[0], "text": item[1]}), ], ) count += 1 查询知识库数据
7.1K60编辑于 2023-03-25 - 来自专栏用户画像
中断向量 中断向量表
2、中断向量：早期的微机系统中将由硬件产生的中断标识码（中断源的识别标志，可用来形成相应的中断服务程序的入口地址或存放中断服务程序的首地址）称为中断向量。 在某些计算机中，中断向量的位置存放一条跳转到中断服务程序入口地址的跳转指令。 3、中断向量地址：存储中断向量的存储单元地址。 存放：存放中断服务程序的入口地址，来存放中断向量（共256个），称这一片内存区为中断向量表。 当响应中断时，硬件自动执行相应中断向量处的跳转代码，然后跳转到具体的中断服务程序的入口地址。 综上所述：中断向量的地址一定是 中断服务程序的入口地址的地址，但中断向量不一定就是中断服务程序的入口地址。
3.1K40发布于 2018-08-27 - 来自专栏小小程序员——DATA
支持向量机 支持向量机概述
支持向量机概述 支持向量机 Support Vector MachineSVM ) 是一类按监督学习 ( supervisedlearning)方式对数据进行二元分类的广义线性分类器 (generalized linear classifier) ，其决策边界是对学习样本求解的最大边距超亚面 (maximum-margin hyperplane)与逻辑回归和神经网终相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰 ，更加强大的方式 硬间隔、软间隔和非线性 SVM 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向量机。 算法思想 找到集合边缘上的若工数据 (称为支持向量 (Support Vector) )用这些点找出一个平面(称为决策面)，使得支持向量到该平面的距离最大 超平面方程： \mathbf{w} ，支持向量到超平面的距离为 d，其他点到超平面的距离大于 d 至此可以得到最大间隔超平面的上下两个超平面: d=|\mathbf{w} \cdot \mathbf{x} + b | /||w||
67511编辑于 2023-12-20 - 来自专栏AI机器学习与深度学习算法
简单理解向量对向量的求导
全文字数：1127字 阅读时间：8分钟 前言 本文引入向量对向量求导的问题，向量对向量求导的关键是最终求导向量的排列问题。 提出了向量对向量求导的具体流程，最后以本文开头的向量求导为例具体展示向量对向量求导的具体流程。 image.png image.png 不过为了方便我们在实践中应用，通常情况下即使y向量是列向量也按照行向量来进行求导。
3.6K10发布于 2020-05-22 - 来自专栏PaddlePaddle
【词向量】Hsigmoid加速词向量训练
本周推文目录如下： 周三：【词向量】Hsigmoid加速词向量训练 周四：【词向量】 噪声对比估计加速词向量训练 周五：【RNN语言模型】使用RNN语言模型生成文本 词向量用一个实向量表示词语，向量的每个维都表示文本的某种潜在语法或语义特征 这种表示方式比较简洁，但是当词表很大时，容易产生维度爆炸问题；而且任意两个词的向量是正交的，向量包含的信息有限。 为了避免或减轻one-hot表示的缺点，目前通常使用词向量来取代one-hot表示，词向量也就是word embedding，即使用一个低维稠密的实向量取代高维稀疏的one-hot向量。 网络输入为词在字典中的id，然后查询词向量词表获取词向量，接着拼接4个词的词向量，然后接入一个全连接隐层，最后是Hsigmoid层。详细网络结构见图2： ? 图2. 预测时输出一个宽度为[batch_size x 类别数目 - 1] 维度的矩阵（batch_size = 1时退化为一个向量）。矩阵行向量的每一维计算了一个输入向量属于一个内部结点的右孩子的概率。
1.3K80发布于 2018-03-15 - 来自专栏一直在跳坑然后爬坑
向量空间相关概念总结-向量空间
什么是向量空间 特点： ① 包含向量 比如向量组，而且向量组内部的向量维数相同 ② 包含向量的运动 向量的加法->生成新的向量 向量的数乘->向量伸缩 ③ 向量的运动依然在空间中 向量相加生成的新向量也在这个空间中 向量数乘伸缩完之后也在这个空间中 定义： 如果一个向量组，它对向量的加法和数乘两种运算封闭，那么就称它为向量空间。 是指在这个向量空间中的向量进行数乘和加减，结果依然在这个向量空间内，即： ? 特殊的东西： ① 仅包含零向量的向量空间称为0维向量空间 ② 向量空间必须包含0向量 ③ 最高次数大于等于零的多项式的全体也是一个向量空间，比如： ? 如何判断某个向量空间A是不是另一个向量空间B的子空间 ① 是不是包含原点，不包含原点的连向量空间都不是 ② A向量空间里的向量进行加法变换生成的新向量是否一定在B向量空间中 ③ A向量空间里的向量进行数乘变换后是否一定在
2.2K20发布于 2018-10-10 【RAG新范式】超越向量搜索：企业级知识库构建必知的3大RAG高级策略
#【RAG新范式】超越向量搜索：企业级知识库构建必知的3大RAG高级策略摘要：本文深度剖析企业级知识库构建中RAG（检索增强生成）技术的进阶实践。 通过电商客服系统案例，我们将揭示传统向量搜索的三大瓶颈：语义鸿沟、上下文稀释和多模态割裂，并给出查询改写增强、上下文窗口优化和混合检索架构三大核心解决方案。 ，该框架会出现：召回率下降38%（测试数据）平均响应延迟>2.3秒复杂问题准确率仅61%2.2企业级知识库的特殊挑战与传统互联网搜索不同，企业场景要求：维度互联网搜索企业知识库挑战指数文档规模亿级百万级 C-->|是|D[术语知识库匹配]C-->|否|E[标准处理]D-->F[标准化表述]F-->G[新查询组装]图示说明：当用户说“碎屏险”，系统自动映射到知识库中的标准术语“屏幕损坏保险（条款编号INS >当前系统能检索片段但无法串联逻辑链怎样构建持续自进化知识库？人工维护成本仍占总投入的68%能否突破多模态对齐的极限？
25910编辑于 2026-02-06- 来自专栏老齐教室
向量空间
假设平面直角坐标系中两个向量： 如图所示，如果要将这两个向量相加，可以按照中学物理所学习的“平行四边形”法则，得到了向量，其端点坐标如图中所标示。 ? 显然，对于集合，所有的向量都遵循上述加法运算法则。 此外，如果用一个数值乘以某个向量，例如，则得到图1-2-3所示： ? 1-2-3 所得到的向量与原来的向量方向相同，但长度是原来的倍。 根据向量空间的加法和数量乘法运算法则，可以得到如下8条推论，它们都是某个向量空间中向量所遵循的运算法则。 以上表示向量的时候，写成了一列，这种称为列向量。此外，也可以写成一行，如，那样，称为行向量。有时为了书写方便，会把列向量写成，T表示转置。 在机器学习中，向量无处不在，可以说只要有计算，就离不开向量。为何？这是因为向量能够让提升运算速度。
1.5K10发布于 2020-05-14 - 来自专栏hotarugaliの技术分享
向量空间
向量空间（线性空间） 1.1 定义 1.1.1 向量空间 对于以向量为元素的集合 ，若对于向量集合 中的向量 和标量域 中的标量 ，以下两个闭合性和关于加法及乘法的 个定律均满足时 存在零向量 ，使得 ，恒有 ，称为零向量的存在性。 ，使得 ，称为负向量的存在性。 满足以上三个性质的实向量空间和复向量空间分别称为实内积向量空间和复内积向量空间。 2.2 性质 。（共轭对称性） 。（第一变元的线性性） 3. 内，则称向量空间 为完备向量空间。 内，则称赋范向量空间 为完备赋范向量空间。
1.5K20编辑于 2022-03-13 - 来自专栏生信喵实验柴
认识向量
Excel 中数据类型 数值类型 类型 说明 字符(charactor) 常常被引号包围 数值(numeric) 实数向量 复数(complex) 复数向量 逻辑(logical) 二元逻辑向量 # 显示所有内置数据集 data() #加载扩展包数据集 data(package = "MASS") data(package = "ggplot2") 四、向量 向量：vector，是 向量其实是用于存储数值型、字符型或逻辑型数据的一维数组。R 中的向量与解析几何或者物理学中有数值和方向的量不同，R 中的向量是一个集合，即可以是数值的集合也可以是字符串或者逻辑值的集合。 其余数据结构都由向量构成。 4.1 创建向量 用函数c来创建向量。c代表concatenate连接，也可以理解为收集collect，或者合并combine。 #R 内置向量 rivers euro plot(rivers) hist(rivers) names(euro) length(euro) a <- c(1,2,3) #字符型向量
79810编辑于 2022-10-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号