首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏机器学习算法与Python学习

    支持向量机之SMO-------7

    上次详细的介绍了用最小二乘法求解结构风险最小化问题的分类支持向量机,并在文章最后给出了求解对偶问题的序列最小优化(Sequential Minimal Optimization, SMO)算法解的形式 2. (2)式表明了是支持向量,在边界上。 3. (3)式表明了是在两条边界之间。 而最优解需要满足KKT 条件,即上述3 个条件都得满足,以下几种情况出现将会出现不满足: ?

    76750发布于 2018-04-04
  • 来自专栏知识库管理系统

    建立的知识库7个步骤

    知识库可以是一种强大的多功能工具,可以增强您的内部流程并帮助引导您的客户走向成功。但是并非所有的知识库本质上都如此有用和有价值。在许多情况下,设计不当或管理不善的知识库可能弊大于利。 建立强大而全面的知识库7 个步骤第 1 步:为您的知识库定义目标与所有业务计划一样,您的第一步将是通过创建知识库来定义您希望完成的任务。 面向客户的知识库的目标任何面向客户的知识库的主要目标是通过向您的受众提供自助服务选项来帮助自动化客户服务。内部知识库的目标创建内部知识库时,您的目标围绕着提高团队效率、有效性和整体生产力。 第 7 步:随着时间的推移更新和改进您的知识库在任何给定时刻,您可能需要更新现有知识库以反映最准确和当前的事物状态。 以上就是知识库搭建的最全步骤,当然一个好的知识库还离不开一个好的搭建工具,这里推荐Baklib,一款在线知识库、帮助中心搭建工具,能让您在更短的时间内搭建一个简洁清晰的知识库文档。

    2K20编辑于 2022-07-22
  • 来自专栏陶士涵的菜地

    客服系统个性化训练GPT知识库+知识库列表中新增向量搜索功能+语义文本搜索

    大家都知道想要实现个性化训练的GPT,离不开向量数据库。 在我的客服系统后台,能够展示出向量库里的数据列表。现在有一个新需求,客户添加的数据很多,想要能够在后台搜索指定的数据,方便去修改。 新增搜索功能后,后台界面展示如下: 搜索部分也是基于的Qdrant数据库的search 接口,该接口需要把搜索的文本转成向量后,再通过向量去搜索相关数据。 所以,还是需要调用下gpt的 /v1/embeddings ,把搜索的关键词转为向量。 拿到向量再去调用qdrant数据库的  /collections/集合/points/search ,就可以把关键词通过语义文本相似性搜索出相关的数据 看看下面的效果,我胡乱写的搜索关键词,正常的分词搜索是搜不出数据的 ,现在通过向量搜索就能搜出来了

    44320编辑于 2023-07-21
  • 来自专栏陶士涵的菜地

    开发GPT知识库功能时,需要上传word文档让知识库向量化,Golang读取word文档功能

    开发GPT知识库功能时,需要上传word文档让知识库向量化,Golang读取word文档功能。

    1.1K10编辑于 2023-04-21
  • 来自专栏数据和云

    YH7:Oracle Global Data Services知识库

    7、复制数据库的集中工作负载管理 GDS允许更容易地配置和管理位于具有单个统一框架的任何位置的复制数据库的资源。 7 Oracle高可用架构与GDS Oracle最高可用性架构(MAA)是Oracle针对Oracle高级高可用性(HA)技术的集成套件的最佳实践蓝图。

    1.6K70发布于 2018-03-07
  • 来自专栏机器学习/数据可视化

    吴恩达笔记7_支持向量

    吴恩达机器学习-7-支持向量机SVM 本周主要是讲解了支持向量机SVM的相关知识点 硬间隔 支持向量 软间隔 对偶问题 优化目标Optimization Objectives 主要是讲解如何从逻辑回归慢慢的推导出本质上的支持向量机 支持向量机 ? 根据逻辑回归推导得到的支持向量机的公式 : ? 两个cost函数是上面提到的两条直线。 间隔和支持向量 注释:本文中全部采用列向量: ? 划分超平面的的线性描述: {w\cdot x+b=0} W称之为法向量(看做是列向量),决定平面的方向;b是位移项,决定了超平面和原点之间的距离。 空间中任意一点x到超平面(w,b)的距离是: ? 间距margin 求解间距margin就是求解向量{({x_+}-{x_-})}在法向量上的投影 ? 决策边界上的正例表示为: ? 决策边界行的负例表示为: ?

    92520发布于 2021-03-02
  • 向量检索+NLU:AI知识库高效检索的核心逻辑与实操

    而语义化AI问答和向量检索式AI搜索,则从根本上解决了传统知识库的关键词检索瓶颈,传统基于倒排索引的搜索方式常出现“搜不到”“搜不准”的情况,比如查询“如何解决HTTP接口调用超时的服务端问题”,关键词搜索仅能返回含 “超时”的零散文档,而系统的AI搜索通过自然语言理解(NLU) 解析用户查询意图,结合知识库的内容向量库做精准匹配,AI问答还能基于知识库语料做上下文关联推理,直接给出结构化的解决方案,无需再逐篇翻找整合信息 实操中还可利用其批量离线文件导入接口,将过往散落的Word、PDF、MD格式文档一次性批量迁入知识库,结合系统的内容结构化解析能力完成文档格式归一化,大幅降低知识库初期的内容迁移成本。 系统的第三方体系无缝集成能力依托轻量化的API接口与WebHook机制实现,让知识库的使用场景得到无限延伸,这也是我在团队落地时最看重的特性。 我们团队日常基于飞书做协同办公,通过调用系统的机器人开发接口,快速实现飞书智能问答机器人的开发与部署,同事在飞书群内通过@机器人即可发起知识库查询,无需跨平台操作;同时将知识库的网页挂件组件嵌入公司官网产品板块

    22510编辑于 2026-02-28
  • TransNormerLLM-7B 接入 LangChain 搭建知识库助手

    TransNormerLLM-7B 接入 LangChain 搭建知识库助手 环境准备 在 autodl 平台中租赁一个 3090/4090 等 24G 显存的显卡机器,如下图所示镜像选择 PyTorch ', cache_dir='/root/autodl-tmp', revision='master') 代码准备 为便捷构建 LLM 应用,我们需要基于本地部署的 TransNormerLLM-7B,自定义一个 LLM 类,将 TransNormerLLM-7B 接入到 LangChain 框架中。 基于本地部署的 TransNormerLLM-7B 自定义 LLM 类并不复杂,我们只需从 LangChain.llms.base.LLM 类继承一个子类,并重写构造函数与 _call 函数即可: from Jupyter 中则不需要库导入 llm = TransNormer_LLM(mode_name_or_path = "/root/autodl-tmp/OpenNLPLab/TransNormerLLM-7B

    21310编辑于 2025-07-17
  • 来自专栏YO大数据

    【AI大模型】Embedding模型解析 文本向量知识库的构建和相似度检索

    是将文字或短语转换成数值向量的过程。这些向量捕捉了单词的语义特征,例如意义、上下文关系等。 当我们使用向量化模型(如OpenAI的text-embedding-ada-002模型)将文本转化为向量后,每个向量的维度表示某种语义特征,向量中的值反映了相应特征的强度。 | 分别是这两个向量的欧几里得范数(即向量的长度)。 这个比例的本质是测量两个向量之间夹角的余弦值,范围从-1到1: 当余弦值为1时,表示两个向量方向完全相同。 当余弦值为0时,表示两个向量正交,即在高维空间中不相关。 后续会使用到向量数据库 完成知识库的搭建 欢迎小伙伴们 点赞、收藏⭐、留言 有问题可以咨询主页

    14.5K21编辑于 2024-05-25
  • Qwen-7B-Chat 接入langchain搭建知识库助手

    Qwen-7B-Chat 接入langchain搭建知识库助手 环境准备 在autodl平台中租一个3090等24G显存的显卡机器,如下图所示镜像选择PyTorch–>2.0.0–>3.8(ubuntu20.04 ', cache_dir='/root/autodl-tmp', revision='master') 知识库建设 我们选用以下两个开源仓库作为知识库来源 qwen-7B-Chat QwenLM 首先我们需要将上述远程开源仓库 注意,也可以选用其中的代码文件加入到知识库中,但需要针对代码文件格式进行额外处理。 得到该列表之后,我们就可以将它引入到 LangChain 框架中构建向量数据库。由纯文本对象构建向量数据库,我们需要先对文本进行分块,接着对文本块进行向量化。 context","question"],template=template) 最后,可以调用 LangChain 提供的检索问答链构造函数,基于我们的自定义 LLM、Prompt Template 和向量知识库来构建一个基于

    78010编辑于 2025-07-17
  • 向量检索与NLP赋能:开源知识库的技术核心与应用场景

    此类AI大模型驱动的开源知识库系统,基于AGPL-3.0开源协议开发,依托大模型微调适配、向量数据库检索、RESTful API接口等核心技术,凭借智能化功能、灵活的拓展能力与轻量化的部署体验,为不同组织框架下的企业知识管理提供了全新的解决方案 在知识架构搭建上,该开源知识库支持结构化与轻量化并存的知识体系搭建模式,基于树形目录结构、标签化分类体系、向量嵌入索引,可根据企业组织框架的层级关系,搭建从企业级、部门级到岗位级的层级化知识目录,也可根据业务场景搭建轻量化的专题知识空间 (四)AI检索与问答:实现组织内的“知识找人”传统关键词检索模式往往存在“检索结果与需求匹配度低”的问题,而此类开源知识库的AI语义检索基于向量数据库(如Milvus、Chroma)、BERT语义模型, 针对集团型企业跨子公司、跨部门的知识查询需求,AI可通过跨库向量检索、分布式查询,打破组织边界,整合全集团的相关知识;针对事业部制企业各业务线的专业知识查询需求,AI可通过领域知识库微调,精准匹配业务线专属知识 (三)事业部制框架下的落地成效该企业的使用数据显示,部署该开源知识库后,基于向量检索的高效性,跨事业部知识查询的平均时间从原来的20分钟缩短至1分钟内,研发、生产、售后三大事业部的协作效率提升70%;生产事业部的工艺失误率因精准获取研发资料下降

    22410编辑于 2026-03-11
  • 基于 AutoFlow 快速搭建基于 TiDB 向量搜索的本地知识库问答机器人

    导读本文将详细介绍如何通过 PingCAP 开源项目 AutoFlow 实现快速搭建基于 TiDB 的本地知识库问答机器人。 AutoFlow 是 PingCAP 开源的一个基于 Graph RAG、使用 TiDB 向量存储和 LlamaIndex 构建的对话式知识库聊天助手。 启动知识库应用运行以下 docker compose 命令启动知识库应用程序:cd autoflowdocker compose -f docker-compose-cn.yml up -d --force-recreate 网页访问和配置知识库应用应用启动成功后,我们可以直接通过默认的 3000 端口访问相应的界面进行下一步操作了。 体验智能问答至此,我们已经完成了配置数据源并完成了向量化存储及向量索引的创建。

    36410编辑于 2024-12-05
  • 来自专栏夕阳醉了

    基于GPT搭建私有知识库聊天机器人(三)向量数据训练

    本文将重点介绍数据训练的流程,以及如何加载、切割、训练数据,并使用向量数据库Milvus进行数据存储。 1. 数据训练依赖于向量数据库 在本文中,我们使用了Milvus作为向量数据库。 读者可以参考之前的文章《基于GPT搭建私有知识库聊天机器人(二)环境安装》来准备其他基础环境。 2. 数据训练流程 数据训练的流程包括准备PDF文档、上传至系统文件目录、开始训练、加载文件内容、内容切割和存储至向量数据库。下面是整个流程的流程图: 3. chunk_size=chunk_size, chunk_overlap=chunk_overlap) texts = text_splitter.split_documents(documents) 3.4 存储至向量数据库 总结 在本文中,我们详细介绍了基于GPT搭建私有知识库聊天机器人的数据训练过程,包括数据训练的依赖、流程和代码展示。数据训练是搭建聊天机器人的重要步骤,希望本文能对读者有所帮助。

    1.1K40编辑于 2023-10-16
  • 来自专栏coder

    RAG实操教程langchain+Milvus向量数据库创建你的本地知识库

    什么是 RAG RAG 是retrieval-augmented-generation的缩写,翻译为中文的意思就检索增强,以基于最新,最准确的数据建立LLM 的语料知识库。 LLM 现存的痛点 我们知道 LLM 的知识库是通过现有的网络公开的数据作为数据源来训练的,现在公开的很多模型他们基于的训练数据会比我们现在网络上公开的数据早很多,那自然就会产生一种问题,网络上最新的数据和知识 保存拆分好的文档保存到向量数据库中。 设计向量数据库的数据库、集合、字段,索引等信息。 向量化+存储 上面已经说明了向量库以及embedding model的关系。我们直接使用 langchain 提供的工具连完成 embedding 和store。 0.2, "top_p": 0.95, "stream": true }' 对比pdf中的内容,很明显这个结果就是对的: 总结: 本文主要是介绍了使用 langchain+ Milvus向量数据库构建一个知识库的示例

    4.4K11编辑于 2024-09-06
  • 来自专栏红色石头的机器学习之路

    吴恩达《Machine Learning》精炼笔记 7:支持向量机 SVM

    今天带来第七周课程的笔记:关于支持向量机SVM的相关知识点。 内容包含: 硬间隔 支持向量 软间隔 对偶问题 优化目标Optimization Objectives 主要是讲解如何从逻辑回归慢慢的推导出本质上的支持向量机。 划分超平面的的线性描述: W称之为法向量(看做是列向量),决定平面的方向;b是位移项,决定了超平面和原点之间的距离。 空间中任意一点x到超平面(w,b)的距离是: 在+区域的点满足y=+1: 在−区域的点满足y=−1: 综合上面的两个式子有: 支持向量 距离超平面最近的几个点(带上圆圈的几个点)称之为支持向量support vector,这个点到超平面到距离称之为间隔margin 刚好在决策边界上的点(下图中带上圆圈的点)满足上式中的等号成立: 间距margin 求解间距margin就是求解向量(x+−x−)在法向量上的投影

    69920编辑于 2022-01-20
  • 来自专栏AI进修生

    【闭门会干货】字节 AI 最新动态:豆包升级+提示词神器+ SOTA 向量模型 + AI知识库

    AI知识库: 图片、视频 都能理解 | RAG,支持飞书文档作为知识库数据,还能根据文档做 计划。 这些 都是让AI落地 的实用工具。 这次模型升级。 这模型在能力上又升了一级,第一次能把视频也向量化了,让多模态搜索和理解更深入。在所有向量化场景里,它都称得上是最佳选择。 在语义匹配 (STS) 这些常用向量化任务上也领先,各种任务都能搞定,泛化能力更强。 全模态混合检索:这是它第一次能把视频也向量化了。 redirectURI=%2Fvikingdb%2Fknowledge%2Fregion%3Avdb-knowledge%2Bcn-beijing%2Fcollection%2Flist Viking:字节的知识库向量库 基于这个向量数据库,字节还搞了个好用的知识库产品。升级后的知识库,支持图、文、视频的多模态处理和混排输出,在国内外的评测里效果都更好了。

    1.5K10编辑于 2025-08-04
  • 来自专栏一直在跳坑然后爬坑

    向量空间相关概念总结-向量

    n维向量: ? n维列向量 ? n维行向量 两个向量相等:大小相等,方向相同 ? 向量相等 向量的长度:就是起点与终点的距离,记作: ? 向量长度 向量的方向: 用向量和它坐标轴的夹角来表示,比如: ? 向量方向 向量平行:两个向量方向相同或相反就算平行 零向量:起点和终点是同一个点,零向量长度是0,注意,零向量与任何一个向量平行,他虽然长度为0,但是他却有无穷多的方向 基础运算 向量加法 当然,如果两个边共线了,那第三个边等于前两个边之和 向量数乘:就是一个向量乘以一个数。比如一个向量乘以k,几何意义就是这个向量放大了k倍,k如果是负数那方向就反过来了。 k如果是0的话那这个向量就变成零向量了。其实根据字面意思也好理解,就是k倍的某向量嘛,所以向量的各个维度都应该放大k倍,这样就好理解向量的代数表示了。

    1.4K20发布于 2018-10-10
  • 来自专栏陶士涵的菜地

    基于GPT3.5实现本地知识库解决方案-利用向量数据库和GPT向量接口-实现智能回复并限制ChatGPT回答的范围

    标题有点长,但是基本也说明出了这篇文章的主旨,那就是利用GPT AI智能回答自己设置好的问题 既能实现自己的AI知识库机器人,又能节省ChatGPT调用的token成本费用。 代码仓库地址 document.ai: 基于GPT3.5的通用本地知识库解决方案 下面图片是整个流程: 导入知识库数据 利用openai的向量接口生成向量数据,然后导入到向量数据库qdrant 这段代码会将指定目录下的所有文件读取出来 最后,将向量和文件名、文件内容一起作为一个文档插入到 Qdrant 数据库中。 具体来说,这段代码会遍历 . to_embeddings函数会使用 OpenAI 的 API 将文本内容转换为向量,最后返回一个包含文件名、文件内容和向量的列表。 title": item[0], "text": item[1]}), ], ) count += 1 查询知识库数据

    7.1K60编辑于 2023-03-25
  • 来自专栏用户画像

    中断向量 中断向量

    2、中断向量:早期的微机系统中将由硬件产生的中断标识码(中断源的识别标志,可用来形成相应的中断服务程序的入口地址或存放中断服务程序的首地址)称为中断向量。 在某些计算机中,中断向量的位置存放一条跳转到中断服务程序入口地址的跳转指令。 3、中断向量地址:存储中断向量的存储单元地址。 存放:存放中断服务程序的入口地址,来存放中断向量(共256个),称这一片内存区为中断向量表。 当响应中断时,硬件自动执行相应中断向量处的跳转代码,然后跳转到具体的中断服务程序的入口地址。 综上所述:中断向量的地址一定是 中断服务程序的入口地址的地址,但中断向量不一定就是中断服务程序的入口地址。

    3.1K40发布于 2018-08-27
  • 来自专栏小小程序员——DATA

    支持向量机 支持向量机概述

    支持向量机概述 支持向量机 Support Vector MachineSVM ) 是一类按监督学习 ( supervisedlearning)方式对数据进行二元分类的广义线性分类器 (generalized linear classifier) ,其决策边界是对学习样本求解的最大边距超亚面 (maximum-margin hyperplane)与逻辑回归和神经网终相比,支持向量机,在学习复杂的非线性方程时提供了一种更为清晰 ,更加强大的方式 硬间隔、软间隔和非线性 SVM 假如数据是完全的线性可分的,那么学习到的模型可以称为硬间隔支持向量机。 算法思想 找到集合边缘上的若工数据 (称为支持向量 (Support Vector) )用这些点找出一个平面(称为决策面),使得支持向量到该平面的距离最大 超平面方程: \mathbf{w} ,支持向量到超平面的距离为 d,其他点到超平面的距离大于 d 至此可以得到最大间隔超平面的上下两个超平面: d=|\mathbf{w} \cdot \mathbf{x} + b | /||w||

    68511编辑于 2023-12-20
领券