- 综合排序
- 最热优先
- 最新优先
- 来自专栏IT技术订阅
大模型如何构建高维语义空间
一、引言 在自然语言处理（NLP）领域，大模型的发展标志着语言理解能力的一次飞跃。大模型能够处理复杂的语言任务，如机器翻译、文本生成、情感分析等，其核心在于构建高维语义空间。 本文将详细探讨大模型如何通过词嵌入技术、自注意力机制、Transformer架构、预训练与微调以及多模态学习等技术构建高维语义空间。 四、Transformer架构：语义空间的深度学习 Transformer架构的出现极大地推动了大模型在自然语言处理领域的发展。 五、预训练与微调：语义空间的优化 预训练与微调是大模型构建高维语义空间的重要策略。 八、结论 大模型通过词嵌入技术、自注意力机制、Transformer架构、预训练与微调、知识图谱融合以及多模态学习等技术构建高维语义空间，实现了对语言深层次的理解和表示。
78500编辑于 2025-03-17 技术解读：空间语义大模型与视频孪生是什么关系？
智汇云舟对此的思考是：数字孪生的终点不应只是一个逼真的“空间镜像”，而应是一个具备认知能力的“空间主体”。 这正是我们从深耕“视频孪生”到提出“空间语义大模型”的核心逻辑。 正是借助这一枢纽，我们让成熟的2D AI基础模型在3D空间中真正发挥出了威力。三、 空间语义：当数字世界学会“致知”如果说视频孪生是搭建了骨架和感官，那么空间语义大模型就是赋予其“大脑”。 四、 关系之辨：从进化到共生那么，视频孪生与空间语义大模型究竟是什么关系？首先，是承前启后的进化关系。视频孪生是空间语义的“预科班”。 视频孪生提供了物理世界的数字化“身体”，而空间语义大模型注入了能够理解并预测世界的“灵魂”。在视频孪生阶段，系统呈现的是“是什么在动”（视觉表象）。 空间语义大模型告诉我们：车辆ID 2025022501（白色奥迪）正以32km/h的速度驶向路口，5秒后将与行人冲突，建议干预。这不仅仅是功能的增加，而是认知层级的根本性跃迁。
22410编辑于 2026-03-04数字孪生、视频孪生与空间语义大模型的演进关系探讨
在这一过程中，“视频孪生”与“空间语义大模型”作为两项关键技术，分别承担了感知“眼睛”和赋予“大脑”的角色。以下将系统阐述这三者之间的关系。 3.空间语义大模型（SpatialSemanticLargeModel）空间语义大模型是智汇云舟在视频孪生技术积累基础上，自主研发的新一代空间智能核心技术。 3.空间语义大模型：从"看见"到"懂得"的认知革命正如智汇云舟所描述的那样，视频孪生解决了“眼睛”的问题，而空间语义大模型解决了“大脑”的思考问题。 空间语义大模型实现了数字孪生从“空间镜像”向“空间主体”的认知跃迁。结语数字孪生、视频孪生与空间语义大模型之间的关系，勾勒出一条清晰的技术发展脉络：从"几何复制"到"实时感知"，再到"空间认知"。 “空间语义大模型”这一概念及其核心技术创新，突破了传统数字孪生的“镜像”局限，为行业定义了新的认知标杆，标志着数字孪生技术正从“看见”走向“懂得”。
20410编辑于 2026-03-06- 来自专栏喔家ArchiSelf
大模型应用的性能提升：语义缓存
通常，大模型 RAG 应用的延迟时间可能超过5秒！当许多用户提出“类似”问题时，语义缓存是一种简单的方法，可以大大减少聊天机器人的等待时间，使其小于0.1秒。 1. 这就是语义缓存的价值所在。 2. 语义缓存 语义缓存通过应用语义文本最近邻搜索的原则扩展了缓存范式。 在 LiteLLM 中实现自定义语义缓存涉及到六个步骤： 1.嵌入模型: 使用嵌入模型将用户的问题文本转换成一个嵌入向量，对文本的上下文和意义进行编码。 这里使用一个Sentence Transformer Bi-Encoder 模型来生成嵌入，它在语义文本相似性任务上比 OpenAI 的text-embedding-3-models 给出了更好的结果。 一句话小结 语义缓存，是缓存技术在大模型应用领域的扩展和延伸，作为性能提升的利器，再次验证了“缓存为王”。
15210编辑于 2026-06-15 语义理解·认知涌现：AI 语义大模型重塑机器认知新范式
AI 语义大模型通过融合超大规模预训练、知识图谱注入与思维链推理技术，构建了从语言表层到深层语义的完整认知体系，实现了从"统计匹配"到"语义理解"的范式革命。 ，专业术语理解肤浅可解释性不足：模型决策过程不透明，难以追溯推理路径语义大模型技术架构系统构建"预训练-精调-推理-服务"四层技术栈：基础预训练模型通过海量语料学习通用语言表征；领域适应引擎实现垂直领域知识的快速注入 功能模块对比与效能提升功能模块传统 NLP 系统AI 语义大模型效能提升幅度语义理解词向量 + 句法分析深度上下文感知理解语义相似度提升至 92.5%逻辑推理规则模板匹配思维链推理 + 因果发现推理准确率提升 场景化应用案例智能客服认知升级基于语义大模型构建新一代客服系统，深度理解用户意图，处理复杂多轮对话。通过情感识别和个性化响应，使客户满意度提升 35%，问题解决率提升至 94%。 教育个性化辅导构建智能教育大模型，深度理解学科知识和学生认知状态。通过个性化路径规划和自适应内容生成，使学习效率提升 50%，因材施教真正落地。
65010编辑于 2025-10-30重新定义智能世界：数字孪生的“认知革命”与空间语义大模型的前瞻性
智汇云舟（ZHY）作为“视频孪生技术首创者”，不仅引领了视频孪生的潮流，更通过“空间语义大模型”，预判并定义了未来智能世界的构建方式。 这种AI不是简单的图像识别，而是具备空间智能的AI，即空间语义大模型。二、 空间语义大模型：未来智能的“大脑”智汇云舟的空间语义大模型，正如其名称所示，旨在构建一个拥有“空间认知能力”的大模型。 预见未来的智能体：空间语义大模型不仅仅是对当前环境的描述，更是对未来变化的预测。它能够基于当前的空间语义理解，推断可能的风险点、优化路径，甚至进行自主进化。 传统的监控系统可能只能发现问题，但在空间语义大模型的支持下，系统能够快速定位问题的根源并作出响应，将事故处置时间大幅缩短。 空间语义的理解能力是实现如此高效处置的关键。结语在数字孪生技术的赛道上，视频孪生是通往智能的“预科班”，而空间语义大模型则是“主干专业”。
24510编辑于 2026-03-05- 来自专栏全栈程序员必看
语义分割的定义_语义分割模型
基于候选区域的模型方法虽然为语义分割的发展带来很大的进步，但是它需要生成大量的候选区域，生成候选区域的过程要花费大量的时间和内存空间。 模型实现了很好的分割效果，但只能处理 2D 图像。 ► 基于全卷积的扩张卷积语义分割模型 基于全卷积对称语义分割模型得到分割结果较粗糙，忽略了像素与像素之间的空间一致性关系。 于是 Google 提出了一种新的扩张卷积语义分割模型，考虑了像素与像素之间的空间一致性关系，可以在不增加参数量的情况下增加感受野。 提出了一种叫做chained residual pooling的模块，它可以从一个大的图像区域捕捉背景上下文信息。 简笔标注 Lin 等人提出基于用户交互的图像语义分割方法，该方法使用简笔对图像进行注释，利用图模型训练卷积网络，用来对简笔标注的图像进行语义分割，基于图模型将简笔标注的信息结合空间约束、外观及语义内容，
1.6K40编辑于 2022-09-25 - 来自专栏全栈程序员必看
语义分割技术综述_语义分割模型
VGG-16与之前的模型的主要的不同之处在于，其在第一层使用了一堆小感受野的卷积层，而不是少数的大感受野的卷积层。这使得模型的参数更少，非线性性更强，也因此使得决策函数更具区分度，模型更好训练。 作者将现存的知名的分类模型包括AlexNet、VGG-16、GoogLeNet和ResNet等转化为全卷积模型：将其全连接层均替换为卷积层，输出空间映射而不是分类分数。 表 2 基于深度学习的语义分割方法总结 图 8 所提及方法的形象化展示 尽管FCN模型强大而普适，它任然有着多个缺点从而限制其对于某些问题的应用：其固有的空间不变性导致其没有考虑到有用的全局上下文信息 4.2 整合上下文知识 语义分割需要对多种空间尺度的信息予以整合，也需要对局部与全局信息进行平衡。 即使是普遍用来加速深度网络的高端的显卡（GPU）也不会搭载大容量的存储空间。基于这些考虑，以及与在时间问题上相似的对于实际应用的考虑，详细记录网络所占用的最大及平均存储空间是极其有用的。
1.5K40编辑于 2022-09-25 AI语义大模型软件：让机器真正“懂”你的话
作为产品经理，我常被问：“你们的AI语义大模型软件，不就是个高级聊天机器人吗？”其实不然。这类软件背后，是一套极其复杂的工程技术体系，其核心目标是让机器真正“理解”并“生成”人类语言。 今天，我们就从技术角度，拆解它的三大关键组成部分。1. Transformer架构：大模型的“心脏” 几乎所有现代AI语义大模型都建立在Transformer架构之上。 预训练 + 微调：从“通才”到“专才”的炼成之路 一个通用的语义大模型，首先要在互联网级别的海量文本上进行“预训练”。 其次是“推理优化”，由于大模型参数量巨大（动辄数十亿甚至万亿），直接部署成本极高。 开发者需要运用模型量化、知识蒸馏、动态批处理等技术，在保证效果的同时，大幅降低计算资源消耗和响应延迟，让AI能力真正融入日常软件产品中。总而言之，AI语义大模型软件远非简单的对话工具。
34010编辑于 2025-10-07LLM数学速成：向量与语义空间
向量，不仅仅是几何中的箭头或代数中的数字列表，它更是承载信息、表示状态、构建模型的基本单元。而向量空间则为这些向量提供了运算和结构的舞台，是玩转LLM的基石。 【问】向量 或 向量空间 是语义信息的载体，有哪些基础理论 和 基础书籍 和 基础论文？【答】向量空间模型将 '文本' 表示为高维空间中的向量，'文本'的语义，由其周围的上下文词共同决定。 向量空间模型（VSM）向量空间模型将文本表示为高维空间中的向量，通过计算向量间的距离或相似度来衡量文本间的语义关系。 在实际的Transformer模型中，这种语义组合通过注意力机制和全连接层的非线性变换实现，能够捕捉更复杂的语义关系。 在实际的512维空间中，这个夹角会接近90度，信息几乎不相互干扰。 【问】词嵌入模型，通过训练学习，将词汇映射到低维稠密向量空间。就是 高纬度矩阵 投影 成 低纬度矩阵？【答】理解完全正确！
39020编辑于 2025-12-31- 来自专栏全栈程序员必看
语义分割模型精度排名_场景语义分割
憨批的语义分割1——基于Mobile模型的segnet讲解 学习前言 什么是Segnet模型 segnet模型的代码实现 1、主干模型Mobilenet。 2、segnet的Decoder解码部分 代码测试 学习前言 最近开始设计新的领域啦，语义分割也是图像处理一个非常重要的应用方向，我查了很多资料苦于如何入门，接下来给大家讲讲里面比较基础的segnet模型 什么是Segnet模型 Segnet模型是一个比较基础的语义分割模型，其结构比较简单，在说其结构之前，我们先讲一下convolutional Encoder-Decoder的结构。 segnet模型与上述模型类似。 因为基于VGG模型的语义分割模型都太大了，我的电脑支撑不住，所以我用的主干网络都是mobile模型。 这么一想其实语义分割是不是也没有那么难？
89940编辑于 2022-09-25 空间数据智能大模型之遥感AI大模型技术路线快览
图片背景说明随着国产卫星的不断发射升空，国内各类型卫星遥感数据资源，包括光学卫星、雷达卫星、多光谱卫星等数据资源的不断丰富，同时伴随着GPT、deepseek等AI技术的快速发展，空间数据智能大模型也迎来了一波建设浪潮 ，其中遥感AI大模型建设也进入到了新的阶段，以下内容参考《空间数据智能大模型研究--2024 年中国空间数据智能战略发展白皮书》内容，分享关于遥感AI大模型建设的一些技术。 并且，由于遥感图像需要具有语义信息，而 SAM 生成的 Mask 却缺乏标签，这使得提示语义信息变得困难。SAM 专为分割和检测任务设计，无法完成一些遥感特有任务，如变化检测和矢量输出。 SAM 拥有 zero- shot 实例分割特点，可用于遥感图像语义分割，遥感样本标注。Grounding-DINO 通过开放集目标检测，在基于文本提示的遥感图像目标检测具有重大潜力。 基于遥感模型为大模型生成提示，配合大模型完成遥感任务。基于遥感变化监测网络独立生成变化监测点，生成点提示，用 SAM 分割能力，进行特征提取。综合利用视觉、文本等大模型通用性能共同完成遥感的语义分割。
2.2K30编辑于 2025-03-21- 来自专栏PaddlePaddle
【结构化语义模型】深度结构化语义模型
Pairwise和Listwise的排序学习 周五：【结构化语义模型】 深度结构化语义模型 深度结构化语义模型是一种基于神经网络的语义匹配模型框架，可以用于学习两路信息实体或是文本之间的语义相似性。 DSSM使用DNN、CNN或是RNN将两路信息实体或是文本映射到同一个连续的低纬度语义空间中。 在这个语义空间中，两路实体或是文本可以同时进行表示，然后，通过定义距离度量和匹配函数来刻画并学习不同实体或是文本在同一个语义空间内的语义相似性。 深度结构化语义模型 DSSM使用DNN模型在一个连续的语义空间中学习文本低纬的表示向量，并且建模两个句子间的语义相似度。 DSSM 原始结构 其贯彻的思想是， 用DNN将高维特征向量转化为低纬空间的连续向量（图中红色框部分） ，在上层使用cosine similarity来衡量用户搜索词与候选文档间的语义相关性 。
2.7K80发布于 2018-03-15 - 来自专栏大模型应用
大模型应用：LDA线性判别分析+大模型：小数据驱动的语义增强分类实战.105
思路特别简单、特别实用：用大模型做 “语义增强”，把一句话变成一段有理解、有上下文、有真实含义的向量，让机器先 “读懂意思”；再用 LDA 做特征降维 + 线性判别分类，把高维特征压到最适合分类的低维空间 ，但语义完全相反 ，TF-IDF 无法区分这种差异，而大模型可以。 大模型的语义增强核心逻辑：大模型通过海量文本预训练，学到了词语的上下文语义和文本的整体意图，能将任意长度的文本转化为一个固定维度的语义向量（Embedding），这个向量能精准反映文本的真实含义。 生成语义向量的方式我们无需深入大模型的训练细节，重点了解如何用大模型生成语义向量，主要有两种方式：2.1 静态嵌入：代表模型：Word2Vec、GloVe、FastText；逻辑：每个词对应一个固定向量 ，具体体现在：提升类间区分度：语义向量能让不同类别的文本（如“正面舆情”和“负面舆情”）在高维空间中天然形成更清晰的聚类；降低噪声干扰：大模型能过滤文本中的无关信息（如语气词、错别字），保留核心语义，减少
28831编辑于 2026-05-13 - 来自专栏大模型应用
大模型应用：PCA主成分分析+大模型：解锁高维数据的语义化解读能力.104
大模型应用基础大模型的输入形式：支持文本、结构化数据、图片等，在本方案中，我们主要将 PCA 的结果（如主成分系数、贡献率、降维后数据）转化为JSON的文本格式输入大模型；大模型的输出控制：通过提示词指定输出格式 ”等结构化信息；语义映射：将“主成分 1 的系数中月消费权重最高”映射为“主成分1代表用户消费能力”；提示工程：通过精准的提示词，引导大模型聚焦PCA结果的解读，避免答非所问。 PCA+大模型的互补价值PCA负责“数据瘦身 + 核心特征提取”，把高维数据转化为低维、高价值的主成分矩阵；大模型负责“语义翻译 + 自然语言解释”，把抽象的主成分和降维结果转化为人类能理解的结论，比如 这个组合的核心价值在于：让大模型突破"文本局限"，具备解读结构化高维数据的能力；让PCA突破"解释局限"，赋予降维结果语义含义。五、PCA执行流程1. 步骤 7：大模型解读 核心：调用大模型 API或本地模型，获取 PCA 结果的自然语言解读。关键输出：大模型基于自然语言的解读报告。
32821编辑于 2026-05-12 - 来自专栏大模型应用
大模型应用：大模型本地部署的磁盘空间优化：模型分片存储与按需加载.48
为了破解这一难题，模型分片存储与按需加载成为大模型本地部署磁盘空间优化的核心方案。 模型的体量 大模型的体型非常庞大，比如 LLaMA 2 70B 模型，完整参数文件的大小超过130GB；GPT-3 的参数规模更是达到 1750 亿，完整存储需要数百 GB 甚至 TB 级别的磁盘空间 而普通个人电脑的固态硬盘容量通常在 512GB~2TB 之间，单独存放一个大模型就会占用大量空间，更别说同时部署多个模型或运行其他应用了。2. 总体来说：分片存储是物理上切分文件，解决磁盘空间不足的问题；按需加载是逻辑上动态调用，解决内存或显存不足的问题，两者结合是大模型本地部署的空间优化黄金组合。 大模型的参数存储形式大模型的参数本质上是海量的数值矩阵，这些矩阵以二进制文件的形式保存在磁盘上，常见的格式有：.bin 格式：最常见的模型参数文件格式，直接存储二进制参数数据。.
67544编辑于 2026-03-17 - 来自专栏LhWorld哥陪你聊算法
【机器学习】--隐语义模型
一、前述 隐语义模型是近年来推荐系统领域较为热门的话题，它主要是根据隐含特征将用户与物品联系起来。 因为用户和物品之间有着隐含的联系。 所以把用户转成隐语义，然后物品转成隐语义组合，通过中介隐含因子连接。 二、具体 1、隐语义模型举例和求解 N代表用户，M代表物体 第一步：先分解 将用户分解成F个因子的矩阵 将物品也分解成F个因子的矩阵 （F*N）T*(F*M )=N*M 其中T表示转置。 ? 第二步：转成机器学习模型： RUI代表用户对物品的关系 Pu代表用户对隐藏因子的关系 QI代表物品对隐藏因子的关系 转换成机器学习模型，必须先找出损失函数。 2、协同过滤VS隐语义比较 原理：协同过滤基于统计，隐语义基于建模 空间复杂度，隐语义模型较小 实时推荐依旧难，目前离线计算多 隐语义模型咋解释呢？不解释
1.4K20发布于 2018-09-13 本体模型-当下企业核心业务语义的沉淀模型也是AI大模型最容易理解的模型
本体建模规范我最近做一个大的迭代。首先是在对象建模地方引入了领域建模的概念，构建领域对象和聚合根；其次是在规则建模中增加了规则和事件之间的关联映射；再次是在实现层面可选引入图+AI大模型混合推理。 本体模型是沉淀企业核心业务语义的重要模型，是容易被AI大模型学习和理解的业务语义模型。而本体模型的一个呈现方式即知识图谱或变通后知识图谱。 AI辅助写作已经更新到V7.0版本，基于本体模型驱动的AI辅助写作，前面也专门输出了一篇文章。即基于历史文章抽象我写作本体模型，然后再结合本体模型+大模型进行问答方式写作。 新的本体+AI的思路是一开始就构建底层的本体模型，本体模型一方面支撑IT应用构建，一方面又为后续虚拟世界到现实世界的连接构建了足够的业务语义，方面自然语言的交互。 当然也包括语义交互的时候存在的幻觉问题。所以这个平台遇到的问题已经不是技术实现问题，仍然是深刻理解业务后构建的本体模型本身的业务语义的精确度问题，本体模型的稳定性问题。
46510编辑于 2026-04-13- 来自专栏有三AI
【NLP-语义匹配】详解深度语义匹配模型DSSM
作者&编辑 | 小Dream哥 1 DSSM的提出 较早期的语义匹配模型都是基于关键词的匹配，例如LSA等，无法匹配语义层面的信息。 基于此，DSSM（Deep Structured Semantic Models）提出深度语义匹配模型，期望能够在语义层面匹配query之间的相似性。 前提到过，当词典非常大时，用词袋模型会造成维度灾难。所以DSSM还引入了word hashing。 其中 r 为 softmax 的平滑因子，D 为 Query 下的正样本，D 为 Query 下的整个样本空间。 上述公式，计算一个样本空间内正样本的平滑概率，R(Q,D)为两个文本之间余弦距离。 但是DSSM也有它的缺点，首先，它采用词袋模型，没有考虑词的位置关系，这对语义理解是一个大的损失；此外，采用弱监督、端到端的模型，预测结果不可控。
3.2K10发布于 2019-12-31 基于大模型的Python智能爬虫：语义识别与数据清洗实践
大语言模型（LLM）具备HTML语义解析能力，可自适应异构页面，无需人工维护选择器，显著降低爬虫开发运维成本。 一、传统爬虫与大模型爬虫对比从提取机制、迭代适配、成本开销等维度对比两类爬虫技术，明确差异化适用场景：维度传统规则爬虫大模型爬虫数据提取人工编写选择器语法LLM语义解析自动提取页面迭代规则失效，需二次开发自适应页面结构变更数据清洗正则 大模型爬虫：站点量大、页面异构性强、规则维护成本高的业务场景。混合架构：LLM生成适配选择器，规则引擎执行高速提取，兼顾通用性与采集效率。 七、技术局限性与优化方案7.1 现存局限局限性成因优化策略推理延迟高LLM算力推理耗时列表页规则采集，详情页LLM解析调用成本模型API计费选用轻量模型，压缩输入Token模型幻觉大模型随机生成特性规则二次校验 ，多轮推理核验7.2 混合采集架构为平衡性能与成本，采用分层采集策略：列表页依托传统爬虫高速抓取；异构详情页采用LLM语义提取；后置清洗环节统一使用大模型完成语义标准化，形成高效、低维护、强适配的复合型爬虫方案
25910编辑于 2026-05-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号