- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯云存储
MetaInsight 带你解锁 OpenClaw 多模态记忆新玩法
3月12日，OpenClaw 3.11 版本重磅发布：多模态记忆来了！ 现在腾讯云智能检索 MetaInsight 推出一键部署插件 metainsight-context-engine，带你快速解锁多模态记忆！一、多模态记忆，到底强在哪？ 记忆传入后，MetaInsight 会自动根据记忆文件构建多模态数据集，创建向量索引，以供后续记忆检索使用。 强大的多模态检索能力针对龙虾用户复杂的记忆数据，MetaInsight 作为底层多模态记忆处理引擎，可实现非结构化数据的索引构建与毫秒级语义检索。 获取多模态检索记忆：MetaInsight 会自动对数据集中的数据进行向量索引，并在用户发起新一轮提问时，对数据集中的内容进行多模态检索，返回相关记忆片段。
72610编辑于 2026-03-19 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
3）它不需要解释激活或attention。 在本文中，作者对现有模型上的交叉模态输入消融进行了研究，以证明其在理解模型行为方面的实用性。作者测试了具有不同架构但具有相同初始化和训练流程的模型。 ▊ 3. 方法 作者使用消融来确定预训练的视觉语言模型在进行预测的时候是否结合了来自两个模态的信息。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language
2.5K20发布于 2021-09-28 - 来自专栏AgenticAI
Agentic AI 每日精选 · 2026-01-09｜mem-u 多模态记忆框架
今日速览 今日AI领域呈现三大核心趋势：开源生态聚焦记忆增强与智能交互，GitHub项目通过分层检索与工具调用突破LLM上下文限制；多模态融合与高效推理并进，HuggingFace模型在视频生成、MoE NevaMind-AI/memU：构建高效记忆管理框架 MemU是一款面向LLM和AI代理后端的记忆框架，旨在处理多模态输入，提取结构化记忆，并组织成支持嵌入和非嵌入检索的分层文件系统。 Lightricks/LTX-2 Lightricks/LTX-2是一款基于DiT架构的多模态音频-视频基础模型，专注于生成同步的视频和音频。 #04大型视觉语言模型文档策略保留基准 这篇论文提出了Doc-PP，一个针对大型视觉语言模型（LVLMs）的文档政策保留基准，旨在解决模型在处理多模态文档时泄露敏感信息的问题。 04 / COMMUNITY BLOG NVIDIA Hugging Face联手推Llama Nemotron，多模态检索精度再升级 NVIDIA 和 Hugging Face 合作推出了两款小型 Llama
37110编辑于 2026-01-12 - 来自专栏AgenticAI
字节开源“记忆大师”：M3-Agent，多模态Agent如何像人类一样“记住”一切？
论文作者指出，多模态 Agent（能处理视觉、听觉等多感官输入的 AI）要实现真正智能，必须具备三个核心能力： 持续感知世界：实时处理视觉和听觉输入。 构建长期记忆：存储经验，并逐步积累环境知识。 这些记忆以实体为中心的多模态格式组织（比如脸部图像、声音片段和文本知识连成图谱），确保一致性和深度理解。 长期记忆存储：多模态图谱结构 记忆不是简单文本堆积，而是节点+边的图结构。每个节点存储多模态内容（如文本、图像、音频），带权重（用于解决冲突）和嵌入向量（用于检索）。 支持搜索工具：如search_node（多模态查询）和search_clip（检索视频片段记忆）。 模型：记忆化用 Qwen2.5-Omni-7B（多模态强），控制用 Qwen3-32B（推理强）。训练数据：500 个长视频+2.7k QA 对，通过 DAPO 算法优化。
1.9K10编辑于 2025-08-25 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(3)
·深度学习时代（2010-2019年）：多模态技术快速发展，这主要得益于以下3点: o算力快速发展。 o新的多模态数据集层出不穷。 o语言特征提取能力和视觉特征提取能力快速提高。 ·CoCa 模型：2022年 5月，谷歌公司发布了多模态模型CoCa。 o解决图像多模态问题有3种传统的思路，分别是使用单编码器模型、双编码器模型、编码器-解码器模型。 这种编码器-解码器结构有助于融合多模态特征，在多模态理解任务中表现较好，但由于缺乏单独的文本编码器，在图像检索、视频检索等任务中表现不佳 oCoCa 模型创造性地将上述 3 种思路进行有效融合，能够分别独立获得图像特征向量和文本特征向量 大模型+多模态的3种实现方法 1，以LLM 为核心，调用其他多模态组件 2023年5月，微软亚洲研究院(MSRA)联合浙江大学发布了HuggingGPT。 第一个阶段，基于 59.5万条CC3M文本-图像对齐数据训练跨模态编码器，以便将文本特征和图像特征进行语义对齐。
1.2K20编辑于 2024-09-10 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态大模型预训练的核心架构旨在整合和处理多种类型的数据模态，如文本、图像、音频等，以发掘不同模态间的深层关联并提升模型的表征能力【3】。 3. 主干网络（Backbone Network）· 作为模型的核心，主干网络通常基于Transformer架构，用于进一步处理和融合来自不同模态的信息。 记忆融合网络(MFN)是一种用于多视图顺序学习的循环模型，它包括三个主要组成部分: LSTM系统:多个LSTM网络，每个网络编码特定于视图的动态。 多视图门控内存:存储跨视图交互随时间的记忆单元。图1概述了MFN管道和组件。MFN的输入是一个包含N个视图的多视图序列，每个视图的长度为t。
5.8K13编辑于 2024-05-14 agent多模态学习
记忆 (Memory)：存储对话历史、长期知识和任务状态。 编排层 (Orchestration)：管理 Agent 的“思考-行动-观察”循环。 二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 四、多模态意图理解与任务规划 4.1 多模态意图识别 多模态意图识别旨在从用户的文本、图像、语音等多种输入中，准确判断其核心需求。 7.2 图像生成与编辑 多模态 Agent 可以调用图像生成模型（如 DALL·E 3、Stable Diffusion），根据文本描述生成或修改图像。 对话管理：利用记忆模块存储对话历史，确保上下文连贯。 九、行业应用与落地实践 9.1 电商与零售 智能客服：处理图文混合的售后问题，自动识别商品缺陷、发起退换货。
55210编辑于 2026-01-15- 来自专栏我爱计算机视觉
MM2023 | 3D和图文模态的碰撞，多视角多模态的统一表征
Representation，3D和图文模态的碰撞，多视角多模态的统一表征。 图1 JM3D的过程，红线表示独立对齐，绿线表示JMA修正过的对齐方式 图2 JM3D的整体框架，SMO构建多角度图片和层次化文本，JMA则完成联合模态的对比学习 2. 我们分别为视觉和语言模态设计了不同的组织方式。对于视觉模态而言，我们为每个3D素材渲染了30个视角的图片，并设计了一种临近连续采样方式去采样不同视角的图片。 因此，在实验中，之前的方法会将3D表征分别与图片表征及文本表征独立做对比学习进行对齐。然而，视觉模态和语言模态应当存在一定的隐关系，这个隐关系是可以通过图文的表征获得的。 此外，JM3D在零样本3D分类和图像检索任务中表现出卓越的性能，创造了新的最先进水平，突显了其出色的跨模态能力。未来，我们将探索不同的数据和替代的联合建模方法，进一步拓展3D的统一表示学习。
1K10编辑于 2023-08-31 - 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 “iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练
33210编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 Whisper） import whisper model = whisper.load_model("base") audio_result = model.transcribe("meeting.mp3" 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
35310编辑于 2026-01-20- 来自专栏多模态视频理解
多模态算法综述
在UCF101数据集上达到了87%的准确率图片（2）Beyond Short Snippets: Deep Networks for Video Classification，尝试了多种多帧帧见融合策略如 本文的3D卷积简单的说就是将原来3*3的卷积，扩张成为3*3*3的3D卷积。图片图片在UCF101上达到了90%的准确率，虽然本文在UCF101并没有很亮眼的表现，但是开创了3D卷积的先河。 自注意力至此视频理解算法演进到了Transformer的自监督网络架构，Transformer有两个优势，（1）更强的网络表征能力，（2）更容易设计自监督的训练任务，从而可以更有效的利用无标注数据，同时也更加注重多模态的内容理解 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器 、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language
3.2K30编辑于 2022-07-12 - 来自专栏一点人工一点智能
多模态认知计算
神经科学相关研究[3] 表明，多种感官刺激的联合作用会产生“整体大于局部之和”的效果。例如，在观看影视剧时，画面和声音的同时刺激会给人类带来深刻，全面的感受，也帮助人类更准确地理解影视内容。 因此，可以从三方面提升机器的认知能力：(1) 优化 A，即使机器 获得更大信息量; (2) 增大 I，即利用对于给定任务信息量更大的数据; (3) 减小 D，即减小数据量。 (3) 多模态协同通过优化 A 以实现信息量 K 最大化。它利用不同模态间的关联与互补，探究高效，合理的模态间联合机制，优化 A。 本文的组织框架如下：第二节，介绍了多模态关联任务的发展现状，分为多模态对齐，多模态感知和多模态检索三个部分，并进行分析与讨论；第三节，介绍了跨模态生成任务中的跨模态合成和跨模态转换方法，并进行分析与讨论 本节从多模态对齐，多模态关联和多模态检索三方面阐述多模态关联相关工作。其中，多模态对齐是一类基础性需求，如图像区域内容和文字词汇的语义对齐，视觉唇部运动与语音声素之间的时间对齐等。
96230编辑于 2022-12-27 - 来自专栏深度学习和计算机视觉
综述：3D目标检测多模态融合算法
作者丨蒋天园，来源丨计算机视觉工坊，编辑丨极市平台 导读 本文是一篇关于3D目标检测中多模态融合方法的综述，总结了多模态融合的难点和现有研究中的一些方法。 0 前言 本篇文章主要想对目前处于探索阶段的3D目标检测中多模态融合的方法做一个简单的综述，主要内容为对目前几篇研究工作的总结和对这个研究方面的一些思考。 在前面的一些文章中，笔者已经介绍到了多模态融合的含义是将多种传感器数据融合。在3D目标检测中，目前大都是将lidar和image信息做融合。 1 背景知识 1.1 多模态融合的主要难点 难点一：传感器视角问题 3D-CVF（ECCV20）的研究提出的做fusion的对做融合工作最大的问题即是在视角上的问题，描述为如下图所示的问题，camera 为了方便分析，在该种融合策略下，笔者按照对lidar-3D-detection的分类方法分为point-based的多模态特征融合和voxel-based的多模态特征融合。
2.4K40发布于 2020-09-30 - 来自专栏音乐与健康
多模态很简单，搞懂多模态，站在 AI 发展的最前沿
现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据 多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？ 所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？ 3️⃣ 晚期融合（Late Fusion）—— 决策级融合 特点：不同模态的数据分别训练独立的模型，最后在决策阶段融合预测结果。 举例：医疗AI（判断病人是否有某种疾病）：模型1：分析 CT/X光 影像结果模型2：分析电子病历模型3：分析基因检测数据最终投票决策，给出综合诊断！
1.3K10编辑于 2025-07-29 - 来自专栏素质云笔记
多模态＋Recorder︱多模态循环网络的图像文本互匹配
. 3.我们的方法 图2：提出的选择式多模态循环网络用于图像文本匹配。 基于这些候选实例，该模型在每个时间步使用多模态上下文注意机制来选择性关注一对图像文本实例(标记为同样颜色的圆圈和矩形框)，并度量它们的相似性，具体流程可以参照图3。 为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。 考虑到草图与自然图像可能存在多视角的特征表达，且不同的视角作用差异较大，我们提出了一种基于视角选择的多视角跨模态匹配算法。 多模态搜索 网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据
2.8K20发布于 2019-05-26 - 来自专栏学习
机器学习——多模态学习
多模态学习：机器学习领域的新视野 引言 多模态学习（Multimodal Learning）是机器学习中的一个前沿领域，它涉及处理和整合来自多个数据模式（如图像、文本、音频等）的信息。 什么是多模态学习？ 多模态学习旨在同时处理来自不同模态的数据，从而提高模型的表现能力。 多模态学习的挑战 多模态学习面临一些独特的挑战，例如： 模态间的异质性：不同模态数据的性质差异较大，例如图像是二维数据，文本是序列数据。 对齐问题：不同模态之间可能需要对齐，如图像和文本的时间同步。 # 加载预训练的InceptionV3模型 inception_model = InceptionV3(weights='imagenet') inception_model = tf.keras.Model 多模态模型能够同时处理这些信息，从而理解视频的内容并进行分类、检索或生成描述。 结论 多模态学习是一个快速发展的领域，其潜力非常巨大。
63410编辑于 2024-10-10 - 来自专栏强化学习专栏
多模态智能的发展
文章分类在学习摘录和笔记专栏： 学习摘录和笔记（18）---《多模态智能的发展》 多模态智能的发展 1 多模态智能定义 多模态智能旨在融合多种模态的信息进行处理实现智能应用 将多模态信号统一到同一个向量空间中，从而实现了多模态信号的交叉处理。 多模态表示：由于其复杂的跨模态交互作用和各模态训练数据与测试数据之间可能存在的失配问题，仍然是一个具有挑战性的问题。 2 多模态智能融合的发展 融合是多模态研究中的一个关键问题，它将从不同单模态数据中提取的信息整合到一个紧凑的多模态表示中。 3 中间融合技术 中间融合技术——不仅因为它更加灵活，而且由于使用了来自预先训练的骨干模型的单模特征，各阶段之间的边界也不那么清晰。
32210编辑于 2024-12-03 - 来自专栏喔家ArchiSelf
浅析多模态机器学习
多模态大模型就是指模型可以处理多种结构/类型的数据，例如GPT-4，它既可以处理你输入的文本，也可以处理你上传的图片。 那么，多模态到底意味着什么呢？ 1. 什么是多模态？ 对于单模态模型，首先有一个输入，可以是如上所述的3D矩阵，然后将其传递到已经训练好的模型中，得到一个分类（单类或多类）或回归输出。 3. 多模态机器学习的核心问题 多模态是一种新的人工智能范式，其中各种模态（文本、语音、视频、图像）与多种智能处理算法结合，以实现更高的性能。 3.2 多模态机器翻译 多模态机器翻译涉及从多个模态中提取信息，基于这样的假设，附加的模态将包含有用的输入数据的替代视图。 生成模型有3个类别，分别是基于语法的、变压器模型和连续生成模型。 3.3 多模态的对齐 多模态对齐是找到两种或更多模态之间的关系和对应。
81621编辑于 2023-09-02 - 来自专栏算法之名
多模态大模型篇
之后我们会把每一个a(\(a^1,a^2,a^3,a^4...\))乘以一个矩阵\(w^v\)，得到一组新的向量v(\(v^1,v^2,v^3,v^4...\))，每一个v与α相乘再相加就得到了\(b^ ))相乘得到各个α'(\(α_1'、α_2'、α_3'\))，再分别乘以编码器端的v(\(v^1、v^2、v^3\))再相加，就得到了交叉注意力机制层的输出——新的向量v。 3、输入两个句子，输出一个分类。 这里同第二种训练方式。 SwiGLU是以门线性单元GLU为基础的，它是一个双线性函数，表达式为 这里的 ⊗ 表示矩阵的逐元素相乘，关于门控机制可以参考Tensorflow深度学习算法整理(二) 中的长短期记忆网络以及GRU。 在LLaMA 13B的模型与GPT-3 175B对比，我们会发现LLaMA 13B在各个数据集中都能跟GPT-3持平甚至超过。
1.6K51编辑于 2023-10-16 多模态Agent开发实战
多模态Agent开发实战入门一、什么是多模态Agent？多模态Agent是指能够同时处理和理解多种类型数据（文本、图像、音频、视频等）的智能体，并能基于这些理解执行任务、做出决策。 核心能力：多模态感知（看、听、读）跨模态推理（图文关联、音画同步）工具调用（API、数据库、物理设备）自主规划与执行二、技术栈选型主流框架框架特点适用场景LangChain生态丰富，支持多模态模型快速原型 、RAG应用AutoGen多Agent协作，对话驱动复杂任务分解CrewAI角色化Agent，结构化流程业务自动化LangGraph图控制流，状态管理需要精确控制的流程多模态模型选择闭源API：GPT- 4V、GPT-4o、Claude 3、Gemini Pro Vision开源模型：LLaVA、Qwen-VL、CogVLM2、MiniGPT-4三、关键技术难点与解决思路难点解决方案多模态对齐使用CLIP -3周：集成LangChain → 构建可调用工具（搜索、计算、数据库）的Agent第4-5周：添加记忆模块 → 实现多轮对话上下文保持第6-8周：多模态RAG → 图片库检索 + 文档问答进阶方向：视频流理解
16710编辑于 2026-04-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号