- 综合排序
- 最热优先
- 最新优先
- 来自专栏ytkah
GPT-4多模态模型
GPT-4 模型是OpenAI开发的第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。 在GPT-4之前是GPT-3.5，由该模型开发的聊天机器人 ChatGPT 一经面世，便引爆 AI 界的军备竞赛 多模态或成GPT-4最大亮点 微软 AI 技术专家 Holger Kenn 和 Clemens Sieber 对多模态 AI 的相关功能进行了介绍。 Sieber 则介绍了一些多模态 AI 产业化的潜在案例，例如多模态 AI 能够将电话呼叫的语音直接记录成文本。根据估算，该功能能为微软位于荷兰的一家大客户节省 500 个工作小时/天。 GPT-4 GPT-4 模型是第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。
1.7K31编辑于 2023-03-13 - 来自专栏算法一只狗
LLama4 原生多模态大模型
Meta最新发布了原生多模态大模型 Llama 4，一经亮相即登上LMSYS大模型排行榜第二名，仅次于Google的Gemini-2.5-pro，分差仅为22分，实力可见一斑。 多模态能力：整合文本、图像与视频数据，实现跨模态任务处理。 技术细节与训练策略Llama 4采用了先进的早期融合（early fusion）机制，将文本和视觉token统一集成至模型主干架构，实现了真正的多模态统一训练。 总结与展望Llama 4的发布，意味着Meta正式进入原生多模态大模型竞争核心领域。 相比Gemini系列、GPT-4o、Claude 3、DeepSeek等主流模型，Llama 4以务实高效的技术路线，突出计算成本、推理效率与多模态能力的平衡。
77100编辑于 2025-05-01 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(4)
多模态大模型核心技术 1多模态的困难 困难 数据集标志困难 人工标注生成 COCO Visual Genome ... 数据表征 多模态转换 2文本多模态技术 图像生成文本方法 基于模板的图像描述方法 支持向量机(SVM) 3种元索 物体 动作 场景 基于检索的图像描述方法 搜寻相似之处 基于深度学习的图像描述方法 Transformer 的语言模型,采用自回归的编码理念,接收文本提示,生成高维的词嵌入 图像信息生成器 实现扩散模型的反向过程,去噪音生成图像的隐藏信息 图像解码器 把隐信息还原成图像 4语音多模态技术 组成：3层降采样块和3层条件上采样块 微软的 Natural Speech 2：结合了扩散模型的概念，通过使用神经语音编将语音波形转换为连续向量，然后使用解码器重建语音波形 5 视频多模态技术 挑战 可调整的低秩适配(Adaptive Low-Rank Adaptation，AdaLoRA)技术和量化压缩远程注意力(Quantized Long-Range Attention，QLoRA)技术 8 GPT-4多模型核心技术介绍
46110编辑于 2024-09-10 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 ▊ 4.实验 4.1. 测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language
2.5K20发布于 2021-09-28 多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构建多模态基准
浙江大学等提出多模态视觉推理基准。【导读】LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。 为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型，似乎都很难完成更抽象层次上的理解和推理任务。 最近，浙江大学、中科院软件研究所、上海科技大学等机构就联合提出了一种新的多模态基准，专门衡量模型对抽象图像的理解能力和视觉推理能力。 同样也不容易，因为我们需要的是多模态数据，但LLM无法直接生成图像，DALL-E、Stable Diffusion等图像生成模型又无法同步生成文本。 结论与限制论文最重要的贡献在于指出了当前多模态LLM在视觉推理方面的次优表现，并构建了合成数据组成的基准测试集，表明合成数据训练是一个有前景的解决方案。
43710编辑于 2024-08-08- 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中 （1）将图片切成16x16的小块（patch），每个块转换为一个“词向量”，再加上位置编码；（2）经过Transformer Encoder层（3）分类层4. In-the-wildZhuofan Wen,Fengyu Zhang,Siyuan Zhang,Haiyang Sun,Mingyu Xu,Licai Sun,Zheng Lian,Bin Liu,Jianhua Tao(4)
5.7K13编辑于 2024-05-14 - 来自专栏AIGC新知
Meta Llama 4 全面解析：全新的原生多模态 AI
Llama 4：原生多模态，混合专家架构，超长上下文支持。 此外，Llama4系列还整合了文本、图像和视频的统一框架，使其具备原生多模态能力。 它采用了混合专家（MoE）架构，提高了训练和回答用户查询时的效率。 接下来将带你详细了解本次llama4模型的新特性。 技术背景 Llama4 是 Meta 于 今日发布的新一代开源大语言模型系列，标志着其在多模态 AI 领域的重要突破。 原生多模态融合 Llama 4采用了原生多模态设计，能够处理和整合各种类型的数据，包括文本、视频、图像和音频，并且可以在这些格式之间转换内容。 这种设计使得Llama 4在处理多模态任务时，如图文检索、视觉问答（VQA）等场景，表现出色。
2.2K60编辑于 2025-04-07 agent多模态学习
二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 → 反馈与优化层 → 多模态输出 2.1 多模态感知层 (Multimodal Perception Layer) 作为系统的“感官”，负责将原始的多模态输入转换为结构化的特征向量。 四、多模态意图理解与任务规划 4.1 多模态意图识别 多模态意图识别旨在从用户的文本、图像、语音等多种输入中，准确判断其核心需求。 多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。 七、多模态内容生成 7.1 文本生成 基于融合后的多模态上下文，LLM 可以生成更精准、丰富的文本回复。
49710编辑于 2026-01-15- 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 torch.argmax(log_prob, dim=-1) return y_hat 使用方式 处理数据 python preprocess.py --dataset=“iemocap_4” 训练模型 python train.py --dataset=“iemocap_4” --modalities=“atv” --from_begin --epochs=55 测试模型 python eval.py --dataset=“iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可 ，我对每个单独的模态都有训练。
32410编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 模型训练与优化要点 数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
30410编辑于 2026-01-20- 来自专栏多模态视频理解
多模态算法综述
图片图片（4）TSN（Temporal Segment Networks: Towards Good Practices for Deep Action Recognition），大名鼎鼎的TSN，提出了很多好用的训练技巧 自注意力至此视频理解算法演进到了Transformer的自监督网络架构，Transformer有两个优势，（1）更强的网络表征能力，（2）更容易设计自监督的训练任务，从而可以更有效的利用无标注数据，同时也更加注重多模态的内容理解 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器 、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language Learning通过一张图片，经过不同的数据增强，被神经网络所提取的特征，仍应具有高度的一致性，如：MoCoV1系列、SimCLR、BYOL等通过寻找图文信息的关联系进行自监督训练的，如：CLIP、CLIP4CLIP
3.1K30编辑于 2022-07-12 - 来自专栏一点人工一点智能
多模态认知计算
认知科学研究[4] 指出，人类在接收外界刺激时会选择性地关注其中的一部分。这种“注意力机制”作为人类认知能力的重要组成部分，有效提高了信息加工的效率。 对于给定认知任务 T，事件 x 提供的信息量为 从公式 (4) 中可看出，当注意力集中在模态密集的时空事件时，获取的信息量达到最大值。 因此，公式 (4) 中的模型可以尝试解释多模态认知计算的内在机理，刻画机器从数据中提取信息的过程。然而，是否获取到的信息量越大，机器就越接近人类的认知水平? 本文的组织框架如下：第二节，介绍了多模态关联任务的发展现状，分为多模态对齐，多模态感知和多模态检索三个部分，并进行分析与讨论；第三节，介绍了跨模态生成任务中的跨模态合成和跨模态转换方法，并进行分析与讨论 本节从多模态对齐，多模态关联和多模态检索三方面阐述多模态关联相关工作。其中，多模态对齐是一类基础性需求，如图像区域内容和文字词汇的语义对齐，视觉唇部运动与语音声素之间的时间对齐等。
95830编辑于 2022-12-27 - 来自专栏素质云笔记
多模态＋Recorder︱多模态循环网络的图像文本互匹配
为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。 所提出的选择式多模态循环网络是一个动态模型，在每一时间步，它利用基于上下文的多模态注意机制选择图像文本中语义上相同的目标和词语，并计算其相似性作为图像文本的局部相似性，然后进行序列化融合得到全局相似性。 考虑到草图与自然图像可能存在多视角的特征表达，且不同的视角作用差异较大，我们提出了一种基于视角选择的多视角跨模态匹配算法。 我们在两个经典的细粒度草图-图像数据集上进行了大量的实验，结果表明所提出的方法可以有效利用多模态多视角特性并提升检索性能。 多模态搜索 网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据
2.8K20发布于 2019-05-26 - 来自专栏AI科技评论
Claude 3 惊喜上线：多模态能力比肩 GPT-4V
昨晚，Anthropic 突然惊喜上线，时隔八个月携着 Claude 3 走来，让世界再次将目光聚焦到这一个被视为 ChatGPT 强大竞争对手之一的多模态模型。 同老对手OpenAI GPT-4与谷歌 Gemini Pro相比，Claude 3 的优势又在哪里呢？ Claude 本次更新的一大亮点，在于长文本能力的升级以及对多模态能力的突破。 Anthropic 在推出 Claude 3 时升级了其复杂视觉功能，使其领先于其他模型，多模态能力比肩GPT-4V。 相比之下，GPT-4在此类任务上一直难以达到同样水准。 最后，在多模态场景下，博主让Claude解读一篇论文的部分内容，其分析逻辑清晰、准确。 尽管如此，在信息丰富度方面，Claude的表现略逊于GPT-4，尚有提升空间，特别是在多模态信息整合与呈现的能力上，仍有待进一步加强。
91310编辑于 2024-03-06 - 来自专栏媒矿工厂
CVPR2023 Tutorial Talk | 大型多模态模型：构建和超越多模态GPT-4
今天我将试图帮助大家构建一个最小版本的多模态GPT-4。我将介绍不同的方式来利用大型语言模型(LLM)进行多模态任务。 我认为 Flamingo 模型可以被认作是多模态领域的 GPT-3。 图5 那么现在，今年3月初，我们看到 OpenAI 发布了多模态模型 GPT-4。尽管我们不知道模型细节。 图6 在本次演讲中，我将尝试讲述我对我们如何实际取得这些结果的理解，以更好地说明现有模型和多模态 GPT-4 之间的差距。我使用 OpenAI GPT 系列模型的语言模型历史作为示例。 当涉及到 GPT-4 时，在多模态领域有一个额外的功能，那就是允许图像输入。 图7 现在我们也有了多模态 GPT-4。那么现在距离理想目标还存在差距，这里的差距是什么，我们如何可能填补这一差距? 在 LLaVA 中，我们提供了一个初步的方法如何构造这样的数据并训练这个多模态模型。首先我们来谈谈数据。即使我们不能将原始图像放入 ChatGPT 或 GPT-4 中，因为这些语言模型不能理解图像。
1.4K30编辑于 2023-09-09 - 来自专栏技术人生黄勇
谷歌开源Gemma 4：256K原生多模态，免费商用
从手机到服务器全覆盖四种规格， 首次加入MoE架构，原生支持文本+图像+音频三模态， 上下文直接干到256K，关键还是Apache 2.0协议，完全免费可商用。 原生多模态，直接支持图文音频 Gemma 3 只支持纯文本，这一代原生支持三模态输入： • ✅ 文本 • ✅ 图像 • ✅ 音频 • 自带 ~550M 参数的视觉编码器，不需要第三方拼接 也就是说，你现在能用开源 我们放在2026年的开源大模型市场里比一比： 模型 开源 商用免费 最大上下文 多模态 编码能力 (LiveCodeBench) Gemma 4 31B ✅ ✅ 256K ✅ 原生 80.0% Gemma Agent 时代，开源模型就是基础设施 现在大家都在做多模型编排（Agentic AI）： • 简单查询、路由、本地推理用开源小模型 • 复杂任务再路由给闭源旗舰 • Gemma 4每个尺寸都能打，正好适合做这个基础设施 六、总结 这一代Gemma 4，可以用几个关键词总结： ✅ 全覆盖：从手机到服务器，四个规格总有一款适合你 ✅ 真升级：256K上下文 + 原生多模态 + MoE架构，每一项都是实打实升级 ✅ 最友好：
88310编辑于 2026-04-09 - 来自专栏新智元
超越GPT-4V，苹果多模态大模型上新！
新智元报道 编辑：flynne 【新智元导读】苹果开发的多模态模型Ferret-UI增强了对屏幕的理解和交互，在引用、基础和推理方面表现出了卓越的性能，这些增强功能的出现预示着巨大的进步。 4月8日，苹果发布了其最新的多模态大语言模型（MLLM ）——Ferret-UI，能够更有效地理解和与屏幕信息进行交互，在所有基本UI任务上都超过了GPT-4V！ 众所周知，通用域多模态大型语言模型（MLLM ）在理解和有效交互的能力方面往往不足。 而Ferret-UI被称之为是一种新的MLLM，专为理解移动UI屏幕而量身定制，具备指向、定位和推理等多种能力。 高级任务数据生成 为了将推理能力融入到该模型中，他们使用LLaVA方法，并用GPT-4收集另外4种格式的数据。 以上数据的生成主要为4个任务，分别是：详细描述、对话感知、对话交互和功能推理。 其中，他们扩展了详细描述和函数推理的基本提示，将它们与GPT-4响应配对，作为模型训练中的输入数据。
38210编辑于 2024-04-12 - 来自专栏音乐与健康
多模态很简单，搞懂多模态，站在 AI 发展的最前沿
现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据 多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？ 所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？ 多模态融合一般分三大类：1️⃣ 早期融合（Early Fusion）—— 数据级融合 特点：在模型输入阶段，先把所有模态的数据合并成一个大“拼盘”，然后喂给模型。 多模态音乐治疗（多感官刺激睡眠疗法），包括声刺激抑制听觉警觉，动态光照重置生物钟，电磁刺激修复脑波节律，芳香分子安抚情绪，它们像精密齿轮般咬合，相辅相成，从不同感官通路“包抄”失眠的症结，让每一个失眠患者重拾安稳睡眠
1.2K10编辑于 2025-07-29 - 来自专栏全栈程序员必看
多模态情感识别_多模态融合的情感识别研究「建议收藏」
情感表达的模态包括面部表情、语音、姿势、生理信号、文字等,情感识别本质上是一个多模态融合的问题。 提出一种多模态融合的情感识别算法,从面部图像序列和语音信号中提取表情和语音特征,基于隐马尔可夫模型和多层感知器设计融合表情和语音模态的情感分类器。 提出的多模态识别算法较好地利用了视频和音频中的情感信息,相比于仅利用语音模态的识别结果有较大的提升,相比于表情模态的识别结果也有一定改进,是一种可以采用的情感识别算法。
1.7K10编辑于 2022-06-24 - 来自专栏机器之心
达摩院猫头鹰mPLUG-Owl亮相：模块化多模态大模型，追赶GPT-4多模态能力
机器之心专栏 机器之心编辑部 纯文本大模型方兴未艾，多模态领域也开始涌现出多模态大模型工作，地表最强的 GPT-4 具备读图的多模态能力，但是迟迟未向公众开放体验，于是乎研究社区开始在这个方向上发力研究并开源 MiniGPT-4 和 LLaVA 问世不久，阿里达摩院便推出 mPLUG-Owl ，一个基于模块化实现的多模态大模型。 、MiniGPT-4 、BLIP-2 以及系统类 MM-REACT 等工作，实验结果表明 mPLUG-Owl 展示出更优的多模态能力，尤其在多模态指令理解能力、多轮对话能力、知识推理能力等方⾯表现突出 实验结果 SOTA 对比 为了比较不同模型的多模态能力，该工作构建一个多模态指令评测集 OwlEval。 结果如下表格 6 所示，在该部分实验，作者既进行了 Owl 的消融实验，验证了训练策略和多模态指令微调数据的有效性，也和上一个实验中表现最佳的 baseline— MiniGPT4 进行了对比，结果显示
94620编辑于 2023-05-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号