- 综合排序
- 最热优先
- 最新优先
- 来自专栏ytkah
GPT-4多模态模型
GPT-4 模型是OpenAI开发的第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。 在GPT-4之前是GPT-3.5，由该模型开发的聊天机器人 ChatGPT 一经面世，便引爆 AI 界的军备竞赛 多模态或成GPT-4最大亮点 微软 AI 技术专家 Holger Kenn 和 Clemens Sieber 对多模态 AI 的相关功能进行了介绍。 Sieber 则介绍了一些多模态 AI 产业化的潜在案例，例如多模态 AI 能够将电话呼叫的语音直接记录成文本。根据估算，该功能能为微软位于荷兰的一家大客户节省 500 个工作小时/天。 GPT-4 GPT-4 模型是第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。
1.7K31编辑于 2023-03-13 多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构建多模态基准
浙江大学等提出多模态视觉推理基准。【导读】LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。 为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型，似乎都很难完成更抽象层次上的理解和推理任务。 最近，浙江大学、中科院软件研究所、上海科技大学等机构就联合提出了一种新的多模态基准，专门衡量模型对抽象图像的理解能力和视觉推理能力。 那么使用合成数据呢？同样也不容易，因为我们需要的是多模态数据，但LLM无法直接生成图像，DALL-E、Stable Diffusion等图像生成模型又无法同步生成文本。 结论与限制论文最重要的贡献在于指出了当前多模态LLM在视觉推理方面的次优表现，并构建了合成数据组成的基准测试集，表明合成数据训练是一个有前景的解决方案。
43710编辑于 2024-08-08- 来自专栏算法一只狗
LLama4 原生多模态大模型
Meta最新发布了原生多模态大模型 Llama 4，一经亮相即登上LMSYS大模型排行榜第二名，仅次于Google的Gemini-2.5-pro，分差仅为22分，实力可见一斑。 多模态能力：整合文本、图像与视频数据，实现跨模态任务处理。 技术细节与训练策略Llama 4采用了先进的早期融合（early fusion）机制，将文本和视觉token统一集成至模型主干架构，实现了真正的多模态统一训练。 总结与展望Llama 4的发布，意味着Meta正式进入原生多模态大模型竞争核心领域。 相比Gemini系列、GPT-4o、Claude 3、DeepSeek等主流模型，Llama 4以务实高效的技术路线，突出计算成本、推理效率与多模态能力的平衡。
77400编辑于 2025-05-01 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(4)
多模态大模型核心技术 1多模态的困难 困难 数据集标志困难 人工标注生成 COCO Visual Genome ... 数据表征 多模态转换 2文本多模态技术 图像生成文本方法 基于模板的图像描述方法 支持向量机(SVM) 3种元索 物体 动作 场景 基于检索的图像描述方法 搜寻相似之处 基于深度学习的图像描述方法 Transformer 的语言模型,采用自回归的编码理念,接收文本提示,生成高维的词嵌入 图像信息生成器 实现扩散模型的反向过程,去噪音生成图像的隐藏信息 图像解码器 把隐信息还原成图像 4语音多模态技术 组成：3层降采样块和3层条件上采样块 微软的 Natural Speech 2：结合了扩散模型的概念，通过使用神经语音编将语音波形转换为连续向量，然后使用解码器重建语音波形 5 视频多模态技术 挑战 可调整的低秩适配(Adaptive Low-Rank Adaptation，AdaLoRA)技术和量化压缩远程注意力(Quantized Long-Range Attention，QLoRA)技术 8 GPT-4多模型核心技术介绍
46210编辑于 2024-09-10 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 如果一个多模态模型依赖于来自某些输入数据的激活做出预测，那么这个输入的消融将导致性能的变化，而如果模型没有学会使用的输入，删除它将没有影响。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 ▊ 4.实验 4.1. Silver Object Annotations 最后，作者检查了用于表示视觉模态的数据。
2.5K20发布于 2021-09-28 - 来自专栏一点人工一点智能
多模态数据的行为识别综述
首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集；然后根据数据模态分类，回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法，以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法 每种数据的模态都有自身特性导致的优缺点，如RGB模态数据易采集但鲁棒性较差。因此提出了融合多模态的方法，以克服一些单模态存在的问题。 每个表演者重复动作4次，总共包括861个视频序列。该数据集包含RGB模态、深度模态、骨架模态和惯性传感器信号。 Jalal等人（2017）从连续的深度图序列中分割人体深度轮廓，并提取4个骨骼关节特征和一个体形特征形成时空多融合特征，利用多融合特征的编码向量进行模型训练。 6.1 RGB模态的方法对比RGB模态数据集选取了经典的UCF101数据集和HMDB-51数据集，以及新颖的Something-Something数据集，对比了经典方法和新发表的效果最佳的方法，如表4和表
3.5K22编辑于 2023-01-03 - 来自专栏圆圆的算法笔记
如何使用多类型数据预训练多模态模型？
点关注，不迷路，定期更新干货算法笔记~ 在训练过程中使用更多数据一直是深度学习提效的重要方法之一，在多模态场景也不例外。 想使用多种类型的数据，核心是在数据或模型结构上实现多任务的统一。本文梳理了这个方向4篇近期最典型的工作，包括2篇CVPR 2022的文章和2篇谷歌的文章。 其中涉及的方法包括：多模态模型结构上的统一、多模态数据格式上的统一、单模态数据引入、多类型数据分布差异问题优化4种类型。 下表对比了FLAVA和其他多模态模型在训练数据、预训练任务和可解决的模态上的差异。FLAVA使用了多种单模态数据，让模型能够同时处理单模态和多模态任务。 4 多类型数据分布差异问题优化 论文题目：Prefix Conditioning Unifies Language and Label Supervision 下载地址：https://arxiv.org
2.8K20编辑于 2022-09-22 - 来自专栏唐国梁Tommy
【论文解读】LLaVA 多模态大模型，微软首创用GPT-4生成多模态指令数据集进行指令微调
注：本图由stable diffusion生成 1.1 摘要 在本文中，我们首次尝试使用仅基于语言的GPT-4生成多模态语言-图像指令跟随(instruction following)数据。 （2）大型多模态模型 我们开发了一个大型多模态模型（LMM），将CLIP的开放集视觉编码器与语言解码器LLaMA连接，并在我们生成的指令型视觉-语言数据上进行端到端的微调。 我们的实证研究验证了使用生成数据进行LMM指令调整的有效性，并为构建通用指令跟随视觉代理提供了实用建议。通过GPT-4，我们在科学问答多模态推理数据集上实现了最优的性能。 （1）受近期GPT模型在文本标注任务的成功启发，我们提出利用ChatGPT/GPT-4基于广泛存在的图像-文本对数据进行多模态指令跟随数据收集。 （约80K个独特的图像）进行训练，但它在这两个示例上(请看本文后续的截图)展示了与多模态GPT-4非常相似的推理结果。
3.9K20编辑于 2023-09-01 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
多模态大模型预训练的核心架构旨在整合和处理多种类型的数据模态，如文本、图像、音频等，以发掘不同模态间的深层关联并提升模型的表征能力【3】。 以下是多模态大模型预训练的核心架构组件：1.模态特定的编码器（Modality-Specific Encoders）· 文本编码器：负责将文本数据转换为向量表示，通常采用Transformer或BERT · 图像编码器：处理图像数据，常使用卷积神经网络（CNN）来提取视觉特征。· 音频编码器（如果有）：处理音频数据，可能采用特定的音频处理网络，如WaveNet。 · 主干网络可能包含自注意力层和前馈网络，以增强模型对多模态数据的理解。 （1）将图片切成16x16的小块（patch），每个块转换为一个“词向量”，再加上位置编码；（2）经过Transformer Encoder层（3）分类层4.
5.7K13编辑于 2024-05-14 - 来自专栏AIGC新知
Meta Llama 4 全面解析：全新的原生多模态 AI
Llama 4：原生多模态，混合专家架构，超长上下文支持。 原生多模态融合 Llama 4采用了原生多模态设计，能够处理和整合各种类型的数据，包括文本、视频、图像和音频，并且可以在这些格式之间转换内容。 可以用海量的无标签文本、图片和视频数据一起来预训练模型。这种设计使得Llama 4在处理多模态任务时，如图文检索、视觉问答（VQA）等场景，表现出色。 这种流程旨在解决SFT和DPO可能过度限制模型的问题，通过移除超过50%被标记为“简单”的数据，对剩余更难数据进行轻量级SFT，在多模态在线RL阶段精心选择更难的提示，并实施持续在线RL策略，交替进行模型训练和数据筛选 这三个模型各有侧重点，Scout适合需要处理大量文本数据的应用，Maverick适合多模态和创意任务，而Behemoth则专注于大规模参数模型和复杂任务处理。开发者可以根据具体需求选择合适的模型。
2.2K60编辑于 2025-04-07 agent多模态学习
1.2 什么是多模态 (Multimodal) 多模态是指系统能够处理并融合来自不同信息通道的数据，如文本、图像、音频、视频、传感器数值等。 二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。 9.5 自动驾驶与机器人 环境感知：融合摄像头、雷达、激光雷达等多模态数据，构建环境模型。 决策规划：基于环境模型，规划安全、高效的行驶或运动路径。 10.2 关键挑战 模态对齐与泛化：如何让模型在不同场景和数据分布下都能准确对齐多模态信息。 推理与规划的可靠性：提升 Agent 在复杂、长链路任务中的推理准确性和自我修正能力。
50210编辑于 2026-01-15- 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 我们的模型在IEMOCAP和MOSEI数据集上给出了最先进的 （SOTA）结果，详细的消融实验显示了在两个层面上对信息进行建模的重要性 论文模型框架 图2显示了详细的体系结构。 python preprocess.py --dataset=“iemocap_4” 训练模型 python train.py --dataset=“iemocap_4” --modalities =“atv” --from_begin --epochs=55 测试模型 python eval.py --dataset=“iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型 ，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练。
32410编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 模型训练与优化要点 数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
30510编辑于 2026-01-20- 来自专栏多模态视频理解
多模态算法综述
在UCF101数据集上达到了87%的准确率图片（2）Beyond Short Snippets: Deep Networks for Video Classification，尝试了多种多帧帧见融合策略如 最终在UCF101上达到了98%的准确率，Kinetics-400数据集达到72.1%的准确率图片同时，由于UCF101数据集已经达到了很高的准确，因而人们慢慢将注意力转移至了Kinetics数据集（3 ，同时也更加注重多模态的内容理解。 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器 、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language
3.1K30编辑于 2022-07-12 - 来自专栏一点人工一点智能
多模态认知计算
认知科学研究[4] 指出，人类在接收外界刺激时会选择性地关注其中的一部分。这种“注意力机制”作为人类认知能力的重要组成部分，有效提高了信息加工的效率。 对于给定认知任务 T，事件 x 提供的信息量为 从公式 (4) 中可看出，当注意力集中在模态密集的时空事件时，获取的信息量达到最大值。 因此，个体可以利用多模态时空数据获取更多信息 近年来，注意力机制在计算机视觉，自然语言处理等领域的广泛应用，证明了对特定事件的关注有助于提高机器的学习能力，而多模态学习的成功也印证了多模态时空数据联合方面的优势 因此，公式 (4) 中的模型可以尝试解释多模态认知计算的内在机理，刻画机器从数据中提取信息的过程。然而，是否获取到的信息量越大，机器就越接近人类的认知水平? 元模态指向一个紧致的低维空间，可以实现到不同模态空间的投影，从而具备更加泛化的表征能力. 6.2 多模态数据带来了什么？ 近年来，结合多模态数据的人工智能确实取得了更好的性能表现。
95830编辑于 2022-12-27 - 来自专栏AIGC 先锋科技
打破单模态局限，LoRS在多模态数据提炼上的突破 ！
在近年来数据集提炼已经迅速发展的同时，多模态数据的提炼，例如图像-文本对，提出了独特且尚未深入探索的挑战。 作为VLP的基础，作者关注图像-文本对比学习（ITC）数据，并旨在有效地进行图像-文本数据集蒸馏，这可能会提高多模态模型的效率和推动其研究。 BLIP 和BLIP 结合了多模态学习方法，表现良好。还有一些近期工作专注于CLIP-like模型中的软标签。SoftCLIP 通过生成同模态相似性实现了软跨模态对齐。 这种方法引入了成对多模态数据的一个新组件，但可以无缝嵌入到所有多模态对比学习算法中。图5也显示了计算图的概览。合成数据的可学习参数是，其中首先组合成合成相似性矩阵，然后用于更新合成轨迹的网络参数。 ., 2023) 是MTT的一种高效实现，因此作者将 TESLA 适应到多模态数据，并使用加权BCE损失（TESLAwBCE）。
52010编辑于 2024-07-08 - 来自专栏素质云笔记
多模态＋Recorder︱多模态循环网络的图像文本互匹配
来源于公众号：大数据与多模态计算 ---- 1.问题背景 图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。 为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。 我们在两个经典的细粒度草图-图像数据集上进行了大量的实验，结果表明所提出的方法可以有效利用多模态多视角特性并提升检索性能。 多模态搜索 网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据 2）从数据语义的角度来进行不同模态数据的匹配，在此基础上，通过加入三元组的限制条件，来提高匹配精度。遵循的原则为：在最小化同一语义数据在不同模态之间距离的同时，最大化不同模态不同语义数据之间的距离。
2.8K20发布于 2019-05-26 - 来自专栏AI科技评论
Claude 3 惊喜上线：多模态能力比肩 GPT-4V
昨晚，Anthropic 突然惊喜上线，时隔八个月携着 Claude 3 走来，让世界再次将目光聚焦到这一个被视为 ChatGPT 强大竞争对手之一的多模态模型。 同老对手OpenAI GPT-4与谷歌 Gemini Pro相比，Claude 3 的优势又在哪里呢？ Claude 本次更新的一大亮点，在于长文本能力的升级以及对多模态能力的突破。 Anthropic 在推出 Claude 3 时升级了其复杂视觉功能，使其领先于其他模型，多模态能力比肩GPT-4V。 相比之下，GPT-4在此类任务上一直难以达到同样水准。 最后，在多模态场景下，博主让Claude解读一篇论文的部分内容，其分析逻辑清晰、准确。 尽管如此，在信息丰富度方面，Claude的表现略逊于GPT-4，尚有提升空间，特别是在多模态信息整合与呈现的能力上，仍有待进一步加强。
91510编辑于 2024-03-06 - 来自专栏媒矿工厂
CVPR2023 Tutorial Talk | 大型多模态模型：构建和超越多模态GPT-4
今天我将试图帮助大家构建一个最小版本的多模态GPT-4。我将介绍不同的方式来利用大型语言模型(LLM)进行多模态任务。 我认为 Flamingo 模型可以被认作是多模态领域的 GPT-3。 图5 那么现在，今年3月初，我们看到 OpenAI 发布了多模态模型 GPT-4。尽管我们不知道模型细节。 当涉及到 GPT-4 时，在多模态领域有一个额外的功能，那就是允许图像输入。 图7 现在我们也有了多模态 GPT-4。那么现在距离理想目标还存在差距，这里的差距是什么，我们如何可能填补这一差距? 我们还没有公开的多模态 GPT 模型，我们也没有好的 instructor，这是一个独特的挑战。 图15 我们如何利用语言模型去构造一个多模态模型的指令数据呢？ 在 LLaVA 中，我们提供了一个初步的方法如何构造这样的数据并训练这个多模态模型。首先我们来谈谈数据。即使我们不能将原始图像放入 ChatGPT 或 GPT-4 中，因为这些语言模型不能理解图像。
1.4K30编辑于 2023-09-09 - 来自专栏深圳架构师同盟
Daft：AI驱动的多模态数据融合引擎
，应对多模态数据的存储与处理需求。 多模与结构化统一 既兼容结构化数据（如关系型数据库、数据仓库的表结构数据），又能处理多模态数据（如图片、音频、视频等非结构化内容），打破数据形态的处理壁垒，满足AI场景下“多模态数据融合分析”的核心需求 多模态处理层：通过RAY、Audio/Img/Video等工具，处理图片、音频、视频等多模态数据的特征提取与分析。 3.3 多模Lazy计算 上图是多模态数据处理的两种框架流程。 透明编码：容器式操作类型，灵活适配多模态数据压缩 多模态数据（如图像、点云）的存储需兼顾“压缩效率”与“访问灵活性”。
1.1K10编辑于 2025-11-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号