- 综合排序
- 最热优先
- 最新优先
【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 模型训练与优化要点 数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 API化：通过FastAPI封装模型，提供RESTful接口供业务系统调用。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
30610编辑于 2026-01-20- 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(3)
·深度学习时代（2010-2019年）：多模态技术快速发展，这主要得益于以下3点: o算力快速发展。 o新的多模态数据集层出不穷。 o语言特征提取能力和视觉特征提取能力快速提高。 o解决图像多模态问题有3种传统的思路，分别是使用单编码器模型、双编码器模型、编码器-解码器模型。 ·单编码器模型指的是整个架构中只存在一个图像编码器的模型。 这种编码器-解码器结构有助于融合多模态特征，在多模态理解任务中表现较好，但由于缺乏单独的文本编码器，在图像检索、视频检索等任务中表现不佳 oCoCa 模型创造性地将上述 3 种思路进行有效融合，能够分别独立获得图像特征向量和文本特征向量 大模型+多模态的3种实现方法 1，以LLM 为核心，调用其他多模态组件 2023年5月，微软亚洲研究院(MSRA)联合浙江大学发布了HuggingGPT。 具备很强的泛化能力和小样本、零样本推理能力， 3、以LLM 为底座模型，训练跨模态编码器 这种方法的特色是以预训练好的LLM 为底座模型,冻结LLM的大部分参与训练跨模态编码器。
1.2K20编辑于 2024-09-10 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。 ，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态大模型预训练的核心架构旨在整合和处理多种类型的数据模态，如文本、图像、音频等，以发掘不同模态间的深层关联并提升模型的表征能力【3】。 3. 主干网络（Backbone Network）· 作为模型的核心，主干网络通常基于Transformer架构，用于进一步处理和融合来自不同模态的信息。
5.7K13编辑于 2024-05-14 - 来自专栏算法之名
多模态大模型篇
如上图中e=3。 如果我们得到的s>e，那么就代表问题没有答案，我们需要输出此题无解。 LLaMA GPT一代 模型堆叠了12个transformer的解码器层。 它与其他大型语言模型的关联 LLaMA与GPT、GPT-3、Chinchilla和PaLM等其他大型语言模型类似，因为它使用Transformer architecture来预测给定单词或token序列作为输入的下一个单词或 训练方式与训练数据 LLaMA模型训练方法和GPT-3差不多，都是自回归的方式(依据前/后出现的子词来预测当前时刻的子词)。在大量的语料中，使用标准的transformer优化器进行模型的训练。 在LLaMA 13B的模型与GPT-3 175B对比，我们会发现LLaMA 13B在各个数据集中都能跟GPT-3持平甚至超过。 GLM-130B在多个英语和汉语的基准测试中优于其他模型，如GPT-3 175B、OPT-175B、BLOOM-176B、ERNIE TITAN 3.0 260B等。
1.5K51编辑于 2023-10-16 - 来自专栏CSDN社区搬运
Robust多模态模型的开发
Robust 多模态模型：寻找遗失的模态！ 近年来，随着网络视频的大量涌现，各种多模态任务日益备受关注。 然而，这两种方法都无法科普非对齐序列中随机模态特征的缺失。 本文提出了一种 Robust 的多模态模型来提高模型对非对齐模态序列随机缺失的鲁棒性。 同时，我在流行的多模态任务–多模态情感计算的数据集上对模型进行了测试，得到了不错的效果，证明了该模型的可靠性。 在这种情况下，需要一种能够处理随机模态特征缺失（RMFM）的模型。因此，在多模态任务中构建能够处理RMFM的模型仍然是一个开放的研究。 这些话语被手动注释为[-3，3]之间的连续意见评分，其中-3/+3表示强烈的消极/积极情绪； CMU-MOSEI: CMU-MOSEI数据集是对MOSI的改进，具有更多的话语数量，样本，扬声器和主题的更大多样性
42110编辑于 2024-11-15 - 来自专栏CreateAMind
多模态大型语言模型综述
-4V 为代表的多模态大语言模型（Multimodal Large Language Model, MLLM）已成为一个新兴的研究热点，它利用强大的大语言模型（LLMs）作为“大脑”来执行多模态任务。 随后，我们讨论了多模态幻觉问题及相关扩展技术，包括多模态上下文学习（Multimodal ICL, M-ICL）、多模态思维链（Multimodal CoT, M-CoT）和大语言模型辅助的视觉推理（LLM-Aided 索引术语—多模态大语言模型，视觉语言模型，大语言模型。 1 引言 近年来，大语言模型（LLMs）[1]–[5] 取得了显著进展。 ，例如使用多模态指令微调 [19]、[20] 来促使模型遵循新指令。 除输入外，如 NExT-GPT [32] 等项目还支持多模态输出；(3) 改进的语言支持。
73410编辑于 2026-03-11 - 来自专栏ytkah
GPT-4多模态模型
GPT-4 模型是OpenAI开发的第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。 在GPT-4之前是GPT-3.5，由该模型开发的聊天机器人 ChatGPT 一经面世，便引爆 AI 界的军备竞赛 多模态或成GPT-4最大亮点 微软 AI 技术专家 Holger Kenn 和 Clemens Sieber 对多模态 AI 的相关功能进行了介绍。 Sieber 则介绍了一些多模态 AI 产业化的潜在案例，例如多模态 AI 能够将电话呼叫的语音直接记录成文本。根据估算，该功能能为微软位于荷兰的一家大客户节省 500 个工作小时/天。 GPT-4 GPT-4 模型是第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。
1.7K31编辑于 2023-03-13 - 来自专栏云社区活动
训练多模态模型的最佳实践
训练多模态模型的最佳实践【引言】 大家好，我是Echo_Wish，今天咱们来聊聊多模态模型的训练最佳实践。啥是多模态？简单说，就是让模型像人一样，能听、能看、还能读。 如今，多模态模型在自动驾驶、医疗影像、智能问答等领域大放异彩，但训练它们可不是件容易的事。 今天我就带大家从数据准备、模型选择、训练优化到评估调优，系统地搞清楚如何高效训练多模态模型，并且会附上代码示例，确保大家能落地实践。1. 模型选择：一键复用还是自研？多模态模型可以分为两类：预训练模型（CLIP、BLIP、BEiT-3）：适用于迁移学习，省时省力。 虽然训练过程充满挑战，但只要掌握数据处理、模型选择、训练优化和评估方法，就能高效训练出强大的多模态模型。
86210编辑于 2025-03-28 - 来自专栏自然语言处理(NLP)论文速递
剑桥 | 发布多模态检索器，赋能多模态大模型RAG应用
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。 多模态知识提取器的知识 “召回能力” 直接决定了大模型在回答推理时能否获得准确的专业知识。 该模型经过百万级的多模态数据预训练后，在多个下游检索任务中取得了优秀的表现。同时，作为一个优秀的基底模型，PreFLMR 在私有数据上稍加训练就能够获得表现极佳的领域专用模型。 图 2：PreFLMR 模型同时在多项任务上取得极佳的多模态检索表现，是一个极强的预训练基底模型。 2. 3.PreFLMR 能够根据用户输入的指令（例如 “提取能用于回答以下问题的文档” 或 “提取与图中物品相关的文档”），从庞大的知识库中提取相关的文档，帮助多模态大模型大幅提升在专业知识问答任务上的表现
55810编辑于 2024-03-26 - 来自专栏人工智能
多模态AI与视觉语言模型
多模态AI正是这一方向的核心技术，CLIP、DALL-E、GPT-4V等模型的出现标志着我们进入了多模态智能的新时代。 其成功催生了后续众多工作： Stable Diffusion：使用CLIP进行图像-文本对齐 LLaVA：结合CLIP视觉编码器和语言模型 Flamingo：多模态上下文学习 多模态架构设计 早期融合 挑战与未来方向 模态对齐：如何更精确地对齐不同模态的语义 长尾分布：处理罕见的多模态组合 计算效率：大规模多模态模型的推理加速 可解释性：理解多模态模型的决策过程 世界知识：将多模态学习与世界知识结合 通过CLIP等模型的实践，我们看到跨模态理解不仅可行，而且效果惊人。从零样本分类到图像生成，从视觉问答到多模态对话，多模态技术正在不断拓展AI的能力边界。 未来，随着模型规模的扩大和训练数据的积累，多模态AI将在更多领域发挥作用，为人机交互带来革命性变化。掌握多模态学习的技术，将帮助读者在AI浪潮中把握机遇，创造更智能的应用。
42610编辑于 2026-01-21 【论文解读】多模态大模型综述
一、简要介绍 多模态大语言模型（MLLM）是近年来一个新兴的研究热点，它利用强大的大语言模型（LLM）作为大脑进行多模态研究。 LaVIN设计了一种混合模态适配器来动态决定多模态嵌入的权重。 专家模型 除了可学习的接口外，使用专家模型，如图像字幕模型，也是一种可行的弥补模态差距的方法。 不同的是，专家模型背后的想法是不经过训练就将多模态输入转换成语言。这样，LLM就可以通过转换后的语言间接地理解多模态性。 受自然语言处理成功的启发，提出了多种工作，将单模态CoT扩展到多模态CoT（M-CoT）。论文总结了这些工作，如图3所示。首先，类似于M-IT中的情况（见3.1），需要填补模态缺口（3.3.1）。 (3)更好的交互性和控制性。传统的模型通常允许一组有限的控制机制，并且通常需要昂贵的管理数据集。
7.7K20编辑于 2024-03-12多模态大模型训练营
多模态大模型训练营：将AI技术融入日常生活的思考在参加"多模态大模型训练营"的过程中，我逐渐意识到，作为程序员学习的不仅是技术本身，更是一种全新的思维方式。 现在，我学会了像多模态模型那样，先对信息进行分类和优先级排序：重要且紧急的事项如同需要立即处理的输入信号，而长期目标则像模型的训练过程，需要持续投入和调整。 我开始将任务视为不同的"模态"，找到它们之间的关联，制定出更高效的处理策略。沟通能力的潜移默化提升多模态模型擅长理解上下文和语义nuance，这启发我改善了自己的沟通方式。 多模态模型的"融合"理念让我学会从多个角度分析问题，结合不同的资源和思路，创造出更创新的解决方法。无论是规划旅行路线还是解决家庭事务，这种跨领域思考都带来了意想不到的好结果。 多模态大模型训练营给我的不仅是技术知识，更是一套应对复杂现代生活的思维工具。它让我明白，最好的技术是那些能够无缝融入生活、提升生活质量而不过度引人注目的工具。
18310编辑于 2025-11-22- 来自专栏云云众生s
通用多模态AI模型的兴起
通用的多模态模型 (GMM) 能够轻松地跨不同模态学习，并在不同类型的任务中表现良好。 正是由于多模态AI潜在的下游影响，现在人们更加关注构建真正“通用”的多模态AI模型。这种通用多模态模型 (GMMs) 能够轻松地跨不同模态学习，并在面对不同类型任务时适应并表现良好。 当前通用多模态AI模型的示例包括： NExT-GPT OneLLM Meta-Transformer OFA+ Unified-IO 基础模型铺平道路 当前通向通用多模态模型的轨迹源于预训练的深度学习基础模型 例如，基于文本的数据可以由任何大型语言模型处理，而图像可以由像CLIP这样的模型编码，或者各种模态可以由像ImageBind这样的多模态模型编码。 其他障碍包括缺乏足够复杂的基准来评估通用多模态模型（GMMs），而通常的基准主要针对文本和图像。 另一个障碍是当前的多模态学习严重偏向于跨模态学习，这往往偏向于图像和文本而不是其他模态。
36110编辑于 2025-01-08 - 来自专栏科学最Top
ChatTime：多模态时间序列基础模型
2412.11376 代码链接：https://github.com/ForestsKing/ChatTime 本文针对传统时间序列预测方法的局限，创新地将时间序列建模为外语（foreign language），构建多模态时间序列基础模型 ChatTime，支持零样本预测和双模态输入输出，通过实验验证其在多种任务和场景下性能优越，还创建了多模态数据集，为时间序列分析提供了新视角与解决方案。 人类专家经常整合多模态信息进行时间序列预测。例如，经济学家将历史金融数据序列与政策报告相结合，以预测未来市场趋势。 这就引出了一个问题：是否有可能构建一个多模态时间序列基础模型，既允许零样本推理，又支持时间序列和文本双模态输入和输出？ 这些任务分别考察基础模型在时间序列到时间序列、文本到时间序列以及时间序列到文本的模态转换能力。 实验结果证实了ChatTime在多个任务和场景中的卓越性能，凸显了其作为多模态时间序列基础模型的潜力。
58311编辑于 2025-03-24 - 来自专栏圆圆的算法笔记
如何使用多类型数据预训练多模态模型？
其中涉及的方法包括：多模态模型结构上的统一、多模态数据格式上的统一、单模态数据引入、多类型数据分布差异问题优化4种类型。 /pdf/2205.01917.pdf CoCa将解决图像或多模态问题的模型概括成3种经典结构，分别是single-encoder model、dual-encoder model、encoder-decoder 三种类型的模型结构对比如下图。 CoCa希望将三种类型的模型结构进行统一，这样模型可以同时使用3种类型的数据训练，获取更多维度的信息，也可以实现3种类型模型结构的优势互补。 因此，FLAVA提出，在训练多模态模型时，同时引入图像领域和NLP领域的单模态任务，提升单模态模型的效果，这有助于多模态模型后续的训练。 下表对比了FLAVA和其他多模态模型在训练数据、预训练任务和可解决的模态上的差异。FLAVA使用了多种单模态数据，让模型能够同时处理单模态和多模态任务。
2.8K20编辑于 2022-09-22 - 来自专栏DeepHub IMBA
使用高斯混合模型拆分多模态分布
本文介绍如何使用高斯混合模型将一维多模态分布拆分为多个分布。 生成具有多模态分布的数据 当一个数据集显示出多个不同的峰值或模态时，通常会出现显示出多个不同的峰值或模态，每个模态代表分布中一个突出的数据点簇或集中。这些模式可以看作是数据值更可能出现的高密度区域。 dist_3 = np.random.normal(45, 6, 500) multimodal_dist = np.concatenate((dist_1, dist_2, dist_3), sns sns.set_style('whitegrid') plt.hist(multimodal_dist, bins=50, alpha=0.5) plt.show() 使用高斯混合模型拆分多模态分布 下面我们将通过使用高斯混合模型计算每个分布的均值和标准差，将多模态分布分离回三个原始分布。
66330编辑于 2023-09-28 - 来自专栏登神长阶
【论文复现】Robust多模态模型的开发
Robust 多模态模型：寻找遗失的模态！ 近年来，随着网络视频的大量涌现，各种多模态任务日益备受关注。 然而，这两种方法都无法科普非对齐序列中随机模态特征的缺失。 本文提出了一种 Robust 的多模态模型来提高模型对非对齐模态序列随机缺失的鲁棒性。 同时，我在流行的多模态任务–多模态情感计算的数据集上对模型进行了测试，得到了不错的效果，证明了该模型的可靠性。 在这种情况下，需要一种能够处理随机模态特征缺失（RMFM）的模型。因此，在多模态任务中构建能够处理RMFM的模型仍然是一个开放的研究。 这些话语被手动注释为[-3，3]之间的连续意见评分，其中-3/+3表示强烈的消极/积极情绪； CMU-MOSEI: CMU-MOSEI数据集是对MOSI的改进，具有更多的话语数量，样本，扬声器和主题的更大多样性
52710编辑于 2024-11-28 - 来自专栏程序随笔
聊聊多模态大模型处理的思考
多模态：文本、音频、视频、图像等多形态的展现形式。 目前部门内业务要求领域大模型需要是多模态——支持音频/文本。从个人思考的角度来审视下，审视下多模态大模型的实现方式。 多模态基座模型 即原生基座模型，比如GLM、LlaMa2、QWen、文心一言等基座模型支持多模态的输入输出，从个人调研来看，GLM、文心一言对这方面的支持比较弱，仅支持文本/图像；LlaMa2有开源的实现支持文本 魔塔社区/HuggingFace上，已经开源了很多高质量的多模态模型，截个图展示下： 文本化处理 使用开源/商务组件处理输入的内容，将其文本化，再输入到模型中；然后再经历输入部分的流程。 总结 最终来看，第一个方案肯定是最合适的；但如果对于选型的大模型不支持多模态的情况下，考虑开源实现或是第二张方案，但要综合调研其带来的影响，并不是简单的转文本就行。 第三种，目前我没有找到合适的Embedding模型支持多模态，后续继续探讨挖掘下。 转载请注明出处：https://www.cnblogs.com/zhiyong-ITNote
79610编辑于 2024-03-27 - 来自专栏机器学习与生成对抗网络
综述论文 | 多模态视觉大模型
本文系统回顾了多模态LLMs中最新的视觉语言指令调优设置和数据集，并总结了高质量视觉语言调优数据应具备的特征。 Comprehensive Survey on Multimodal Large Language Model https://arxiv.org/pdf/2311.07594.pdf 本综述论文探讨了多模态大型语言模型 （MLLMs），它将GPT-4等大型语言模型与文本和视觉等多模态数据进行整合。 本研究将MLLMs中现有的模态对齐方法分为四组进行调查：（1）多模态转换器，将数据转换为LLMs可以理解的形式；（2）多模态感知器，改进LLMs感知不同类型数据的能力；（3）工具辅助，将数据转换为一种常见格式 这个领域仍处于探索和实验阶段，组织和更新各种现有的多模态信息对齐研究方法。
80210编辑于 2023-11-17 【接入多模态模型API的关键点】
接入多模态模型API的关键点 多模态模型（如OpenAI的CLIP、GPT-4V，Google的Gemini等）能够处理文本、图像、音频等多种输入形式。 Google的Gemini支持多模态对话。 输入数据预处理 图像/音频需转换为API支持的格式（如Base64编码、URL或二进制流），文本需注意长度限制和清理特殊字符。 输出结果解析 多模态API可能返回复杂结构（如JSON嵌套的文本描述、图像链接或置信度分数），需设计解析逻辑提取关键信息。 response.choices[0].message.content description = describe_image("example.jpg") print(description) 其他多模态 添加重试机制应对网络波动或API限流： from tenacity import retry, stop_after_attempt @retry(stop=stop_after_attempt(3)
43310编辑于 2025-12-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号