- 综合排序
- 最热优先
- 最新优先
- 来自专栏云云众生s
用于训练多模态AI模型的5个有用数据集
面向开发者的五大领先多模态数据集，以及这些数据集包含的内容和用途说明。 然而，构建有用的多模态AI模型需要高质量的多模态数据集，这些数据集是训练这些多功能系统的必要燃料——使它们能够超越单一维度或模式，扩展对世界的理解。 有如此多的多模态数据集公开可用，很难知道从哪里开始。在这篇文章中，我们将介绍目前可用的最著名的一些多模态数据集，并简要描述它们包含的内容以及它们可能被用于什么。 1. 该数据集的独特之处在于它包含多种信息来源，包括视频片段、剧情、字幕、脚本和描述性视频服务（DVS）。 应用：自动化电影分析、摘要和分类。 许可证：未指定。 MovieQA数据集示例。 5. 这些只是大量可用多模态数据集中的少数几个——更不用说也日益受到关注的多语言数据集了。有如此多的选择，找到合适的训练AI模型的数据集相对容易。
1.6K10编辑于 2025-01-17 - 来自专栏云云众生s
5个实际开源的多模态AI模型
了解最新的开源多模态AI系统，以下列出了五个领先的选项，包括其功能和用途。 虽然市场上已经存在许多强大的、专有的多模态AI系统，但小型多模态AI模型和开源替代方案也正在迅速发展，因为用户不断寻求更易访问和更易适应的选项，并优先考虑透明度和协作。 Leopard旨在解决多模态AI领域的两大挑战，即高质量多图像数据集的稀缺性以及图像分辨率与序列长度之间的平衡。 这些特性使Leopard成为多页文档理解（例如幻灯片、科学和财务报告）、数据可视化、网页理解以及部署能够处理视觉复杂环境中任务的多模态AI代理的优秀工具。 Leopard的整体模型流程。 3. 5. xGen-MM 也被称为 BLIP-3，这是来自Salesforce 的一套最先进的开源多模态模型，它包含一系列变体，包括一个预训练基础模型，一个指令微调模型和一个旨在减少有害输出的安全微调模型。
2.1K10编辑于 2024-12-14 - 来自专栏云云众生s
5个小型多模态AI模型及其功能
随着对多模态AI系统兴趣的增长，这些多功能工具的小型版本也随之增多。 现在，随着人们对能够同时处理不同类型数据（图像、文本、音频和视频）的多模态AI系统的兴趣日益增长，这些多功能工具的小型版本也随之增多。 在本文的其余部分，我们将介绍五种最近备受关注的小型多模态AI工具。 1. 5. Mississippi 2B 和 Mississippi 0.8B 最近由H2O.ai发布，这两个多模态基础模型专为OCR和文档AI用例而设计。 结论 多模态模型以及大型语言模型的可访问性和成本效益仍然是主要问题。但随着越来越多的相对轻量级但功能强大的多模态AI选项可用，这意味着更多机构和小型企业将能够在其工作流程中采用AI。
71010编辑于 2024-12-04 - 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(5)
国内外多模态大模型对比 国内 LLaMA-Adapter V2 香港中文大学 双语输出 输入 •图像 •语音 •文本 •视频 • 3D 点云 起源：LLaMA-Adapter •在线性层上进行偏差调整 •4、ChatGLM-6B 在 GLM 框架下，专门针对中文问答和对话进行了优化 mPLUG-Owl 阿里巴巴达摩研究院 2023年5月 架构 •视觉基础模块(采用开源的VTL-L) •视觉抽象模块 多模态大模型评测数据集 国内评测数据集 OwlEval •基于mPLUG-Owl模型发布 • 包含 •50 张图片 •82 个回题 •功能 •故事生成 •广告生成 •代码生成 MME •开发 •结构 •265 016张图片 •每张图片至少有 3 个问题(平均 5.4个每个问题） •每个问题 •有 10 个基本事实答案 •有 3 个合理(但可能不正确)的答案 多模态大模型的评测标准 国内评测标准 •KROCC( Kendall Rank Order Correlation Coefficient，肯德尔秩相关系数) •RMSE( Root Mean Square Error,均方根误差 ) 多模态大模型对比
35810编辑于 2024-09-10 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 如果一个多模态模型依赖于来自某些输入数据的激活做出预测，那么这个输入的消融将导致性能的变化，而如果模型没有学会使用的输入，删除它将没有影响。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 Silver Object Annotations 最后，作者检查了用于表示视觉模态的数据。 这种行为与对有噪声的数据进行了预训练的模型相一致。在这些模型中，语言输入对预测并没有用。 ▊ 5.
2.5K20发布于 2021-09-28 - 来自专栏一点人工一点智能
多模态数据的行为识别综述
首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集；然后根据数据模态分类，回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法，以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法 每种数据的模态都有自身特性导致的优缺点，如RGB模态数据易采集但鲁棒性较差。因此提出了融合多模态的方法，以克服一些单模态存在的问题。 这个数据集对于不同的视频序列具有可变的序列长度，并且表现出很高的类内变化。该数据集包含了RGB模态、深度模态和骨骼模态。骨骼模态的数据集包含了25个关节记录信息，图 5为人体的25个关节示意图。 Top-1代表概率最大的结果是正确答案的准确率，Top-5代表概率排名前5的结果是正确答案的准确率。 5所示。
3.5K22编辑于 2023-01-03 - 来自专栏圆圆的算法笔记
如何使用多类型数据预训练多模态模型？
点关注，不迷路，定期更新干货算法笔记~ 在训练过程中使用更多数据一直是深度学习提效的重要方法之一，在多模态场景也不例外。 在此之后对CLIP多模态模型的优化中，一个很重要的分支是如何使用更多其他类型的数据（例如图像分类数据、看图说话数据等），特别是CVPR 2022、谷歌等近期发表的工作，都集中在这个方面。 其中涉及的方法包括：多模态模型结构上的统一、多模态数据格式上的统一、单模态数据引入、多类型数据分布差异问题优化4种类型。 下表对比了FLAVA和其他多模态模型在训练数据、预训练任务和可解决的模态上的差异。FLAVA使用了多种单模态数据，让模型能够同时处理单模态和多模态任务。 这表明模型学到了如何区分不同类型的数据，并将其存储到prefix prompt的向量中，用来影响整个句子的表示生成。 5 总结 本文介绍了多模态模型优化中的引入多种类型数据的研究方向。
2.8K20编辑于 2022-09-22 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
多模态大模型预训练的核心架构旨在整合和处理多种类型的数据模态，如文本、图像、音频等，以发掘不同模态间的深层关联并提升模型的表征能力【3】。 以下是多模态大模型预训练的核心架构组件：1.模态特定的编码器（Modality-Specific Encoders）· 文本编码器：负责将文本数据转换为向量表示，通常采用Transformer或BERT · 图像编码器：处理图像数据，常使用卷积神经网络（CNN）来提取视觉特征。· 音频编码器（如果有）：处理音频数据，可能采用特定的音频处理网络，如WaveNet。 · 主干网络可能包含自注意力层和前馈网络，以增强模型对多模态数据的理解。 5.多模态应用以下是多模态大模型在表情识别和效价唤醒(VA)的应用，挑战要求参与者以时间连续的方式(即每0.25秒)预测情绪维度(即唤醒和效价)我们提出的方法主要由三个模块组成:预处理和特征提取模块、损失函数和融合模块
5.7K13编辑于 2024-05-14 agent多模态学习
1.2 什么是多模态 (Multimodal) 多模态是指系统能够处理并融合来自不同信息通道的数据，如文本、图像、音频、视频、传感器数值等。 二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 7.4 多模态报告与可视化 Agent 可以整合文本、图表、图片等多种信息，自动生成结构化的报告（如 PPT、PDF），或将数据自动生成为可视化图表，辅助决策。 9.5 自动驾驶与机器人 环境感知：融合摄像头、雷达、激光雷达等多模态数据，构建环境模型。 决策规划：基于环境模型，规划安全、高效的行驶或运动路径。 10.2 关键挑战 模态对齐与泛化：如何让模型在不同场景和数据分布下都能准确对齐多模态信息。 推理与规划的可靠性：提升 Agent 在复杂、长链路任务中的推理准确性和自我修正能力。
50210编辑于 2026-01-15GPT-5多模态与情境感知AI技术解析
GPT-5以分钟级代码生成能力注入"人性化"AI语音该模型具备增强的自主行动与推理能力，例如在演示中仅用数分钟便编写400余行代码创建交互式物理模拟。 用户无需手动选择深度推理模式，GPT-5可自动判断问题复杂度，同时支持通过下拉菜单强制激活深度推理。 OpenAI研究主管在直播中表示："其目标是提供恰到好处的思考量以生成完美答案"。 API提供三种变体： GPT-5：面向逻辑与多步骤任务的前沿模型 GPT-5-mini：低成本轻量版 GPT-5-nano：低延迟场景专用优化版 开发者可调节"详细度"参数，并选择"极简模式"以满足超低延迟需求 技术泄漏事件正式发布前，部分GPT-5技术资料曾短暂出现在代码托管平台。 尽管近期有观点认为生成式AI进入平台期，但分析师强调GPT-5在推理精度、领域准确性与幻觉控制方面实现显著突破："性能提升更多源于系统设计创新而非单纯规模扩张"。
36410编辑于 2025-08-11- 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 我们的模型在IEMOCAP和MOSEI数据集上给出了最先进的 （SOTA）结果，详细的消融实验显示了在两个层面上对信息进行建模的重要性 论文模型框架 图2显示了详细的体系结构。 self.get_prob(h, text_len_tensor) y_hat = torch.argmax(log_prob, dim=-1) return y_hat 使用方式 处理数据 from_begin --epochs=55 测试模型 python eval.py --dataset=“iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集 ，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练。
32410编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 模型训练与优化要点 数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
30510编辑于 2026-01-20- 来自专栏多模态视频理解
多模态算法综述
在UCF101数据集上达到了87%的准确率图片（2）Beyond Short Snippets: Deep Networks for Video Classification，尝试了多种多帧帧见融合策略如 最终在UCF101上达到了98%的准确率，Kinetics-400数据集达到72.1%的准确率图片同时，由于UCF101数据集已经达到了很高的准确，因而人们慢慢将注意力转移至了Kinetics数据集（3 ，同时也更加注重多模态的内容理解。 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器 、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language
3.1K30编辑于 2022-07-12 - 来自专栏AIGC 先锋科技
打破单模态局限，LoRS在多模态数据提炼上的突破 ！
在近年来数据集提炼已经迅速发展的同时，多模态数据的提炼，例如图像-文本对，提出了独特且尚未深入探索的挑战。 作为VLP的基础，作者关注图像-文本对比学习（ITC）数据，并旨在有效地进行图像-文本数据集蒸馏，这可能会提高多模态模型的效率和推动其研究。 BLIP 和BLIP 结合了多模态学习方法，表现良好。还有一些近期工作专注于CLIP-like模型中的软标签。SoftCLIP 通过生成同模态相似性实现了软跨模态对齐。 这种方法引入了成对多模态数据的一个新组件，但可以无缝嵌入到所有多模态对比学习算法中。图5也显示了计算图的概览。合成数据的可学习参数是，其中首先组合成合成相似性矩阵，然后用于更新合成轨迹的网络参数。 ., 2023) 是MTT的一种高效实现，因此作者将 TESLA 适应到多模态数据，并使用加权BCE损失（TESLAwBCE）。
52010编辑于 2024-07-08 - 来自专栏一点人工一点智能
多模态认知计算
因此，个体可以利用多模态时空数据获取更多信息 近年来，注意力机制在计算机视觉，自然语言处理等领域的广泛应用，证明了对特定事件的关注有助于提高机器的学习能力，而多模态学习的成功也印证了多模态时空数据联合方面的优势 从宏观角度来看，前述所有任务都是围绕公式 (5) 中的数据 (D)，信息量 (I) ，融合机制 (A) ，和任务 (T) 来提升机器认知能力 (ρ)。 缺乏认知进一步指导的多模态认知计算，很容易陷入数据拟合的陷阱。 元模态指向一个紧致的低维空间，可以实现到不同模态空间的投影，从而具备更加泛化的表征能力. 6.2 多模态数据带来了什么？ 近年来，结合多模态数据的人工智能确实取得了更好的性能表现。 但是，再深入思考一下，多模态数据到底带来了什么额外的信息，又是如何提升性能的呢? 实际上，多模态数据带来信息的同时，也带来了大量噪声和冗余，会出现信容降低的问题，增加模型学习压力。
95830编辑于 2022-12-27 - 来自专栏素质云笔记
多模态＋Recorder︱多模态循环网络的图像文本互匹配
来源于公众号：大数据与多模态计算 ---- 1.问题背景 图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。 为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。 我们在两个经典的细粒度草图-图像数据集上进行了大量的实验，结果表明所提出的方法可以有效利用多模态多视角特性并提升检索性能。 多模态搜索 网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据 2）从数据语义的角度来进行不同模态数据的匹配，在此基础上，通过加入三元组的限制条件，来提高匹配精度。遵循的原则为：在最小化同一语义数据在不同模态之间距离的同时，最大化不同模态不同语义数据之间的距离。
2.8K20发布于 2019-05-26 - 来自专栏深圳架构师同盟
Daft：AI驱动的多模态数据融合引擎
，应对多模态数据的存储与处理需求。 多模与结构化统一 既兼容结构化数据（如关系型数据库、数据仓库的表结构数据），又能处理多模态数据（如图片、音频、视频等非结构化内容），打破数据形态的处理壁垒，满足AI场景下“多模态数据融合分析”的核心需求 多模态处理层：通过RAY、Audio/Img/Video等工具，处理图片、音频、视频等多模态数据的特征提取与分析。 3.3 多模Lazy计算 上图是多模态数据处理的两种框架流程。 透明编码：容器式操作类型，灵活适配多模态数据压缩 多模态数据（如图像、点云）的存储需兼顾“压缩效率”与“访问灵活性”。
1.1K10编辑于 2025-11-20 - 来自专栏音乐与健康
多模态很简单，搞懂多模态，站在 AI 发展的最前沿
现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据 多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？ 所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？ 多模态融合一般分三大类：1️⃣ 早期融合（Early Fusion）—— 数据级融合 特点：在模型输入阶段，先把所有模态的数据合并成一个大“拼盘”，然后喂给模型。 优点：既能保留各模态特征，又能降低数据噪声，比较均衡。 缺点：需要多个独立的模型，训练成本较高。
1.2K10编辑于 2025-07-29 - 来自专栏全栈程序员必看
多模态情感识别_多模态融合的情感识别研究「建议收藏」
情感表达的模态包括面部表情、语音、姿势、生理信号、文字等,情感识别本质上是一个多模态融合的问题。 提出一种多模态融合的情感识别算法,从面部图像序列和语音信号中提取表情和语音特征,基于隐马尔可夫模型和多层感知器设计融合表情和语音模态的情感分类器。 提出的多模态识别算法较好地利用了视频和音频中的情感信息,相比于仅利用语音模态的识别结果有较大的提升,相比于表情模态的识别结果也有一定改进,是一种可以采用的情感识别算法。
1.7K10编辑于 2022-06-24 - 来自专栏学习
机器学习——多模态学习
多模态学习：机器学习领域的新视野 引言 多模态学习（Multimodal Learning）是机器学习中的一个前沿领域，它涉及处理和整合来自多个数据模式（如图像、文本、音频等）的信息。 什么是多模态学习？ 多模态学习旨在同时处理来自不同模态的数据，从而提高模型的表现能力。 多模态学习的挑战 多模态学习面临一些独特的挑战，例如： 模态间的异质性：不同模态数据的性质差异较大，例如图像是二维数据，文本是序列数据。 对齐问题：不同模态之间可能需要对齐，如图像和文本的时间同步。 数据缺失：某些模态可能存在数据缺失的问题，例如视频数据中缺少音频片段。 接下来，我们将通过一些实际的代码示例来深入理解多模态学习的实现方法。 通过结合不同模态的数据，机器学习模型能够获得更深入、更全面的理解能力。在这篇博客中，我们简要介绍了多模态学习的概念、常见挑战，以及图像和文本结合的一个实现案例。
62210编辑于 2024-10-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号