- 综合排序
- 最热优先
- 最新优先
- 来自专栏音乐与健康
多模态很简单，搞懂多模态，站在 AI 发展的最前沿
AI 也是一样的！ 现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据 多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？ 所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？ 多模态融合一般分三大类：1️⃣ 早期融合（Early Fusion）—— 数据级融合 特点：在模型输入阶段，先把所有模态的数据合并成一个大“拼盘”，然后喂给模型。
1K10编辑于 2025-07-29 - 来自专栏人工智能
多模态AI与视觉语言模型
多模态AI正是这一方向的核心技术，CLIP、DALL-E、GPT-4V等模型的出现标志着我们进入了多模态智能的新时代。 对比学习的重要性 对比学习是多模态AI的核心技术。其思想是：将语义相关的样本拉近，将不相关的样本推远。通过自监督的方式从海量图文对中学习，模型获得强大的跨模态理解能力。 持续学习：从新的多模态数据中持续学习而不遗忘 总结 多模态AI代表了人工智能发展的重要方向。 通过CLIP等模型的实践，我们看到跨模态理解不仅可行，而且效果惊人。从零样本分类到图像生成，从视觉问答到多模态对话，多模态技术正在不断拓展AI的能力边界。 未来，随着模型规模的扩大和训练数据的积累，多模态AI将在更多领域发挥作用，为人机交互带来革命性变化。掌握多模态学习的技术，将帮助读者在AI浪潮中把握机遇，创造更智能的应用。
35710编辑于 2026-01-21 - 来自专栏云云众生s
通用多模态AI模型的兴起
由于MLLMs旨在学习、推理并根据上下文信息调整其行为——这与人类智力的运作方式非常相似——一些专家也认为，进一步发展多模态AI是迈向人工通用智能 (AGI) 的关键一步。 正是由于多模态AI潜在的下游影响，现在人们更加关注构建真正“通用”的多模态AI模型。这种通用多模态模型 (GMMs) 能够轻松地跨不同模态学习，并在面对不同类型任务时适应并表现良好。 当前通用多模态AI模型的示例包括： NExT-GPT OneLLM Meta-Transformer OFA+ Unified-IO 基础模型铺平道路 当前通向通用多模态模型的轨迹源于预训练的深度学习基础模型 同样，基础视觉模型 (FVMs)，例如视觉Transformer (ViT) 和视觉语言对齐模型，例如CLIP 和LLaVA，帮助推动了多模态AI模型的跨模态能力。 来自Munikoti等人的“通用多模态AI：架构、挑战和机遇综述” 不同模态的原始数据由输入数据预处理器预处理，将其转换为通用学习模块可以使用的一种形式。
33310编辑于 2025-01-08 - 来自专栏AI掘金志
多模态AI技术「涌现」，AI公司的「新机会」
AI的未来范式：多模态 多模态并非新概念，早在2018年，“多模态”作为AI未来的一个发展方向，已开始成为业界研究的重点。 什么叫“多模态”？ 举例来说，现在很火的AIGC，可以通过文本生成图像甚至视频，就是多模态AI的一个典型应用。 但多模态AI的想象力，远不止于此。 虽然AI在多模态方面取得了突破，但这种技术及其应用还不成熟，由多模态AI带来的产业规模升级，还面临重重阻碍。 多模态AI的两大挑战：技术、产业链 多模态AI探索的是人类行动和感知背后的关系，其蕴含的想象力与应用潜能毋庸置疑。 芯片方面，相比于单模态，多模态需要的是庞大的“人工智能算力网络”，单纯的语音芯片、视觉芯片等已很难满足多模态AI算法的需求。
66840编辑于 2023-08-26 生成式AI革新多模态信息检索
利用生成式AI进行多模态信息检索过去十年的大部分时间里，机器学习严重依赖于嵌入的概念：模型学习将输入数据转换为向量，使得向量空间内的几何关系具有语义含义。 这也适用于多模态信息检索，因为文本和图像可以被嵌入到同一个空间。然而，最近生成式AI主导了机器学习研究。 我们的模型被命名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是特定于任务的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。 因此，它代表了生成式多模态检索领域的重要进展。FINISHED
12310编辑于 2026-02-01- 来自专栏AI 大数据
【DeepSeek 多模态探索】从文本到图像与语音：解锁 DeepSeek 的多模态 AI 潜力
摘要 随着多模态 AI 技术的快速发展，开发者对 DeepSeek 是否能够支持图像、音频等多模态任务充满期待。 引言 多模态 AI 是当前人工智能领域的重要趋势，它能够同时处理文本、图像、音频等多种数据类型，从而实现更复杂的任务。GPT-4V 等模型已经展示了多模态能力的强大潜力。 作为一款强大的 AI 模型，DeepSeek 是否能够支持多模态任务？本文将深入探讨这一问题，并提供相关代码示例。 多模态 AI 的背景与意义 多模态 AI 的核心在于能够同时处理和理解多种类型的数据（如文本、图像、音频等），从而实现更丰富的应用场景。例如： 图像生成：根据文本描述生成图像。 跨模态检索：根据文本搜索相关图像或视频。 DeepSeek 作为一个以文本为核心的 AI 模型，是否能够扩展至多模态领域？答案是肯定的，但需要结合其他技术栈来实现。
2.5K10编辑于 2025-02-13 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language ▊ 作者简介 研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。
2.5K20发布于 2021-09-28 - 来自专栏腾讯高校合作
Wiztalk | 王历伟 Part 1 《多模态交互AI的发展和未来前景—多模态交互AI及例子》
多模态交互AI的发展和未来前景 Part 1 多模态交互AI及例子 简介：多模态交互的人工智能，它其实在我们的学习生活中是无处不在的。
77110发布于 2021-03-15 - 来自专栏云云众生s
5个实际开源的多模态AI模型
了解最新的开源多模态AI系统，以下列出了五个领先的选项，包括其功能和用途。 多模态AI正吸引着大量关注，这要归功于其诱人的前景：设计用于处理文本、图像、音频和视频组合的AI系统，成为多面手。 虽然市场上已经存在许多强大的、专有的多模态AI系统，但小型多模态AI模型和开源替代方案也正在迅速发展，因为用户不断寻求更易访问和更易适应的选项，并优先考虑透明度和协作。 为了让您了解最新的开源多模态AI系统，我们将概述一些更受欢迎的选项，包括它们的功能和用途。 1. Leopard旨在解决多模态AI领域的两大挑战，即高质量多图像数据集的稀缺性以及图像分辨率与序列长度之间的平衡。
1.9K10编辑于 2024-12-14 - 来自专栏深圳架构师同盟
Daft：AI驱动的多模态数据融合引擎
一、前言 在AI应用快速发展的今天，海量多模态数据的处理已成为构建高质量AI系统的核心挑战。火山引擎推出的LAS Daft数据处理引擎，正是为解决这一难题而设计的创新解决方案。 2.2 AI时代下的技术瓶颈与市场需求 AI 技术的爆发式发展推动数据处理从纯文本场景向文本、图片、音视频等多模态联合场景快速演进，多模态数据管理在数据规模、处理复杂度、存储与合规性等方面面临全新挑战 资源监控等）保障稳定，最终输出的多模态数据集可直接服务于下游 AI 应用。 这种设计让多模态数据在存储层面更高效，为AI模型训练与推理阶段的“数据读取IO速度”需求提供底层支撑，解决传统存储方式下多模态数据处理效率低的问题。 综上，Daft与Lance的组合从分布式执行、表达式下推到多模存储，全方位适配AI场景中多模态数据“存储、计算、管理”的技术需求，为AI时代数据湖的建设提供技术范式。
93910编辑于 2025-11-20 - 来自专栏云云众生s
5个小型多模态AI模型及其功能
随着对多模态AI系统兴趣的增长，这些多功能工具的小型版本也随之增多。 现在，随着人们对能够同时处理不同类型数据（图像、文本、音频和视频）的多模态AI系统的兴趣日益增长，这些多功能工具的小型版本也随之增多。 在本文的其余部分，我们将介绍五种最近备受关注的小型多模态AI工具。 1. Mississippi 2B 和 Mississippi 0.8B 最近由H2O.ai发布，这两个多模态基础模型专为OCR和文档AI用例而设计。 结论 多模态模型以及大型语言模型的可访问性和成本效益仍然是主要问题。但随着越来越多的相对轻量级但功能强大的多模态AI选项可用，这意味着更多机构和小型企业将能够在其工作流程中采用AI。
64910编辑于 2024-12-04 生成式AI革新多模态信息检索技术
这也适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间。然而，最近，生成式AI开始主导ML研究。 在2025年计算机视觉与模式识别会议（CVPR）上，我们发表了一篇论文，将基于ML的信息检索更新到了生成式AI时代。 我们的模型名为GENIUS（意为生成式通用多模态搜索），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 因此，它代表了生成式多模态检索的重大进步。研究领域搜索与信息检索标签生成式AI关于作者Sungyeon Kim 是浦项科技大学（POSTECH）计算机视觉实验室的博士后研究员。
22010编辑于 2026-01-09- 来自专栏爬虫资料
多模态AI爬虫：文本+图像智能抓取实战
一个AI模型训练任务引发的爬虫危机上个月，公司AI组向我们数据组提出一个“看似简单”的需求：训练一个能识别商品种类的多模态模型，数据来源不限，但要求包含图像 + 商品文本 + 价格 + 折扣信息。 我们意识到：IP频率检测非常敏感navigator.webdriver 检测等自动化识别也在阻挡图片链接多为懒加载或动态构造于是我们准备全面升级：使用代理IP + 用户模拟持久化 + 多模态解析的组合拳 多模态AI爬虫的架构搭建与实战代码我们拆解了需求，决定使用 requests + lxml + Pillow，结合爬虫代理IP服务，实现一个具备图像和文本提取能力的智能爬虫。 多模态爬虫不只是“图+文”的堆砌这次任务结束后，我们做了复盘。爬虫不仅是“爬”，而是感知 + 策略 + 多模态融合的过程：图像获取并不是保存URL，而是要稳定下载并落地保存，才能用于模型训练。 这次经历也启发我们后续开发了一套自动化“关键词 → 多模态样本”生成工具，真正走上了AI时代下数据爬虫的新台阶。
40510编辑于 2025-06-12 超级应用（Super Apps）整合多模态AI能力
多模态AI的整合方向 自然语言处理（NLP） 集成聊天机器人（如GPT-4）、语音助手等功能，支持用户通过文本或语音完成服务请求。 多模态交互 融合语音、图像、手势等多通道输入。例如，微信小程序可通过语音搜索+图像上传组合完成外卖点单，提升无障碍体验。 实现多模态交互的Python代码示例 以下代码使用Python结合NLP和CV技术，模拟一个支持语音、文本和图像输入的多模态交互系统。示例整合了语音识别、自然语言处理、图像识别等功能模块。 技术实现路径 开放平台与API网关 构建统一的AI能力中台，将多模态AI模块（如语音识别、OCR）封装为标准化API，供内部团队和第三方开发者调用。需设计低延迟、高并发的微服务架构。 典型案例分析 微信的AI生态 NLP应用：聊天机器人“小微”支持语音唤醒、日程管理。 CV应用：二维码扫描、人脸支付。 多模态融合：视频号结合语音转字幕、智能推荐算法。
20010编辑于 2026-01-20- 来自专栏DrugOne
Nature Medicine | 多模态的生物医学AI
编译 | 侯琳琳 审稿 | 程志祥 今天为大家介绍的是来自Julián N.Acosta和Guido J.Falcone的一篇关于多模态生物医药AI的综述。 利用多模态数据的机会 图一：多模态生物医学AI的数据模态和机会 针对精准健康的个性化“组学” 随着测序在过去二十年中的显著进步，使用新的技术获得的细粒度生物数据的数量越来越多。 多模态数据的收集 表一：可用多模态数据的研究实例 成功开发多模态数据支持的应用程序的第一个要求是收集、管理和协调大型注释数据集，因为再复杂的技术也无法派生出数据中不存在的信息。 在多模态学习中，组合来自不同模态的数据的过程被称为“多模态融合”，这不是简单地将几个模态分别输入到模型中。不同数据模态的融合可以在该过程的不同阶段进行。 结论 多模态医疗AI开启了医疗保健领域的关键应用，除了这里描述的机会之外，还有许多其他机会，例如药物发现领域。
2K20编辑于 2022-11-28 生成式AI革新多模态信息检索技术
这同样适用于多模态信息检索，因为文本和图像（或其他模态）可以嵌入到同一空间中。然而，近年来生成式人工智能已主导机器学习研究。 在2025年计算机视觉与模式识别会议（CVPR）上，一项研究提出了更新机器学习信息检索范式以适应生成式AI时代的方法。 该模型名为GENIUS，是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，与基于嵌入的方法相比性能不足，并且难以处理多模态数据。 因此，它代表了生成式多模态检索领域的重要一步。
27810编辑于 2025-12-17- 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
在本文中，追踪多模态大模型最新热点，讨论多模态关键技术以及现有在情绪识别上的应用。 腾讯 AI Lab 发表了一篇关于多模态大模型的最新综述《MM-LLMs: Recent Advances in MultiModal Large Language Models》，整理归纳了现在多模态大模型的整体架构设计方向 ，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中
5.6K13编辑于 2024-05-14 生成式AI实现多模态信息检索新突破
多模态检索的范式革新过去十年间，机器学习主要依赖嵌入技术——将输入数据转换为向量，使向量空间中的几何关系反映语义关联。传统检索方式需计算查询向量与所有候选向量的相似度，当面对海量数据时效率低下。 独立训练图像和文本编码器对比学习阶段undefined残差量化模块学习生成层级编码推理阶段undefined基于Trie树结构约束输出序列，确保生成有效ID该技术已应用于某机构搜索系统，在十亿级数据规模下保持毫秒级响应，为跨模态检索提供高效解决方案
24610编辑于 2025-08-04生成式AI实现多模态信息检索技术突破
利用生成式AI进行多模态信息检索过去十年间，机器学习主要依赖嵌入概念：模型学习将输入数据转换为向量，使得向量空间中的几何关系具有语义含义。例如，嵌入表示相近的词语可能具有相似含义。 这也适用于多模态信息检索，因为文本和图像可以嵌入同一空间。 我们的模型名为GENIUS（通用多模态搜索生成框架），是一个多模态模型，其输入和输出可以是图像、文本或图文对的任意组合。 然而，现有的生成方法通常是任务特定的，在性能上不及基于嵌入的方法，并且难以处理多模态数据。 因此，它代表了生成式多模态检索的重要进展。
30210编辑于 2025-10-12agent多模态学习
二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 → 反馈与优化层 → 多模态输出 2.1 多模态感知层 (Multimodal Perception Layer) 作为系统的“感官”，负责将原始的多模态输入转换为结构化的特征向量。 四、多模态意图理解与任务规划 4.1 多模态意图识别 多模态意图识别旨在从用户的文本、图像、语音等多种输入中，准确判断其核心需求。 多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。 七、多模态内容生成 7.1 文本生成 基于融合后的多模态上下文，LLM 可以生成更精准、丰富的文本回复。
39810编辑于 2026-01-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号