- 综合排序
- 最热优先
- 最新优先
- 来自专栏ytkah
GPT-4多模态模型
GPT-4 模型是OpenAI开发的第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。 在GPT-4之前是GPT-3.5，由该模型开发的聊天机器人 ChatGPT 一经面世，便引爆 AI 界的军备竞赛 多模态或成GPT-4最大亮点 微软 AI 技术专家 Holger Kenn 和 Clemens Sieber 对多模态 AI 的相关功能进行了介绍。 Sieber 则介绍了一些多模态 AI 产业化的潜在案例，例如多模态 AI 能够将电话呼叫的语音直接记录成文本。根据估算，该功能能为微软位于荷兰的一家大客户节省 500 个工作小时/天。 GPT-4 GPT-4 模型是第四代大型语言模型（LLM），它将是一个多模态模型，会提供完全不同的可能性-例如文字转图像、音乐甚至视频。
1.7K31编辑于 2023-03-13 - 来自专栏算法一只狗
LLama4 原生多模态大模型
Meta最新发布了原生多模态大模型 Llama 4，一经亮相即登上LMSYS大模型排行榜第二名，仅次于Google的Gemini-2.5-pro，分差仅为22分，实力可见一斑。 多模态能力：整合文本、图像与视频数据，实现跨模态任务处理。 技术细节与训练策略Llama 4采用了先进的早期融合（early fusion）机制，将文本和视觉token统一集成至模型主干架构，实现了真正的多模态统一训练。 总结与展望Llama 4的发布，意味着Meta正式进入原生多模态大模型竞争核心领域。 相比Gemini系列、GPT-4o、Claude 3、DeepSeek等主流模型，Llama 4以务实高效的技术路线，突出计算成本、推理效率与多模态能力的平衡。
77500编辑于 2025-05-01 - 来自专栏深度学习自然语言处理
【哈工大SCIR】多模态情感分析简述
如何分析多模态数据（本文指声音，图像和文字，不涉及传感器数据）中的情感，是当前情感分析领域面临的机遇和挑战。 一方面，以往情感分析聚焦于单个模态。如文本情感分析着眼于分析，挖掘和推理文本中蕴含的情感。 这些都是当前多模态情感分析领域感兴趣的问题。为了能够更好的介绍多模态情感分析领域的相关研究，本文梳理了目前多模态情感分析领域相关任务并总结了常用的数据集及对应的方法。 数据集的情感标注是对每条评论的情感倾向打1,2,3,4,5五个分值。 Tumblr数据集是从Tumblr收集来的多模态情绪数据集。 表2 多模态情感分析相关数据集信息表 ? 总结 本文简单梳理了多模态情感分析领域的相关任务，总结了与任务对应的数据集及一些典型的方法。 虽然多模态数据提供了更多的信息，但是如何处理和分析多模态信息、如何融合不同模态的信息还是多模态情感分析领域需要解决的主要问题。 参考文献 [1] Truong T Q, Lauw H W.
5.7K62发布于 2019-12-23 - 来自专栏啄木鸟软件测试
多模态大模型技术原理与实战(4)
多模态大模型核心技术 1多模态的困难 困难 数据集标志困难 人工标注生成 COCO Visual Genome ... 数据表征 多模态转换 2文本多模态技术 图像生成文本方法 基于模板的图像描述方法 支持向量机(SVM) 3种元索 物体 动作 场景 基于检索的图像描述方法 搜寻相似之处 基于深度学习的图像描述方法 Transformer 的语言模型,采用自回归的编码理念,接收文本提示,生成高维的词嵌入 图像信息生成器 实现扩散模型的反向过程,去噪音生成图像的隐藏信息 图像解码器 把隐信息还原成图像 4语音多模态技术 组成：3层降采样块和3层条件上采样块 微软的 Natural Speech 2：结合了扩散模型的概念，通过使用神经语音编将语音波形转换为连续向量，然后使用解码器重建语音波形 5 视频多模态技术 挑战 可调整的低秩适配(Adaptive Low-Rank Adaptation，AdaLoRA)技术和量化压缩远程注意力(Quantized Long-Range Attention，QLoRA)技术 8 GPT-4多模型核心技术介绍
46210编辑于 2024-09-10 - 来自专栏数据科学（冷冻工厂）
单细胞分析：多模态 reference mapping (1)
这个例子用来说明，在参考数据集的帮助下进行的有监督分析，是如何帮助我们识别那些仅通过无监督分析难以发现的细胞状态。 group.by = "celltype.l2", label = TRUE, label.size = 3, repel = TRUE) + NoLegend() img Mapping 为了演示与此多模式参考的映射 我们建议对CITE-seq数据集采用监督主成分分析方法，并将在本指南的下一个部分展示如何执行这一变换。当然，您也可以选择使用传统的主成分分析（PCA）变换。 举例来说，已有研究指出CLEC4C和LIR4是浆细胞样树突状细胞（pDC）的标志性基因，这与我们的预测相符。 同样，如果我们通过差异表达分析来筛选调节性T细胞（Treg）的标记，我们能够识别出一组标准标记基因，包括RTKN2、CTLA4、FOXP3和IL2RA。
54710编辑于 2024-05-07 - 来自专栏数据科学（冷冻工厂）
单细胞分析：多模态 reference mapping (2)
要运行本示例，请确保安装了Seurat v4，该软件可在CRAN上下载。同时，您还需要安装SeuratDisk包。 我们以之前使用加权最近邻分析（WNN）方法分析过的人类BMNC的CITE-seq参考集作为比对标准。 尽管我们也可以计算并应用传统的PCA投影，但在处理通过WNN分析构建的多模态参考数据时，我们更推荐使用监督式PCA（sPCA）。 spca.annoy.neighbors"]], file = "/brahms/shared/vignette-data/reftmp.idx") 查询数据集预处理 本节我们将展示如何将来自多位捐献者的骨髓样本与一个多模态骨髓参考集进行比对 hcabm40k.batches <- lapply(X = hcabm40k.batches, FUN = NormalizeData, verbose = FALSE) Mapping 接下来，我们在每位捐献者的数据集与多模态参考集之间确定锚点
41410编辑于 2024-05-17 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
目前，我们很难准确地分析这些模型如何使用跨模式信息。 在本文中，作者引入了一种跨模态输入消融（cross-modal input ablation） 方法来量化预训练的模型学习使用跨模态信息的程度。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 ▊ 4.实验 4.1. 在这里，作者分析这些因素如何影响视觉语言交互。
2.5K20发布于 2021-09-28 多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构建多模态基准
浙江大学等提出多模态视觉推理基准。【导读】LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。 为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型，似乎都很难完成更抽象层次上的理解和推理任务。 最近，浙江大学、中科院软件研究所、上海科技大学等机构就联合提出了一种新的多模态基准，专门衡量模型对抽象图像的理解能力和视觉推理能力。 同样也不容易，因为我们需要的是多模态数据，但LLM无法直接生成图像，DALL-E、Stable Diffusion等图像生成模型又无法同步生成文本。 结论与限制论文最重要的贡献在于指出了当前多模态LLM在视觉推理方面的次优表现，并构建了合成数据组成的基准测试集，表明合成数据训练是一个有前景的解决方案。
43710编辑于 2024-08-08- 来自专栏音乐与健康
基于多尺度自适应跨模态注意力融合（MACAF）的三模态情感分析-体感音乐多模态治疗
基于深度学习的多模态情感分析是一个结合不同类型数据（如文本、图像、音频等）来检测和分析情感的领域。它利用深度学习技术来处理和融合多模态信息，从而提高情感分析的准确性和鲁棒性。 多模态情感分析概述多模态情感分析旨在通过结合多种模态的数据（如文本、音频、视频等），实现更准确和全面的情感识别。 传统的情感分析方法主要依赖于单一模态（通常是文本），而多模态情感分析则能够利用不同模态的信息互补，提高模型的性能。2. 4. 代表性模型MULT（Multimodal Transformer）：使用多头注意力机制融合多模态特征，提高情感识别的准确性。 数据集常用的多模态情感分析数据集包括：CMU-MOSI：包含视频评论的多模态数据集，包括文本、音频和视频模态。IEMOCAP：包含多场景对话的音频和视频数据，用于情感识别和分析。
75510编辑于 2025-07-26 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中 详细的运算过程可进一步分析本文的公式，或者结合Attention Is All You Need理解。3. （1）将图片切成16x16的小块（patch），每个块转换为一个“词向量”，再加上位置编码；（2）经过Transformer Encoder层（3）分类层4. In-the-wildZhuofan Wen,Fengyu Zhang,Siyuan Zhang,Haiyang Sun,Mingyu Xu,Licai Sun,Zheng Lian,Bin Liu,Jianhua Tao(4)
5.7K13编辑于 2024-05-14 - 来自专栏AIGC新知
Meta Llama 4 全面解析：全新的原生多模态 AI
Llama 4：原生多模态，混合专家架构，超长上下文支持。 接下来将带你详细了解本次llama4模型的新特性。 技术背景 Llama4 是 Meta 于 今日发布的新一代开源大语言模型系列，标志着其在多模态 AI 领域的重要突破。 原生多模态融合 Llama 4采用了原生多模态设计，能够处理和整合各种类型的数据，包括文本、视频、图像和音频，并且可以在这些格式之间转换内容。 这种设计使得Llama 4在处理多模态任务时，如图文检索、视觉问答（VQA）等场景，表现出色。 Llama4系列模型 模型下载地址： llama.com/llama-downloads/， huggingface.co/meta-llama Scout：超长上下文处理 适用于多文档摘要、用户行为分析
2.2K60编辑于 2025-04-07 agent多模态学习
二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 声学特征分析：直接提取梅尔频谱图等特征，用于情感识别、环境音分析等任务。 多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。 代码执行工具：在安全沙箱中执行 Python 等代码，用于数据分析、报表生成等任务。 9.3 医疗健康 医学影像分析：辅助医生分析 X 光、CT 等影像，识别病灶。 远程问诊：结合患者上传的症状描述和图片（如皮疹），提供初步诊断建议。
50210编辑于 2026-01-15GPT-4.5多模态理解与生成能力分析
GPT-4.5作为OpenAI的最新多模态大模型，在视觉、音频和文本的交互理解与生成方面实现了重大突破。本文将深入分析GPT-4.5的多模态能力及其底层技术实现。 统一的多模态架构GPT-4.5采用了全新的统一多模态编码-解码架构，打破了传统多模态系统中各模态处理管道相互割裂的局限。 与GPT-4相比，GPT-4.5在视觉理解方面表现出了显著提升：细粒度物体识别：GPT-4.5可以识别图像中极小物体和细微视觉特征，甚至可以阅读模糊或部分遮挡的文本。 多模态融合理解：当提供包含文本、图像和音频的输入时，GPT-4.5能够综合分析所有模态的信息，形成统一的理解。 应用示例以下是使用GPT-4.5的多模态API进行图像分析的简单示例：import openai# 初始化APIclient = openai.OpenAI(api_key="your_api_key"
61810编辑于 2025-03-28- 来自专栏Datawhale专栏
KDD Cup 2020 多模态检索赛道：数据分析
本赛题使用淘宝APP的真实场景多模态数据，数据集由淘宝搜索查询和产品图像特征组成，组织成基于查询的多模态检索任务。 02 数据分析 2.1 数据读取 import numpy as np import pandas as pd import glob, base64 train_df = pd.read_csv( 2.2 数据分析 (1) 图像尺寸：图像尺寸大部分位于800像素，且长短比为1:1，应该是淘宝商品的主体。 ? (2) 图像物体：图像包含的物体主要1-2个居多； ? (3) 商品类别 ? 本赛题主要考察跨模态的检索检索任务，而且数据量非常大，需要选手通过query文本检索到商品，具体使用检索指标进行量化： (1) 这一题典型的跨模态检索任务，由于测试集中每个query会给出可能的30个商品 ，因此也可以使用多模态匹配的方法。
1.4K10发布于 2020-04-17 - 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 torch.argmax(log_prob, dim=-1) return y_hat 使用方式 处理数据 python preprocess.py --dataset=“iemocap_4” 训练模型 python train.py --dataset=“iemocap_4” --modalities=“atv” --from_begin --epochs=55 测试模型 python eval.py --dataset=“iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可 ，我对每个单独的模态都有训练。
32410编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 案例分析：基于多模态模型的图像描述生成 场景：电商平台需自动生成商品图片的营销文案。 流程： 输入处理：将商品图片编码为特征向量，如使用CLIP的视觉编码器提取图像嵌入。 多模态编码：结合Whisper（语音转文本）和ViT（视频帧分析）。 摘要生成：文本模型（如GPT-3.5）提炼关键信息。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
30610编辑于 2026-01-20方法回顾--空间转录组多模态交叉分析（MIA）
结果呈现：将所有配对的分析结果汇总，生成一张多重交集分析图谱，直观展示不同细胞类型在不同组织区域的分布倾向。 这表明分析结果的可靠性依赖于足够的基因检出数量。 第二篇 统计检验：多重整合分析使用超几何检验来评估空间转录组聚类群和单细胞RNA测序聚类群之间标记基因的重叠程度。 评分与后续分析 富集评分：基于上述筛选的基因计算多重整合分析富集分数。 通路分析：使用 ClusterProfiler 和 EnrichR 软件包进行。 排除标准 无法分析的聚类群：部分聚类群因为没有标记基因满足筛选阈值，因此被排除在多重整合分析之外 第三篇 通过多重交集分析，推断了空间转录组聚类群中的细胞类型浸润情况。 下游延伸分析 可视化呈现：结果通常以多重交集分析图谱（热图形式）展示，直观呈现所有细胞类型与空间区域的对应关系；并结合点图、热图展示特征基因的表达异质性。
25420编辑于 2026-03-12- 来自专栏多模态视频理解
多模态算法综述
图片图片（4）TSN（Temporal Segment Networks: Towards Good Practices for Deep Action Recognition），大名鼎鼎的TSN，提出了很多好用的训练技巧 自注意力至此视频理解算法演进到了Transformer的自监督网络架构，Transformer有两个优势，（1）更强的网络表征能力，（2）更容易设计自监督的训练任务，从而可以更有效的利用无标注数据，同时也更加注重多模态的内容理解 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器 、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language Learning通过一张图片，经过不同的数据增强，被神经网络所提取的特征，仍应具有高度的一致性，如：MoCoV1系列、SimCLR、BYOL等通过寻找图文信息的关联系进行自监督训练的，如：CLIP、CLIP4CLIP
3.1K30编辑于 2022-07-12 - 来自专栏一点人工一点智能
多模态认知计算
进而，根据机器对多模态信息的认知模式，从多模态关联，跨模态生成和多模态协同这 三个方面对现有方法进行了梳理与总结，系统地分析了其中的关键问题与解决方案。 对于给定认知任务 T，事件 x 提供的信息量为 从公式 (4) 中可看出，当注意力集中在模态密集的时空事件时，获取的信息量达到最大值。 因此，公式 (4) 中的模型可以尝试解释多模态认知计算的内在机理，刻画机器从数据中提取信息的过程。然而，是否获取到的信息量越大，机器就越接近人类的认知水平? 本文的组织框架如下：第二节，介绍了多模态关联任务的发展现状，分为多模态对齐，多模态感知和多模态检索三个部分，并进行分析与讨论；第三节，介绍了跨模态生成任务中的跨模态合成和跨模态转换方法，并进行分析与讨论 大多数研究工作聚焦在人工智能领域，致力于对视听嗅 味触等多模态数据的分析，以完成各种复杂任务。
95830编辑于 2022-12-27 - 来自专栏素质云笔记
多模态＋Recorder︱多模态循环网络的图像文本互匹配
为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。 当前用于图像文本匹配的算法通常对图像文本提取全局特征，然后利用典型关联分析或者子空间学习策略来拉近匹配的图像文本对。 考虑到草图与自然图像可能存在多视角的特征表达，且不同的视角作用差异较大，我们提出了一种基于视角选择的多视角跨模态匹配算法。 多模态搜索 网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据 而在相似性度量上，其存在两个分支： 1）从统计的角度出发，例如采用典型关联分析（Canonical Correlation Analysis，CCA）方法来获取不同模态数据的匹配关联程度。
2.8K20发布于 2019-05-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号