- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据派THU
从神经搜索到多模态应用
本文约5400字，建议阅读10分钟 从神经搜索到多模态应用，这里的神经搜索指的是在搜索系统中用神经网络模型。 提到神经搜索就必然想到多模态数据，因为神经网络相比于传统搜索方式，其最大的优势就在于可以很方便地对不同模态的数据进行融合。 本文将从以下几个方面进行介绍： 从神经搜索到多模态应用 多模态数据 多模态应用服务 Jina全家桶在DocsQA中的实践 01 从神经搜索到多模态应用 首先看一个典型的多模态数据——新闻，除了文字之外还会有图片的信息 02 多模态数据 首先第一个问题就是拿到多模态数据之后，我们需要去表示这个多模态的数据。 在搭建过程中，大家经常遇到的问题包括一下这些： 搭建多模态应用离不开神经网络模型，当上线神经网络模型时，经常遇到框架版本和开发环境不一致的问题。这是通常是需要使用容器化，同时保证不同容器之间正常通信。
77820编辑于 2023-03-29 - 来自专栏思影科技
Lancet Neurology：最低意识障碍脱离患者的意识的神经关联的多模态影像学研究
来自比利时列日大学昏迷科学研究组通过多模态磁共振，对比意识障碍患者及健康对照组，研究了最低意识障碍脱离患者的神经关联。 本文重点： 研究方法： 横断面多模态研究，被试包括无反应觉醒综合征、最低意识状态、及最低意识状态脱离，通过昏迷恢复量表诊断（ComaRecovery Scale–Revised）。 实验材料及方法： 被试： 横断面多模态影像研究。 图1.意识水平与体素关联的多模态影像分析 随意识障碍水平线性增加的DMN网络的正连接（A）负连接（B）rsfMRI分析；大脑代谢（C），FDG-PET分析；灰质密度（D）,VBM分析。 ? 图2.多模态图像评估组间差异 DMN网络正连接在后扣带皮层及楔前叶与大脑代谢存在显著正相关（图3A），同时，DMN网络负连接在后扣带皮层及楔前叶与大脑代谢存在显著负相关（图3B）。
1.2K31发布于 2019-11-08 揭秘人工神经网络中的多模态神经元
人工神经网络中的多模态神经元2005年，发表在《自然》上的一封信描述了对特定人物（例如詹妮弗·安妮斯顿或哈莉·贝瑞）做出反应的人类神经元。 这些神经元是多模态的。正如主要作者所言："你看到的是从度量的、视觉的形状到概念信息的转换远端。"我们报告了在人工神经网络中存在类似的多模态神经元。 与生物多模态神经元一样，这些人工神经元对照片、图画和名字图像中的同一主题做出反应：生物神经元：哈莉·贝瑞。对哈莉·贝瑞的照片及其装扮照片有反应。对哈莉·贝瑞的素描有反应。 我们在近期的CLIP模型（一种由视觉模型（ResNet）和语言模型（Transformer）组成的模型，使用对比损失在互联网图像-文本对上训练）中发现了这些多模态神经元，尽管在更早的模型中也可能存在类似未被发现的多模态神经元 当谈论一个多模态神经元对文本做出反应时，我们指的是模型在图像中"阅读"文本。神经元家族导览CLIP模型中存在哪些特征？在本节中，我们研究了多个模型中视觉侧最后一个卷积层中的神经元。
17800编辑于 2025-12-19- 来自专栏智能生信
用于实体对齐的多模态孪生神经网络
简读分享 | 龙文韬 编辑 | 李仲深 论文题目 Multi-modal Siamese Network for Entity Alignment 论文摘要 多模态知识图谱（MMKGs）的蓬勃发展提出了对多模态实体对齐技术的迫切需求 不幸的是，现有技术仅通过单模态特征嵌入的启发式合并来利用多模态知识。因此，隐藏在多模式知识中的模态间线索可能被忽略。 为了解决这个问题，在本文中，作者提出了一种新颖的用于实体对齐的多模态孪生神经网络（MSNEA），用以对齐不同MMKGs中的实体，其中通过利用模态间效应可以全面利用多模态知识。 具体来说，作者首先设计了一个多模态知识嵌入模块来提取实体的形象、关系和属性特征，从而为不同的MMKGs生成整体实体表示。 之后，作者设计了一个多模态对比学习模块，用来实现模态间增强融合，避免了弱模态的过度影响。
1.7K30编辑于 2022-12-29 - 来自专栏图与推荐
多模态图神经网络解决短视频推荐难题
今天分享一篇发表在顶会ACM Multimedia 2019 [1]上，面向短视频推荐的多模态图卷积神经网络文章，相应的代码也开源在github[2]。 目前的多模态推荐方法主要是利用物品本身的多模态内容来丰富「item侧」的表示；但是很少会利用到user和item之间的交互交互来提升「user侧」的表示，进而捕获用户对不同模态特征的「细粒度偏好」。 对多模态特征的「进行区分」对于深入理解用户的偏好有帮助： ? 多模态推荐的好处 「不同模态的特征之间存在语义差异」。 Solution 为此，作者提出了多模态图卷积神经网络 (Multi-modal Graph Convolution Network, MMGCN)，在不同模态下构造用户-物品二分交互图 (Modality-aware 汇聚和融合操作迭代执行多次，就能捕获user和item之间多跳的邻居信息以及跨模态之间的协同信息。
2.8K30发布于 2021-04-22 - 来自专栏我爱计算机视觉
EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响
Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。 如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。 多模态模型在预测时使用由多模态输入触发的跨模态激活。 这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object： 在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征 。 测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language ▊ 作者简介 研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。
2.5K20发布于 2021-09-28 - 来自专栏NLP/KG
中文多模态医学大模型智能分析X光片，实现影像诊断，完成医生问诊多轮对话
中文多模态医学大模型智能分析X光片，实现影像诊断，完成医生问诊多轮对话 1.背景介绍介绍 最近，通用领域的大语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类响应方面取得了显著的成功 ，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ，然而，此类多模态大模型却很少出现在医学领域的研究中 visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作，然而其数据为英文诊断报告，不利于促进中文领域医学多模态大模型的研究发展。 XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。 图片 借助ChatGPT以及公开的数据集，我们构造了一个X光影像-诊断报告对的医学多模态数据集； 我们将构建的中文胸部X光片诊断数据集在VisualGLM-6B进行微调训练，并开放了部分训练权重用于学术研究
4.6K13编辑于 2023-07-31 - 来自专栏存内计算加速大模型
腾讯发表多模态综述，什么是多模态大模型
，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。 多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中 · 图像编码器：处理图像数据，常使用卷积神经网络（CNN）来提取视觉特征。· 音频编码器（如果有）：处理音频数据，可能采用特定的音频处理网络，如WaveNet。 多模态融合多模态循环翻译网络(MCTN)是一种通过模态翻译学习鲁棒联合表示的神经网络模型。如图2所示，MCTN提供了两种模式的全面概述。
5.7K13编辑于 2024-05-14 agent多模态学习
二、多模态 Agent 的整体架构 一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下： 用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 → 反馈与优化层 → 多模态输出 2.1 多模态感知层 (Multimodal Perception Layer) 作为系统的“感官”，负责将原始的多模态输入转换为结构化的特征向量。 四、多模态意图理解与任务规划 4.1 多模态意图识别 多模态意图识别旨在从用户的文本、图像、语音等多种输入中，准确判断其核心需求。 多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。 9.3 医疗健康 医学影像分析：辅助医生分析 X 光、CT 等影像，识别病灶。 远程问诊：结合患者上传的症状描述和图片（如皮疹），提供初步诊断建议。
47710编辑于 2026-01-15- 来自专栏脑电信号科研科普
Schizophrenia Bulletin：利用多模态结构脑影像数据对首发精神分裂患者进行分类
《本文同步发布于“脑之说”微信公众号，欢迎搜索关注~~》 近些年来，大量的神经影像模式识别研究尝试利用结构MRI或DTI数据来对精神分裂患者（schizophrenia，SZ）进行分类。 尽管这些研究可以实现较高的分类准确率，但是利用多模态神经影像数据来对SZ特别是首发精神分裂（first-episodeschizophrenia，FES）进行分类的研究并不多见。 该研究融合多模态结构脑影像数据特征（包括灰质体积GMV，皮层厚度，皮层褶皱，分数各向异性FA，平均弥散率MD）来对FES进行分类。 三、小结 本文的研究结果表明，相比单一模态数据，利用多模态融合的方法似乎可以得到更加良好的分类准确率和稳定性。 这也进一步印证了，不同模态的脑影像数据只能从某一个方面或者侧面反映疾病的异常变化，而通过多模态融合的方法能够更加全面、客观地理解疾病的神经机制。
55200发布于 2020-11-17 - 来自专栏一点人工一点智能
多模态认知计算
认知神经学研究[1] 表明，一类感官刺激可能会作用于其他感官通道，这种现象被称为“联觉”(Synaesthesia)。 然而，在蓬勃发展的背后，多模态认知计算的理论机理仍不明确。认知神经学家提出了大量理论与假设来刻画人类对多感知模态的认知过程。 神经科学相关研究[3] 表明，多种感官刺激的联合作用会产生“整体大于局部之和”的效果。例如，在观看影视剧时，画面和声音的同时刺激会给人类带来深刻，全面的感受，也帮助人类更准确地理解影视内容。 本节从多模态对齐，多模态关联和多模态检索三方面阐述多模态关联相关工作。其中，多模态对齐是一类基础性需求，如图像区域内容和文字词汇的语义对齐，视觉唇部运动与语音声素之间的时间对齐等。 认知神经科学家认为，这种现象的潜在生理学基础可能是不同感官在信息编码中存在一个高级别语义的自组织关联网络，该网络与特定模态类型无关，但是可以直接关联到不同模态中，从而实现高效的多模态感知。
95630编辑于 2022-12-27 - 来自专栏CSDN社区搬运
多模态COGMEN详解
在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 建议的模型使用基于图谱神经网络 （GNN) 的架构来模拟对话中的复杂关系（本地和全局信息）。 “iemocap_4” --modalities=“atv” 部署方式 下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练
32310编辑于 2024-12-05 【多模态大模型】
多模态大模型的核心能力 多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括： 图像到文本：识别图片内容并生成描述、广告文案或诗歌。 跨模态检索：根据文本搜索相关图像/视频，或反之。 代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。 多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。 输出优化：通过强化学习调整生成文本的流畅性与吸引力。 模型训练与优化要点 数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。
29410编辑于 2026-01-20- 来自专栏多模态视频理解
多模态算法综述
在UCF101数据集上达到了87%的准确率图片（2）Beyond Short Snippets: Deep Networks for Video Classification，尝试了多种多帧帧见融合策略如 自注意力至此视频理解算法演进到了Transformer的自监督网络架构，Transformer有两个优势，（1）更强的网络表征能力，（2）更容易设计自监督的训练任务，从而可以更有效的利用无标注数据，同时也更加注重多模态的内容理解 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器 、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language Model，主要用于NLP部分，使模型具有实体生成能力，使得文本诱导的zero-shot具有无需fine-tuning的泛化性Contrastive Learning通过一张图片，经过不同的数据增强，被神经网络所提取的特征
3.1K30编辑于 2022-07-12 - 来自专栏音乐与健康
多模态很简单，搞懂多模态，站在 AI 发展的最前沿
现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据 多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？ 所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？ 缺点：不同模态的数据格式差异大，直接融合可能会增加噪声和计算复杂度。2️⃣ 中期融合（Mid Fusion）—— 特征级融合 特点：各个模态单独通过不同的神经网络提取特征，然后再合并进行决策。 举例：医疗AI（判断病人是否有某种疾病）：模型1：分析 CT/X光 影像结果模型2：分析电子病历模型3：分析基因检测数据最终投票决策，给出综合诊断！
1.2K10编辑于 2025-07-29 - 来自专栏素质云笔记
多模态＋Recorder︱多模态循环网络的图像文本互匹配
为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。 其中总体架构如下图所示： 该模型主要由四部分组成，用于图像特征提取的 CNN_I，用于自然语言建模的 CNN_L，用于结合 CNN_I 和 CNN_L 信息的多模态层 M，和一个用于单词序列预测的递归神经网络 总体过程如下：首先利用 CNN_I 提取图像特征，然后 CNN_L 利用之前时刻生成的单词对当前的单词信息进行表达，然后通过多模态层结合图像和单词信息，最后将融合的信息作为递归神经网络的输入来预测一下时刻的单词 考虑到草图与自然图像可能存在多视角的特征表达，且不同的视角作用差异较大，我们提出了一种基于视角选择的多视角跨模态匹配算法。 多模态搜索 网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据
2.8K20发布于 2019-05-26 - 来自专栏思影科技
Neuron脑影像机器学习： 表征、模式信息与大脑特征：从神经元到神经影像
人们对于神经影像的研究已不满足于对大脑局部的研究，开始探索汇集了更多分散于多个脑系统的脑活动预测模型。 关于神经表征的理论假设 神经影像学中的大脑映射是从一种思维习惯中产生的，我们习惯认为心理过程是模块化的，并在孤立的局部脑区实现。 这些优势激发了利用这些原理的人工神经网络。这些模型中的神经元以高度分布的“多对多”方式编码输入对象的特征（例如图像，文本等）。 在人类神经影像学中，跨多个脑体素的活动如何共同编码行为结果的多变量建模是细胞神经科学中群体编码概念的延伸。 神经影像学导致了心理学和神经科学之间的紧张关系，因为研究人员对研究大脑可以告诉我们关于大脑的信息采取了不同的立场。这种紧张的一种表现是一系列的文章，质疑神经影像学是否教会了我们大脑如何工作。
1.9K10发布于 2019-12-30 - 来自专栏学习
机器学习——多模态学习
多模态学习：机器学习领域的新视野 引言 多模态学习（Multimodal Learning）是机器学习中的一个前沿领域，它涉及处理和整合来自多个数据模式（如图像、文本、音频等）的信息。 随着深度学习的蓬勃发展，多模态学习在许多应用领域中获得了广泛关注，例如自动驾驶、医疗诊断、智能助理等。本篇博客将深入探讨多模态学习的概念、方法以及一些代码示例，帮助读者更好地理解这一重要课题。 什么是多模态学习？ 多模态学习旨在同时处理来自不同模态的数据，从而提高模型的表现能力。 多模态学习的挑战 多模态学习面临一些独特的挑战，例如： 模态间的异质性：不同模态数据的性质差异较大，例如图像是二维数据，文本是序列数据。 对齐问题：不同模态之间可能需要对齐，如图像和文本的时间同步。 多模态模型能够同时处理这些信息，从而理解视频的内容并进行分类、检索或生成描述。 结论 多模态学习是一个快速发展的领域，其潜力非常巨大。
62110编辑于 2024-10-10 - 来自专栏用户5637037的专栏
退行性逆行神经影像网：生成模拟疾病进展的影像
原文题目：Degenerative Adversarial NeuroImage Nets: Generating Images that Mimic Disease Progression
53830发布于 2019-07-18 - 来自专栏用户5637037的专栏
退行性逆行神经影像网：生成模拟疾病进展的影像
原文题目：Degenerative Adversarial NeuroImage Nets: Generating Images that Mimic Disease Progression 摘要：模拟代表神经退行性疾病的图像对于预测患者预后和验证疾病进展的计算模型具有重要意义 这种能力对于二级预防临床试验是有价值的，因为这些试验的结果和筛选标准涉及到神经影像学。传统的计算方法由于引入了萎缩的参数模型而受到限制，对资源的要求非常高。 在这里，我们提出退化对抗性神经图像网络(DaniNet)-一种新的深层次学习方法，学习模拟神经变性对MRI的影响。 DaniNet还可以根据非影像学特征(年龄、诊断等)来确定进展情况。同时也保持了个体独特的脑形态。对抗性训练确保真实的大脑图像和平稳的时间进展。 我们训练我们的模型使用9652 T1加权(纵向)MRI提取的阿尔茨海默病神经成像倡议(ADNI)数据集。
58830发布于 2019-07-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号