- 综合排序
- 最热优先
- 最新优先
- 来自专栏人工智能
什么是视觉语言基础模型？
本文就来聊聊这个视觉语言基础模型。Vision-Language Foundation Model 是一类能够同时处理视觉和语言信息的人工智能模型。 什么是视觉语言基础模型视觉语言基础模型是一种能够理解和生成视觉与语言信息的多模态人工智能模型。 其目标是建立视觉与语言之间的语义联系，从而使得模型能够处理复杂的跨模态任务。典型的视觉语言基础模型包括 CLIP、DALL·E 和 Flamingo 等。 模型输出："Three"。这种任务通常采用视觉语言基础模型如 Flamingo，该模型通过跨模态注意力机制，将视觉和语言信息深度融合，从而实现精准回答。 更强的生成能力：提升文本到图像生成模型的质量和可控性。总结视觉语言基础模型通过整合视觉和语言信息，为多模态任务提供了强大的技术支持。
43200编辑于 2025-01-01 - 来自专栏人工智能
多模态AI与视觉语言模型
然而，真实世界的智能需要跨越感官的界限，实现视觉、语言、声音等多种信息的统一理解与生成。 CLIP：连接视觉与语言的桥梁 CLIP原理 CLIP（Contrastive Language-Image Pre-training）由OpenAI于2021年发布，通过简单而强大的理念实现了视觉和语言的统一理解 CLIP的影响 CLIP证明了大规模对比预训练的有效性，开启了视觉-语言模型的新纪元。 其成功催生了后续众多工作： Stable Diffusion：使用CLIP进行图像-文本对齐 LLaVA：结合CLIP视觉编码器和语言模型 Flamingo：多模态上下文学习 多模态架构设计 早期融合 视觉问答（VQA） 给定图像和自然语言问题，生成答案。
41810编辑于 2026-01-21 视觉语言模型知识蒸馏方法优化
大型基于Transformer架构的机器学习模型近期在视觉与语言任务中展现出卓越性能。但这类大模型往往因计算速度限制难以实时部署，实际系统通常采用知识蒸馏技术将大模型知识迁移至更轻量的学生模型。 传统蒸馏方法采用教师与学生模型注意力头一对一对齐的方式，而学生模型为降低复杂度通常会减少注意力头数量。 在AAAI 2024会议上提出的新方法突破了这一限制：将教师模型所有注意力头的知识蒸馏至学生模型全部注意力头中。当学生模型头数少于教师时，单个学生注意力头可编码多个教师头的综合信息。 实验在两个视觉语言模型（VLM）上进行，这些模型将图像和文本映射到同一向量空间，并针对视觉问答、图像描述和基于图像的翻译任务进行微调。新方法在三个任务上均超越现有基线表现。 即使学生模型头数显著少于教师，也能通过加权聚合方式有效保留多维度特征信息。该方法为部署轻量级视觉语言模型提供了新的技术路径，在保持模型效率的同时最大化知识迁移效果。
27500编辑于 2025-08-04- 来自专栏GPUS开发者
揭秘SmolVLM——小巧高效的视觉语言模型
随着人工智能（AI）技术的飞速发展，视觉语言模型（Vision Language Model, VLM）正在逐渐改变我们与世界交互的方式。 这太疯狂了，因为您可以在一个微型边缘设备上运行完全离线的视觉语言模型，功耗仅为 10 瓦。 今天，就让我们一起来了解这个小而强大的视觉语言模型——SmolVLM。 什么是SmolVLM SmolVLM是一款仅有20亿参数的紧凑型视觉语言模型。 例如： 在文档视觉问答（DocVQA）测试中达到**81.6%**的准确率，超越了许多更大的模型。 视觉处理：图像分块尺寸升级为384x384像素，并采用像素分组（Pixel Shuffle）策略进行压缩处理。
1.8K11编辑于 2024-12-05 多图像输入视觉语言模型技术突破
多图像输入视觉语言模型视觉语言模型能够将图像和文本映射到共同的表示空间，在多模态AI任务中展现出卓越性能。但传统模型通常基于文本-图像对进行训练，每个文本输入仅关联单张图像，这限制了模型的应用场景。 在冬季计算机视觉应用会议（WACV）上，提出了一种新的多图像聚合嵌入方法，显著提升了多模态AI任务的性能。 模型架构典型视觉语言模型包含图像编码器（生成输入图像的嵌入表示）和投影层（将图像嵌入投影到预训练大语言模型的表示空间）。有时在图像编码器与投影层之间还会插入查询嵌入生成器。 本研究引入了多重实例视觉组件（MIVC），无论何种架构都能接收视觉编码器的输出，为多个输入图像创建统一表示。 实验结果在商品分类、商品信息推断和图像描述三项任务中，无门控注意力机制模型全面优于其他方法，有时优势显著。
34510编辑于 2025-09-04- 来自专栏AIGC 先锋科技
视觉语言模型能否取代人类标注？
这项研究评估了视觉语言模型（VLMs）在图像数据标注方面的能力，通过将它们在CelebA数据集上的性能与人工标注进行比较，以质量和成本效益为标准。 大型语言模型（LLMs）的最新发展激发了将其应用于文本数据集标注和生成的巨大兴趣。与此同时，对视觉语言模型（VLMs）[19]在处理无标签图像数据的能力的研究还很少。 LLaVA-NeXT[10] 是一个开源的 SOTA 多模态模型，相较于 LLaVA-1.5 [9]，在增强视觉推理和 OCR 能力方面取得了更好的效果。 LLaVA-1.5 曾是研究大型多模态模型（LMM）的数据、模型和能力的许多全面研究的基石。 鉴于可比的质量和高成本优势，视觉语言模型（VLMs）在需要使用多个标注来提高准确性的场景中，具有替代一个或多个标注源的潜力。 受实验规模的限制，结果可能受到AI模型和标注员的主观偏见的影响。
37810编辑于 2024-10-29 - 来自专栏深度学习和计算机视觉
使用视觉语言模型（VLMs）进行目标检测
重磅干货，第一时间送达 在过去，你必须自己训练模型，收集训练数据，但现在许多基础模型允许你在它们的基础上进行微调，以获得一个能够检测目标并与用户用自然语言互动的系统。 有数百种模型和潜在应用场景，目标检测在这些场景中非常有用，尤其是随着小型语言模型的兴起，所以今天我们将尝试使用MLX上的Qwen2-VL-7B-Instruct-8bit。 我们将使用MLX-VLM，这是由Prince Canuma（Blaizzy）创建的一个包，他是一位热衷于开发和移植大型语言模型以兼容MLX的热情开发者，这个框架为我们用户抽象了很多代码，使我们能够用很少的代码行运行这些模型 首先，你可以从Hugging Face定义模型，框架将下载所有相关组件。 两年前，还没有能够适应MacBook并表现如此出色的模型。我个人的猜测是，这些模型将继续发展，最终达到像YOLO这样的模型的能力。还有很长的路要走，但正如你在这篇文章中看到的，设置这个演示非常容易。
1.1K10编辑于 2024-12-05 - 来自专栏人工智能前沿讲习
【综述专栏】视觉-语言基础模型的提示工程
近期，它在视觉-语言建模中也得到了深入的研究。然而，目前缺乏对预训练视觉-语言模型上的Prompt工程的系统性概述。 本文旨在为视觉-语言模型上的Prompt工程提供一个全面的调查，涉及三种类型的视觉-语言模型：多模态到文本生成模型（例如Flamingo）、图像-文本匹配模型（例如CLIP）和文本到图像生成模型（例如Stable 对于每一种模型，我们都总结并讨论了简短的模型摘要、提示方法、基于提示的应用以及相应的责任和完整性问题。此外，还讨论了在视觉-语言模型、语言模型和视觉模型上进行提示的共性和差异性。 通过分析确定的主要发现和趋势揭示了在适应视觉语言任务中有效使用提示来调整大型预训练模型的方法。 通过利用提示工程技术，研究人员可以在视觉语言模型中获得显著的性能提升，而不需要大量的标记数据。这有可能减少数据注释的负担并加速视觉语言模型在实际应用中的部署。然而，重要的是要承认这次调查的局限性。
80120编辑于 2023-08-29 - 来自专栏GPUS开发者
VILA：引领视觉语言模型新纪元的先锋
VILA是一个由Nvidia和MIT联合开发的视觉语言模型，它融合了计算机视觉和自然语言处理两大领域的技术，旨在实现更加智能和自然的图像理解和语言交互。 VILA的核心在于其能够联合处理视觉和语言信息的能力。传统的图像处理或自然语言处理模型往往只能处理单一模态的信息，而VILA则能够将图像和语言信息进行有效融合。 全面的预训练流程 VILA的预训练流程深入研究了视觉语言预训练过程，通过解冻大型语言模型（LLM）并融入视觉输入，实现了对图像和文本两种模态的联合建模。 VILA在AI领域的应用 VILA，作为一种先进的视觉语言模型，在AI领域展现出了广泛的应用前景。 总结 VILA作为视觉语言模型领域的佼佼者，凭借其全面的预训练策略、高效的指令调优方法和优化的部署方案，不仅为视觉语言模型的研究提供了新的思路和方法，也为推动人工智能技术在多模态信息处理领域的应用做出了重要贡献
1.1K10编辑于 2024-05-06 多图像输入视觉语言模型新方法
多图像输入视觉语言模型新方法视觉语言模型能够将图像和文本映射到同一表征空间，在广泛的多模态AI任务中展现出卓越性能。 例如，我们可能希望视觉语言模型接收两张输入图像来识别它们之间的差异，或者从超声波或X射线截面的3D融合图像中进行推理。在某电商平台的商店中，单个产品常关联多张图片，用户可能希望执行涉及多张图片的查询。 模型架构视觉语言模型通常包含一个图像编码器（生成输入图像的嵌入）和一个投影层（学习将图像嵌入投影到预训练大语言模型的表征空间中）。有时，在图像编码器和投影层之间还会插入一个查询嵌入生成器。 该生成器基于图像嵌入及其相关图像描述进行训练，学习图像嵌入的语言表征，帮助投影层更好地导航大语言模型的表征空间。 我们引入了一个多实例视觉组件，该组件在上述两种架构中均可接收视觉编码器的输出，为多个输入图像创建统一表征。
12210编辑于 2026-03-16- 来自专栏AIGC 先锋科技
在线高斯自适应革新 OTTA 视觉语言模型 ！
引言 视觉-语言对齐已成为一种强大的范式，可用于预训练模型，这些模型能够处理各种下游任务，且在少量或没有 Token 数据的情况下也能胜任。 此外，作者的研究显示，尽管在线测试时自适应（OTTA）方法在视觉语言模型（VLMs）中越来越受欢迎，但它们缺乏严格且相关的评估框架。 与先前的研究相似，作者报告了将OTTA方法应用于零样本视觉语言模型（VLM）时的性能。在大多数数据集和运行中，OGA优于最先进的方法。 在零样本设置下部署视觉语言模型（VLMs）是执行下游任务最简单和最直接的方法之一，它利用了文献[19]中描述的预训练过程。 高斯混合模型（GMM）已被成功应用于视觉语言模型（VLMs）的无样本和少量样本自适应[23, 28]。作者采用此框架来对基于类别的图像特征似然进行建模。
39000编辑于 2025-02-10 用于胎儿超声理解的视觉基础语言模型
许多现有的VLP工作使用对比语言-图像预训练模型来对齐视觉和语言特征空间，该模型因其良好的可扩展性和对未见任务的泛化能力而成为一种流行的模型。 诸如Med-Flamingo和LLaVA-Med等模型通过多模态指令微调将大型视觉-语言模型扩展到生物医学应用。 通过联合应用粗粒度和细粒度对齐，视觉和文本特征空间被自适应地对齐，确保了视觉基础语言模型的有效开发。结果对视觉基础语言模型Sonomate进行了全面评估，以通过跨模态特征可视化评估其多模态对齐能力。 通过训练一个能够从超声医师视角理解超声视频的视觉基础语言模型来实现这一目标。通过对齐视觉和文本特征空间，该模型能够在超声检查过程中实现有效的沟通和解读。 粗粒度视频-文本对齐为了获得一个能够从超声医师视角理解超声视频的视觉基础语言模型，一种直接而有效的方法是遵循CLIP模型的流程，该模型对齐视觉和语言的特征空间。
14310编辑于 2026-02-04两大视觉语言模型技术架构解析
上月在某中心年度开发者大会上，其云服务部门发布了两款新增的Titan基础模型，均支持文本与图像间的相互转换。 多模态嵌入模型现已通过某中心基础平台开放，用户可上传自定义图像集，并通过文本、相关图像或两者组合进行检索。该模型生成的数据表征还可作为下游机器学习任务的输入。 图像生成模型（预览版）是基于照片和标题训练的生成式AI模型，能够生成逼真图像。该模型同样支持文本或图像输入，并输出一组对应图像。 模型架构两款模型采用不同架构但共享文本编码器组件：嵌入模型配备文本编码器和图像编码器，通过对比学习在共享多维空间中生成向量表征图像生成器使用两个文本编码器副本：一个直接向图像生成模块传递文本嵌入，另一个通过预测图像嵌入辅助生成二级图像生成模块对初始输出进行超分辨率处理 ：使用专用标题生成器对部分训练样本进行重新标注，增强图像内容描述准确性安全措施：训练数据经过内容审核，生成图像包含识别合成内容的隐形数字水印模型优化图像生成模型在清洗后的数据集上进行预训练后，还针对高质量图像样本进行微调
30710编辑于 2025-09-23- 来自专栏AIGC 先锋科技
LLM 视觉语言模型在动作识别中是否有效?
1 Introduction 近年来，得益于大规模预训练，许多视觉语言基础模型在许多下游视觉任务上取得了显著成果，展现出了强大的泛化能力。 为了进一步了解如何充分利用视频语言模型进行零样本动作识别，作者首先比较了从原始动作标签和LLM（如ChatGPT）获得的动作描述，以确定哪种 Prompt 对视觉语言模型更合适。 作者对当前的视觉语言基础模型进行了大规模研究，重点关注在野外行动识别任务上的迁移学习。 CLIP[21] 是第一个广为人知的视觉语言预训练视觉基础模型。关键思想是使用自然语言监督预训练一个可迁移的视觉编码器。视觉编码器通过对比学习在大量图像文本对上进行训练。 零样本分类可以有效地评估视觉和文本特征的对齐情况，在本节中，作者将比较通过视觉语言对齐训练的各种最先进模型的特征质量，这些模型用于实际零样本动作分类任务。
89410编辑于 2024-11-11 - 来自专栏山行AI
MiniGPT-4：使用先进的大型语言模型提升视觉语言理解
MiniGPT-4：使用先进的大型语言模型提升视觉语言理解 前言 为上一篇介绍MiniGPT-4的文章，在ChatGPT兴起的当下，涌现了一大批围绕着ChatGPT建立的应用项目，通过文章的方式把这些进行一个分类梳理 •MiniGPT-4 显示出许多与 GPT-4 类似的新兴视觉语言能力。 overview 入门 安装 1. 第一阶段预训练在第一阶段预训练中，模型使用来自 Laion 和 CC 数据集的图像-文本对进行训练，以对齐视觉和语言模型。要下载和准备数据集，请查看我们的 第一阶段数据集准备指南[13]。 在第一阶段之后，视觉特征被映射并可以被语言模型理解。要启动第一阶段的训练，运行以下命令。在我们的实验中，我们使用了 4 个 A100。 •Vicuna[20] Vicuna仅用13B参数就能展现出惊人的语言能力，这真是太神奇了。而且它是开源的！
83730编辑于 2023-06-14 - 来自专栏GiantPandaCV
如何把视觉语言模型应用到视频里？
然而，论文注意到，为了在视频上获得更好的视觉语言特征，全面fine-tune可以提高time和language prompt之间的协同作用。 该方法首先在视频上微调原始 CLIP，以弥合image和video两种模态之间的差距，然后采用视觉语言提示学习方法，让tuned CLIP保持frozen。 对常规 CLIP 模型进行定量和定性分析，以深入了解它为何能够适应视频并获得良好的性能。 在这项工作中，论文研究了如何有效地将预训练的视觉语言（Vision-Language）模型适应视频任务。 在低数据量模式下，作者提出了一种两阶段方法，用于在视频上微调原始 CLIP，并采用视觉语言提示学习方法，以保持微调 CLIP 的冻结。 方法 在文献中探索的一种可靠替代方案是将大规模预训练的基于图像的视觉语言模型（如CLIP）适应视频下游任务。
1.4K30编辑于 2022-12-29 - 来自专栏DrugOne
ICLR 2020| VL-BERT：预训练视觉-语言模型
大量的实证分析表明，预训练的模型可以更好地对齐视觉-语言线索，有利于后续的任务，比如视觉常识推理，视觉问答和引用表达式理解。 模型通过多层多模态Transformer 注意力模块的叠加，使模型具有丰富的视觉-语言线索的聚合和对齐能力。针对特定的视觉语言任务，可以在模型上面添加特定于任务的分支。 为了更好地进行泛化表示，模型在大型的视觉-语言语料库和纯文本数据集中对VL-BERT进行预训练。视觉语言语料库上的预训练损失是通过预测随机掩盖的单词或RoI得到。 作者在视觉-语言和纯文本的数据集上对VL-BERT进行了预培训。模型使用概念标题数据集作为视觉-语言学的语料库。 大量的实例表明训预训练的模型可以更好地对齐视觉-语言线索，从而使模型在下游任务表现得更好。
1.3K60发布于 2021-02-01 - 来自专栏未来先知
高效的测试时间促进视觉语言模型的训练 ！
视觉语言模型在配备适当的文本提示时展现了令人印象深刻的零样本分类能力。 1 Introduction 开放集图像分类是计算机视觉领域一个基本且具有挑战性的任务。最近，视觉语言模型（VLMs）在这个领域展现出了强大的能力。 开放集合图像分类是计算机视觉领域一个基本且具有挑战性的任务。最近，视觉语言模型（VLMs）在图像分类领域展现了强大的能力。 此外，作者的测试还验证了自适应 TPT 数据高效，可扩展到各种模型 Backbone 、规模和 VLMs，并跨领域良好泛化。 2 相关研究 视觉语言模型。 计算机视觉和自然语言处理领域的最新进展极大地激发了视觉语言模型（VLMs）（Radford等人，2021年；Jia等人，2021年；Li等人，2022年；Zhai等人，2022年；Alayrac等人，2022
46810编辑于 2024-08-29 多头对齐：视觉语言模型知识蒸馏新方法
多头对齐：视觉语言模型知识蒸馏新方法方法保留教师模型注意力头中编码的知识，即使学生模型的注意力头数量更少也能实现基于Transformer架构的大型机器学习模型最近在视觉和语言任务上展现出卓越的性能。 然而，这类大模型通常因速度问题难以满足实时应用需求，因此实际系统常采用知识蒸馏技术，将大模型的知识提炼到更精简、更快速的模型中。 传统的大型Transformer蒸馏通常将经过训练的大模型（教师模型）的注意力头与精简目标模型（学生模型）的注意力头进行一对一的对齐。然而，限制注意力头的数量正是学生模型降低复杂度的关键方式之一。 由于学生模型的头数少于教师模型，学生模型中的单个注意力头最终可能会编码教师模型中多个注意力头所包含的信息。 研究领域标签计算机视觉、对话式AI生成式AI、知识蒸馏、视觉语言模型（VLMs）、AAAIFINISHED
13410编辑于 2026-02-14- 来自专栏AIGC 先锋科技
改进视觉-语言概念瓶颈模型中的概念匹配 ！
最近的方法通过提示大型语言模型（LLM）生成文本概念，然后使用视觉语言模型（VLM）获得概念得分来训练CBM。 近期的方法[25, 46]通过利用大型语言模型（LLM）和视觉语言模型（VLM）来自动化上述步骤，并将CBM扩展到更大的数据集（如ImageNet）。 它将对比学习应用于视觉模型的原型空间，而作者专注于在视觉-语言（多模态）模型的 concept 空间上进行对比+半监督学习。基于概念的方法将输入映射到由人类专家定义的高级概念空间，这些概念容易解释。 为了解决这个问题，最近的几种方法 利用对比预训练的视觉-语言模型，如 CLIP [28]，通过它们的图像-文本对齐得分自动生成概念标签。 尽管自然语言提供了一种方便的方法来构建具有高级抽象概念的可解释模型，但其表达力可能有限，即对于某些分类任务（如人脸识别）所需的微妙视觉线索可能难以用语言表达。 未知的概念。
61610编辑于 2024-08-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号