- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型成长之路
【大模型学习 | CLIP 原理&实现】
以往的图像识别任务通常依赖于人为定义的分类标签进行训练，这种方式不仅数据成本高，而且模型更容易过拟合于训练类别。 和文本 Transformer）进行编码，基于余弦相似度学习多模态的嵌入空间，最大化配对图文之间的相似度，最小化不匹配对的相似度，并通过symeertric entropy loss优化相似得分： 训练模型并没有采用预训练权重模型 加载模型和 processor model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained projection 层） optimizer = torch.optim.AdamW(filter(lambda p: p.requires_grad, model.parameters()), lr=5e -5) device = "cuda" if torch.cuda.is_available() else "cpu" model.to(device) # 5.
1.9K21编辑于 2025-07-15 - 来自专栏AI算法能力提高班
CLIP-图文预训练模型
//github.com/openai/CLIP ---- Abstract 连接文本和图像的预训练模型 Contributions zero-shot classification Related Work model.encode_image(image_input) text_features = model.encode_text(text_inputs) # Pick the top 5 similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1) values, indices = similarity[0].topk(5) ：以上的数据分析，都是和a linear classifier on top of ResNet-50 features进行比较，大部分的数据集，都有对应的SOTA模型。 前面实验分析发现，模型不能很好的区分cars，species of flowers, 以及variants of aircraft；b. abstract和systematic任务表现不好，比如统计图上
1.1K30编辑于 2023-09-13 - 来自专栏开源心路
AI绘画中CLIP文本-图像预训练模型
CLIP 的历史发展 早期背景：在 CLIP 之前，大多数人工智能系统主要关注单一模态的处理。例如，有些模型专注于图像识别，而其他模型则集中于文本分析。 CLIP 的推出：2021 年，OpenAI 推出了 CLIP，这是一个突破性的多模态学习模型。CLIP 通过大规模的图像和文本数据训练，学习理解两者之间的关联。 CLIP 解决方案 OpenAI CLIP 模型并不是最初为 GPT（Generative Pretrained Transformer）设计的。 扩散模型与CLIP 在结合 CLIP 架构时，可以采取以下步骤： 文本编码器：CLIP 的文本编码器可以用来处理文本输入，生成与文本描述相匹配的语义表示。 它是目前效果最好的开源中文CLIP模型之一,为中文多模态任务提供了有价值的预训练权重。
2.2K10编辑于 2023-12-22 - 来自专栏DeepHub IMBA
文生图的基石CLIP模型的发展综述
CLIP是一种基于对比学习的多模态模型，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里希望通过对比学习，模型能够学习到文本-图像对的匹配关系。 Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型。 虽然OpenAI从未明确指定或共享用于训练原始CLIP模型的数据，但CLIP论文提到该模型是在从互联网收集的4亿对图像-文本上进行训练的。 OpenCLIP通过使用迄今为止发布的最大的开源图像-文本对数据集(5B)将上面的理论扩展到多模式场景，系统地研究了训练数据对模型在零样本和微调任务中的性能的影响。 在过滤后的数据上训练的CLIP模型优于仅在初始高质量数据上训练的模型和在大量未过滤数据上训练的模型。
2.5K10编辑于 2024-04-01 - 来自专栏具身小站
基于场景的AI模型BERT和CLIP选型对比
的固有特性——它源于 初始化偏差 （预训练的单模态模型天然分布不同）和 对比学习的强化作用 2 CLIP与BERT的核心区别 对比维度 BERT CLIP 设计目标 通用文本理解 图文跨模态对齐 训练任务 CLIP的训练方式 CLIP通过 对比学习 训练：让模型学会判断图像和文本是否匹配。这不是生成任务，而是 判别任务 ——判断图文对是真是假。 Stable Diffusion使用CLIP编码文本描述 图像描述生成 结合其他模型生成图像描述 CLIPCap：CLIP + GPT生成图片标题 视觉-语言预训练 作为下游多模态任务的基础 视频理解 机器人视觉语言导航 解析“先走到沙发旁，再拿起遥控器”这类复杂指令 识别图像中的“沙发”、“遥控器” 多模态问答 理解问题的语义和逻辑 从图像中提取与问题相关的视觉特征 5 选型建议 如果需要处理 纯语言任务 如果应用 以中文为主 且对精度要求高 → 考虑国产替代模型 ，如Qwen3-VL-30B、Chinese-CLIP。它们在中文分词、成语理解、文化语境上明显优于原生CLIP。
14710编辑于 2026-03-31 - 来自专栏我爱计算机视觉
OpenAI发布CLIP模型快一年了，盘点那些CLIP相关让人印象深刻的工作
在本文中，我们就来盘点一些基于CLIP模型的拓展网络。 ▊ 2、相关工作 2.1. 在本文中，作者基于CLIP4Clip，结构目前的一些先进技术，构建了一个SOTA的模型。 2.2.3. 实现方法 本文的模型结构如上图所示，相比于CLIP4Clip，这篇文章采用了动量蒸馏的思想，维护了一个和主体模型一模一样，但是参数通过动量来更新的模型。 论文动机 在本文中，作者希望用CLIP模型的图片文本知识来促进VALUE基准上视频-文本任务性能的提升。 因此，作者基于HERO模型，将CLIP的一些组件加入到了HERO模型中，从而达到了显著的性能提升。 2.3.3.
3.2K10编辑于 2022-03-29 - 来自专栏我爱计算机视觉
怎么用图文预训练模型CLIP做视频任务？
目前CLIP也被应用到各个其他场景中，在这篇文章中，我们就来盘点一下，怎么把CLIP这个图文预训练的模型拓展到具有时序信息的视频任务中。 本文主要分为两个部分，第一个部分是介绍一下CLIP的原理和流程，第二部分为介绍，目前基于CLIP的视频模型！ 2 回顾CLIP CLIP的motivation主要有三点： 1）当前的CV数据集标注劳动密集，成本高昂； 2）当前的模型只能胜任一个任务，迁移到新任务上非常困难； 3）当前模型泛化能力较差，很难在新的数据上达到比较好的效果 CLIP的模型结构非常简单，如上图所示： 收集到的文本-图像对，分别经过Text-Encoder和Image-Encoder，然后通过点积计算一个batch中文本和图像两两之间的相似度，得到一个batch 因此每次增加动作类别时都需要重新训练模型，很难进行简单的增量学习，也很难达到比较好的zero-shot和few-shot的性能。 因此，作者把这个分类当作一个检索任务，流程和CLIP做分类任务差不多。
3.1K31编辑于 2021-12-24 - 来自专栏登神长阶
【论文复现】CLIP模型也能处理点云信息
概述 CLIP模型擅长于将图像与广泛的文本描述相匹配，并取得了显著成效。鉴于此，研究者们开始探究：那些在二维图像与文本对大规模预训练中表现优异的模型，是否同样能够适用于三维知识领域。 这一方法有望成为在资源有限和数据稀缺条件下，利用CLIP模型进行高效三维点云解析的一种极具潜力的替代方案。 本文所涉及的所有资源的获取方式：这里 模型结构 模型总览图 PointCLIP模型首先将点云投影到不同视图下，形成M个深度图作为图像信息。之后采用CLIP模型，对图像信息和文本信息进行编码。 点云的投影 为了将点云转换为CLIP可访问的表示，从多个视图生成投影图像，以消除3D和2D之间的差距。 采用残差结构将CLIP的2D知识与适配器新学习的3D少样本知识进行融合，进一步的促进了跨模态的知识转移，同时可以更好的进行视图预测。
64410编辑于 2024-11-24 - 来自专栏用户7873631的专栏
clip-path
200px;position: absolute;left: 0;top: 0;right: 0;bottom: 0;margin: auto; background: black; -webkit-clip-path
61510发布于 2020-10-28 - 来自专栏GiantPandaCV
ICCV 2023：CLIP 驱动的器官分割和肿瘤检测通用模型
它通过学习大量的文本和图像来获得对于语义理解的通用知识，这种通用知识可以在各种具体任务中进行微调，使得模型可以适应不同领域的任务。CLIP 使用对比学习的方法来训练模型。 在这篇解读中，后文出现的 CLIP embedding 指的是由 CLIP 模型生成的表示文本和图像之间语义关系的特征向量。这些嵌入向量是 CLIP 模型的核心输出之一。 为了解决这些问题，这篇论文提出了基于 CLIP 学习的文本嵌入的通用模型，将其融入分割模型中。 这在某些机器学习任务中可能会限制模型的性能。 请添加图片描述 如下图是这篇文章提出的基于 CLIP 的通用模型，用于腹部器官分割和肿瘤检测。 这验证了 CLIP 基础的编码可以帮助模型捕捉解剖关系并学习结构化的特征嵌入。
3.4K80编辑于 2023-09-26 - 来自专栏计算机视觉理论及其实现
tf.clip_by_value( )
tf.clip_by_value的用法：tf.clip_by_value(A, min, max)：输入一个张量A，把A中的每一个元素的值都压缩在min和max之间。 例如：import tensorflow as tf; import numpy as np; A = np.array([[1,1,2,4], [3,4,8,5]]) with tf.Session() as sess: print sess.run(tf.clip_by_value(A, 2, 5)) 运行结果如下：?
2.9K30编辑于 2022-09-04 - 来自专栏AIGC 先锋科技
结合异构图神经网络，HeGraphAdapter 提升 CLIP 模型性能研究 ！
1 Introduction 最近，大规模的视觉语言模型（VLMs），如CLIP [1]及其变体，为计算机视觉提供了一种新范式，并在许多下游任务上表现出优越的泛化性能，例如零样本泛化[5]，少样本分类[ 然后，作者同时构建文本基础和视觉基础的分类器，以全面提高CLIP模型在下游任务上的性能。 假设CLIP模型的视觉编码器将类别为的视觉特征编码为，则文本分类损失的计算如下： 视觉相似性 表示 CLIP 模型中的一个学习温度参数 。 基于视觉的分类器利用一个键值缓存模型通过特征检索来优化 CLIP 模型的分类结果。对于 类和 -shot 任务，作者存储所有训练视觉特征 和相应的 one-hot 标签向量 。 5 Conclusion 本文提出了一种新的异构图适配器，用于微调视觉-语言预训练模型（VLMs）。
92711编辑于 2024-12-19 - 来自专栏计算机视觉理论及其实现
tf.clip_by_value()
Clips tensor values to a specified min and max.tf.clip_by_value( t, clip_value_min, clip_value_max Any values less than clip_value_min are set to clip_value_min. Any values greater than clip_value_max are set to clip_value_max.Note: clip_value_min needs to be smaller ])B = tf.clip_by_value(A, clip_value_min=0, clip_value_max=3) # [[1, 3, 3],[3, 3, 3]]C = tf.clip_by_value (A, clip_value_min=0., clip_value_max=3.) # throws `TypeError`as input and clip_values are of different
1.2K10编辑于 2022-09-03 - 来自专栏AIGC 先锋科技
加州大学通过知识提炼增强CLIP概念的渗透，从 CLIP 到 KnowledgeCLIP 大语言模型赋能视觉语言融合 ！
在训练阶段，一个T5编码器根据输入句子被微调以生成文本嵌入。同时，一个T5解码器也被微调以产生与输入句子紧密匹配的输出句子。 随后，Knowledge-CLIP和CLIP的文本编码器以及T5解码器被冻结。接着，线性 Transformer Layer 和层归一化层被微调以优化它们的性能。 表2的结果显示，这种设置在AWA2和CUB上对Knowledge-CLIP略有益处，在这些情况下，作者的模型能够比CLIP模型稍微更好地学习到概念性的图像特征，但也请注意，这种性能提升并不明显。 5 Discussion 在本节中，作者探讨了Llama 2和CLIP文本编码器之间的区别，阐明了它们各自独特的特性。 CLIP这种多模态视觉语言模型的整体质量。作者的方法利用了一个大语言模型Llama 2来指导图像编码器和文本编码器。
60510编辑于 2025-01-14 - 来自专栏我爱计算机视觉
CLIP再创辉煌！西南交大&MSRA提出CLIP4Clip，进行端到端的视频文本检索！
在本文中，作者提出了一个CLIP4Clip 模型，以端到端的方式将CLIP模型的知识转移到视频语言检索中。在本文中，作者通过实验研究了以下几个问题： 1） 图像特征是否足以用于视频文本检索？ 本文的目标不是预训练一种新的视频文本检索模型，而是主要研究如何将知识从图片文本预训练模型CLIP中迁移到视频本文检索任务中 。 在本文中，作者利用预训练好的CLIP，提出了一个名为CLIP4Clip（CLIP For ** video Clip ** retrieval）的模型来解决视频文本检索问题。 2） 在CLIP4Clip模型上对大规模视频文本数据集进行后预训练是必需的，并且可以提高性能，特别是对于大幅度的零样本预测。 ▊ 5. 总结 在本文中，作者使用预训练的CLIP作为主干网络来解决从帧级输入的视频片段检索任务。作者使用了无参数类型 、序列类型 和紧密类型 相似性计算器来获得最终结果。
2.9K41发布于 2021-11-18 - 来自专栏纯情博客
DanbooruCLIP——二次元数据集微调的 CLIP 模型
DanbooruCLIP——二次元数据集微调的 CLIP 模型 介绍 Huggingface 在线体验： https://huggingface.co/OysterQAQ/DanbooruCLIP github 主仓库地址（ pt 模型文件可以在 release 下载）： https://github.com/OysterQAQ/ACG2vec 使用 danburoo2021 数据集对 clip （ ViT-L /14 ）模型进行微调。 if 5 in category_group else [] general_list = category_group[0] if 0 in category_group 模型1 二次元数据集微调的 CLIP 模型2
1.3K40编辑于 2023-05-20 - 来自专栏GiantPandaCV
OpenAI CLIP 论文解读
GiantPandaCV导语：视频内容主要是讲解 CLIP 这篇文章的思路，值得一看 点击小程序卡片观看视频 视频太长不看版： CLIP 训练阶段 ? image-20210313165943853 模型架构分为两部分，图像编码器和文本编码器，图像编码器可以是比如 resnet50，然后文本编码器可以是 transformer。 CLIP 测试阶段 ? image-20210313170146896 在测试阶段，可以直接将训练好的CLIP用于其他数据集而不需要finetune。 通过这个实验说明文本编码器部分的标签文本构造对CLIP分类结果的影响非常大。 总结 CLIP提供一个如何做 zero-shot 分类的思路，且模型鲁棒性强。 基于 CLIP 可以自由定义自己的分类器，而且与现有的很多工作结合或许玩出很多花样，比如 DALL·E 中用到了 CLIP，又比如有人已经把 CLIP 和 stylegan 结合来生成图片，又或者可以和
5.4K51发布于 2021-03-25 - 来自专栏计算机视觉理论及其实现
clip_gradient_norms()
def clip_gradient_norms(gradients_to_variables, max_norm): clipped_grads_and_vars = [] for grad, var gradients_to_variables: if grad is not None: if isinstance(grad, ops.IndexedSlices): tmp = clip_ops.clip_by_norm max_norm) grad = ops.IndexedSlices(tmp, grad.indices, grad.dense_shape) else: grad = clip_ops.clip_by_norm
1.2K20编辑于 2022-09-04 - 来自专栏AI SPPECH
38_多模态模型：CLIP的视觉-语言对齐_深度解析
Transformer编码：通过多头自注意力机制处理patch序列 5. 特征聚合：使用特殊的[CLS]标记聚合全局特征 视觉编码器的输出是一个高维向量，代表了图像的语义特征。 Transformer编码：通过多头自注意力机制处理token序列 5. 5. 2025年CLIP模型的技术突破 5.1 模型规模与性能的飞跃 2025年，CLIP模型在规模和性能上实现了质的飞跃。最新版本的CLIP模型参数量达到数百亿级别，处理能力大幅提升。 get_peft_model(model, peft_config) # 训练循环 optimizer = torch.optim.AdamW(lora_model.parameters(), lr=5e 10.4 2026-2030年的发展预测 展望未来5年，多模态AI技术将继续快速发展，呈现以下趋势： 通用多模态人工智能的初步实现：能够像人类一样自然地理解和生成多种模态信息的AI系统将逐步成熟。
1.3K20编辑于 2025-11-16 - 来自专栏AI智韵
CLIP-EBC：通过增强的逐块分类，CLIP能够准确计数
因此，我们的EBC框架采用了分块预测的方式，类似于最新的方法[3]、[5]、[6]、[11]、[12]。 标签校正：上述所有方法都忽视了一个关键的实践挑战：在人口密集的图像区域内的标注可能极其错误和嘈杂，导致与可观察到的人数和位置存在显著差异（如图5所示）。 例如，当时，包括图5中封闭区域在内的所有块的最大允许计数值被限制为，而不是196。 损失设计：在先前的块分类方法中，Liu等人[11]在损失公式中仅考虑了预测概率图与真实值之间的差异。 训练细节：我们使用CLIP [10]的权重来初始化CLIP-EBC模型。 我们的CLIP-EBC模型也可以达到与最先进方法相当的结果。
84110编辑于 2024-10-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号