- 综合排序
- 最热优先
- 最新优先
- 来自专栏大模型成长之路
【大模型学习 | CLIP 原理&实现】
以往的图像识别任务通常依赖于人为定义的分类标签进行训练，这种方式不仅数据成本高，而且模型更容易过拟合于训练类别。 作者构建了一个4亿对的数据集WIT（图像，文本对），根据50万个关键词搜集相关的图文对，最后数据的文本数与GPT-2训练所需数据集大小相似； 二、预训练方法 作者首先尝试了直接采用联合学习的方式，采用 ）进行编码，基于余弦相似度学习多模态的嵌入空间，最大化配对图文之间的相似度，最小化不匹配对的相似度，并通过symeertric entropy loss优化相似得分： 训练模型并没有采用预训练权重模型 加载模型和 processor model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained ("openai/clip-vit-base-patch32") # 2.
1.8K21编辑于 2025-07-15 - 来自专栏AI算法能力提高班
CLIP-图文预训练模型
//github.com/openai/CLIP ---- Abstract 连接文本和图像的预训练模型 Contributions zero-shot classification Related Work (2) (3) Downstream inference 在下游任务测试时，有两种使用CLIP的方法。 value, index in zip(values, indices): print(f"{cifar100.classes[index]:>16s}: {100 * value.item():.2f ：以上的数据分析，都是和a linear classifier on top of ResNet-50 features进行比较，大部分的数据集，都有对应的SOTA模型。 前面实验分析发现，模型不能很好的区分cars，species of flowers, 以及variants of aircraft；b. abstract和systematic任务表现不好，比如统计图上
1.1K30编辑于 2023-09-13 - 来自专栏我爱计算机视觉
《CLIP2Video》-腾讯PCG提出CLIP2Video，基于CLIP解决视频文本检索问题，性能SOTA！代码已开源！
▊写在前面 在本文中，作者提出了CLIP2Video网络，以端到端的方式将图像语言预训练模型转换为视频文本检索模型。 论文和代码地址 CLIP2Video: Mastering Video-Text Retrieval via Image CLIP 论文：https://arxiv.org/abs/2106.11097 代码：https://github.com/CryhanFang/CLIP2Video ▊ 2. 基于CLIP捕获的空间语义，本文提出了Clip2Video模型，将图片语言预训练模型转换为视频文本检索，主要通过两个模块：时间差分块（Temporal Difference Block，TDB） 和时间对齐块 为了兼顾这两个方面，作者提出CLIP2Video网络将图像语言预训练模型转换为视频文本检索，该算法基于图像语言预训练模型和两个时间块，捕获了精细时间帧的运动，并在视频和语言之间重新对齐token。
3K40发布于 2021-11-18 - 来自专栏我爱计算机视觉
CLIP2TV：用CLIP和动量蒸馏来做视频文本检索！腾讯提出CLIP2TV，性能SOTA，涨点4.1%！
在本文中，作者提出了CLIP2TV ，旨在探索基于Transformer的方法中关键元素的位置。 实验表明，CLIP2TV在MSR-VTT数据集上达到了52.9@R1，比之前的SOTA结果高出4.1%。 ▊ 1. 论文和代码地址 CLIP2TV: An Empirical Study on Transformer-based Methods for Video-Text Retrieval 论文地址：https 受此启发，作者采用CLIP模型作为多模态编码器，并遵循CLIP4Clip作为基本框架。上图展示了本文的模型结构。 实验结果表明，基于CLIP这样的大规模图像文本Transformer模型为视频文本检索任务提供了一个强大的工具。
1.8K10编辑于 2021-12-02 - 来自专栏开源心路
AI绘画中CLIP文本-图像预训练模型
CLIP 的历史发展 早期背景：在 CLIP 之前，大多数人工智能系统主要关注单一模态的处理。例如，有些模型专注于图像识别，而其他模型则集中于文本分析。 CLIP 的推出：2021 年，OpenAI 推出了 CLIP，这是一个突破性的多模态学习模型。CLIP 通过大规模的图像和文本数据训练，学习理解两者之间的关联。 扩散模型与CLIP 在结合 CLIP 架构时，可以采取以下步骤： 文本编码器：CLIP 的文本编码器可以用来处理文本输入，生成与文本描述相匹配的语义表示。 这个项目已经在多个数据源和计算预算上训练了多个模型，从小规模实验到较大规模实验，包括在如 LAION-400M、LAION-2B 和 DataComp-1B 等数据集上训练的模型。 https://github.com/mlfoundations/open_clip ChineseCLIP 是 OpenAI CLIP 模型的中文版本，它使用了大约2亿的中文图文对进行训练，以实现中文领域的图文特征计算
2.1K10编辑于 2023-12-22 - 来自专栏DeepHub IMBA
文生图的基石CLIP模型的发展综述
CLIP是一种基于对比学习的多模态模型，CLIP的训练数据是文本-图像对：一张图像和它对应的文本描述，这里希望通过对比学习，模型能够学习到文本-图像对的匹配关系。 Open AI在2021年1月份发布的DALL-E和CLIP，这两个都属于结合图像和文本的多模态模型，其中DALL-E是基于文本来生成模型的模型，而CLIP是用文本作为监督信号来训练可迁移的视觉模型。 CLIP 这是OpenAI在21年最早发布的论文，要想理解CLIP，我们需要将缩略词解构为三个组成部分:(1)Contrastive ，(2)Language-Image，(3)Pre-training 虽然OpenAI从未明确指定或共享用于训练原始CLIP模型的数据，但CLIP论文提到该模型是在从互联网收集的4亿对图像-文本上进行训练的。 在过滤后的数据上训练的CLIP模型优于仅在初始高质量数据上训练的模型和在大量未过滤数据上训练的模型。
2.4K10编辑于 2024-04-01 - 来自专栏具身小站
基于场景的AI模型BERT和CLIP选型对比
2. 训练过程：4个步骤 CLIP的训练可以概括为以下流程： 准备数据集 。使用海量的图文配对数据，例如OpenAI收集了4亿个图像-文本对。 编码 。 的固有特性——它源于 初始化偏差 （预训练的单模态模型天然分布不同）和 对比学习的强化作用 2 CLIP与BERT的核心区别 对比维度 BERT CLIP 设计目标 通用文本理解 图文跨模态对齐 训练任务 CLIP的训练方式 CLIP通过 对比学习 训练：让模型学会判断图像和文本是否匹配。这不是生成任务，而是 判别任务 ——判断图文对是真是假。 Stable Diffusion使用CLIP编码文本描述 图像描述生成 结合其他模型生成图像描述 CLIPCap：CLIP + GPT生成图片标题 视觉-语言预训练 作为下游多模态任务的基础 视频理解 如果应用 以中文为主 且对精度要求高 → 考虑国产替代模型 ，如Qwen3-VL-30B、Chinese-CLIP。它们在中文分词、成语理解、文化语境上明显优于原生CLIP。
9910编辑于 2026-03-31 - 来自专栏DeepHub IMBA
CLIP与DINOv2的图像相似度对比
在计算机视觉领域有两个主要的自监督模型:CLIP和DINOv2。CLIP彻底改变了图像理解并且成为图片和文字之间的桥梁，而DINOv2带来了一种新的自监督学习方法。 在本文中，我们将探讨CLIP和DINOv2的优势和它们直接微妙的差别。我们的目标是发现哪些模型在图像相似任务中真正表现出色。 两个模型都可以给出图像的相似性，下面我们来进行深入的研究。 使用COCO数据集进行测试 这里使用来自COCO数据集验证集的图像来比较CLIP和DINOv2产生的结果。 准确率和前三名的准确率 两种模型都正确地预测了图像 所有模型都找不到正确的图像 只有CLIP预测正确的图像，DINOv2的top3 只有DINOv2预测正确的图像 结果分析 DINOv2明显的胜出 CLIP的嵌入维数为512，而DINOv2的嵌入维数为768。所以可能也是差异的原因，但是如果使用更大的CLIP模型，执行的速度应该不会这么快了。
2.5K50编辑于 2023-10-06 - 来自专栏我爱计算机视觉
OpenAI发布CLIP模型快一年了，盘点那些CLIP相关让人印象深刻的工作
在本文中，我们就来盘点一些基于CLIP模型的拓展网络。 ▊ 2、相关工作 2.1. CLIP2TV: An Empirical Study on Transformer-based Methods for Video-Text Retrieval 2.2.1. 论文信息 CLIP2TV: An Empirical Study on Transformer-based Methods for Video-Text Retrieval 论文地址：https:/ 实现方法 本文的模型结构如上图所示，相比于CLIP4Clip，这篇文章采用了动量蒸馏的思想，维护了一个和主体模型一模一样，但是参数通过动量来更新的模型。 因此，作者基于HERO模型，将CLIP的一些组件加入到了HERO模型中，从而达到了显著的性能提升。 2.3.3.
3.1K10编辑于 2022-03-29 - 来自专栏我爱计算机视觉
怎么用图文预训练模型CLIP做视频任务？
目前CLIP也被应用到各个其他场景中，在这篇文章中，我们就来盘点一下，怎么把CLIP这个图文预训练的模型拓展到具有时序信息的视频任务中。 本文主要分为两个部分，第一个部分是介绍一下CLIP的原理和流程，第二部分为介绍，目前基于CLIP的视频模型！ 2 回顾CLIP CLIP的motivation主要有三点： 1）当前的CV数据集标注劳动密集，成本高昂； 2）当前的模型只能胜任一个任务，迁移到新任务上非常困难； 3）当前模型泛化能力较差，很难在新的数据上达到比较好的效果 2）互联网上存在的这些已经标注好的CV数据集数量不仅大而且差异也大，当我们在这样的数据集上训练一个表达能力足够强的模型时，这个模型就能具备较强的泛化能力，较容易迁移到其他新任务上，这缓解了motivation ”中的第2和第3个问题。
3K31编辑于 2021-12-24 - 来自专栏登神长阶
【论文复现】CLIP模型也能处理点云信息
概述 CLIP模型擅长于将图像与广泛的文本描述相匹配，并取得了显著成效。鉴于此，研究者们开始探究：那些在二维图像与文本对大规模预训练中表现优异的模型，是否同样能够适用于三维知识领域。 这一方法有望成为在资源有限和数据稀缺条件下，利用CLIP模型进行高效三维点云解析的一种极具潜力的替代方案。 本文所涉及的所有资源的获取方式：这里 模型结构 模型总览图 PointCLIP模型首先将点云投影到不同视图下，形成M个深度图作为图像信息。之后采用CLIP模型，对图像信息和文本信息进行编码。 点云的投影 为了将点云转换为CLIP可访问的表示，从多个视图生成投影图像，以消除3D和2D之间的差距。 采用残差结构将CLIP的2D知识与适配器新学习的3D少样本知识进行融合，进一步的促进了跨模态的知识转移，同时可以更好的进行视图预测。
60710编辑于 2024-11-24 - 来自专栏用户7873631的专栏
clip-path
200px;position: absolute;left: 0;top: 0;right: 0;bottom: 0;margin: auto; background: black; -webkit-clip-path
60810发布于 2020-10-28 - 来自专栏GiantPandaCV
ICCV 2023：CLIP 驱动的器官分割和肿瘤检测通用模型
在这篇解读中，后文出现的 CLIP embedding 指的是由 CLIP 模型生成的表示文本和图像之间语义关系的特征向量。这些嵌入向量是 CLIP 模型的核心输出之一。 当然，text 也可以进一步加上 prompt，例如下图（2）的 “A photo of [class]”。显然这个过程是一种 zero-shot 迁移。 为了解决这些问题，这篇论文提出了基于 CLIP 学习的文本嵌入的通用模型，将其融入分割模型中。 它们的性能与特定数据集模型相似，并未在官方 benchmark 上进行评估。（2）由于采用了一位有效标签，器官和肿瘤之间的语义关系被丢弃。 k 类的预测计算为 Pk = Sigmoid (((F ∗ θk1) ∗ θk2) ∗ θk3)，其中 θk = {θk1，θk2，θk3} 在文本分支中计算，* 表示卷积。
3.4K80编辑于 2023-09-26 - 来自专栏计算机视觉理论及其实现
tf.clip_by_value( )
tf.clip_by_value的用法：tf.clip_by_value(A, min, max)：输入一个张量A，把A中的每一个元素的值都压缩在min和max之间。 例如：import tensorflow as tf; import numpy as np; A = np.array([[1,1,2,4], [3,4,8,5]]) with tf.Session() as sess: print sess.run(tf.clip_by_value(A, 2, 5)) 运行结果如下：?
2.9K30编辑于 2022-09-04 - 来自专栏AIGC 先锋科技
结合异构图神经网络，HeGraphAdapter 提升 CLIP 模型性能研究 ！
例如，一些工作利用手工艺模板（如“一张{类别}的照片”）或设计可学习文本 Prompt 来微调CLIP模型。然而，这些方法在训练期间通常需要计算文本编码器的梯度，通常导致计算成本高。 2 Related Work 视觉语言模型的调优： 视觉语言模型（VLMs）旨在同时学习视觉和语言表示，通过预训练大规模文本图像对齐数据集。 然后，作者同时构建文本基础和视觉基础的分类器，以全面提高CLIP模型在下游任务上的性能。 假设CLIP模型的视觉编码器将类别为的视觉特征编码为，则文本分类损失的计算如下： 视觉相似性 表示 CLIP 模型中的一个学习温度参数 。 基于视觉的分类器利用一个键值缓存模型通过特征检索来优化 CLIP 模型的分类结果。对于 类和 -shot 任务，作者存储所有训练视觉特征 和相应的 one-hot 标签向量 。
89311编辑于 2024-12-19 - 来自专栏计算机视觉理论及其实现
tf.clip_by_value()
Clips tensor values to a specified min and max.tf.clip_by_value( t, clip_value_min, clip_value_max Any values less than clip_value_min are set to clip_value_min. Any values greater than clip_value_max are set to clip_value_max.Note: clip_value_min needs to be smaller ])B = tf.clip_by_value(A, clip_value_min=0, clip_value_max=3) # [[1, 3, 3],[3, 3, 3]]C = tf.clip_by_value (A, clip_value_min=0., clip_value_max=3.) # throws `TypeError`as input and clip_values are of different
1.1K10编辑于 2022-09-03 - 来自专栏AIGC 先锋科技
加州大学通过知识提炼增强CLIP概念的渗透，从 CLIP 到 KnowledgeCLIP 大语言模型赋能视觉语言融合 ！
近年来，CLIP 成为了多模态环境中对齐图像和文本的重要模型。然而，研究行人发现，CLIP 的文本编码器和图像编码器在从配对的描述和图像中提取详细知识方面存在局限性。 首先，在文本嵌入蒸馏过程中，训练 Knowledge-CLIP 的文本编码器以模仿教师模型 Llama 2。 首先，作者将关注从大语言模型中提取知识蒸馏（KD），例如Llama 2（Touvron等，2023），旨在提升CLIP文本编码器的质量。 表2的结果显示，这种设置在AWA2和CUB上对Knowledge-CLIP略有益处，在这些情况下，作者的模型能够比CLIP模型稍微更好地学习到概念性的图像特征，但也请注意，这种性能提升并不明显。 CLIP这种多模态视觉语言模型的整体质量。作者的方法利用了一个大语言模型Llama 2来指导图像编码器和文本编码器。
57810编辑于 2025-01-14 - 来自专栏纯情博客
DanbooruCLIP——二次元数据集微调的 CLIP 模型
DanbooruCLIP——二次元数据集微调的 CLIP 模型 介绍 Huggingface 在线体验： https://huggingface.co/OysterQAQ/DanbooruCLIP github 主仓库地址（ pt 模型文件可以在 release 下载）： https://github.com/OysterQAQ/ACG2vec 使用 danburoo2021 数据集对 clip （ ViT-L /14 ）模型进行微调。 text_2 = clip.tokenize(texts=caption_2, truncate=True) # 处理逻辑 yield img, text_2[0] 预览 二次元数据集微调的 CLIP 模型1 二次元数据集微调的 CLIP 模型2
1.3K40编辑于 2023-05-20 - 来自专栏我爱计算机视觉
CLIP再创辉煌！西南交大&MSRA提出CLIP4Clip，进行端到端的视频文本检索！
2） 基于CLIP的大规模视频文本数据集的后预训练如何影响性能？ 3） 对视频帧之间的时间依赖性建模的实用机制是什么？ 4） 该模型对视频文本检索任务的超参数敏感性。 /abs/2104.08860 代码：https://github.com/ArrowLuo/CLIP4Clip ▊ 2. 2） 在CLIP4Clip模型上对大规模视频文本数据集进行后预训练是必需的，并且可以提高性能，特别是对于大幅度的零样本预测。 本文的模型是一种端到端方式（E2E），通过将帧作为输入直接对像素进行训练。上图展示了本文的框架，它主要包含一个文本编码器 、一个视频编码器 和一个相似性计算模块 。 4.5. 2D/3D Patch Linear 从上表可以看出，3D linear在MSR-VTT和MSVD上生成的结果都比2D linear差。 ▊ 5.
2.9K40发布于 2021-11-18 - 来自专栏计算机视觉理论及其实现
clip_gradient_norms()
def clip_gradient_norms(gradients_to_variables, max_norm): clipped_grads_and_vars = [] for grad, var gradients_to_variables: if grad is not None: if isinstance(grad, ops.IndexedSlices): tmp = clip_ops.clip_by_norm max_norm) grad = ops.IndexedSlices(tmp, grad.indices, grad.dense_shape) else: grad = clip_ops.clip_by_norm
1.2K20编辑于 2022-09-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号