- 综合排序
- 最热优先
- 最新优先
- 来自专栏贾志刚-OpenCV学堂
DINOv3视觉基础大模型正式发布！
Meta 宣布发布 DINOv3，这是一个前沿的自监督视觉基础模型，在广泛的计算机视觉任务中实现了前所未有的性能。 随着 DINOv3 的发布，我们在密集任务上显著超过了弱监督模型，通过最佳类别的 WSL 模型的相对性能来展示（b）。 DINOv3 能够生成高分辨率、密集的特征图，从而推动图像分类、语义分割和目标检测方面的卓越性能。即使在未经微调的情况下，它也能始终如一地超越专用模型，在广泛的视觉任务中展现出最先进的结果。 DINOv3模型家族 通过 DINOv3，我们显著改善了密集特征图的退化问题，这要归功于 Gram anchoring。随着 SSL 导致的训练模型规模扩大，结果是显着的性能提升。 因此，我们提出了 DINOv3 视觉模型家族，这是一套全面的设计，旨在解决广泛的计算机视觉挑战。 该模型家族旨在通过提供可扩展的解决方案来推进最先进的技术，这些解决方案适应不同的资源限制和部署场景。
1.4K10编辑于 2026-04-02 视觉决策模型来了，机器视觉要变天？
从Jev1.14到开源视觉决策模型，我开始重新思考机器视觉的未来。最近看到一条AI新闻，让我确实有些兴奋。 如果要使用它，就得先让视觉模型把图片转成文字，再由Jev进行判断。虽然理论上可行，但相当于同时运行两个模型，增加了调用链路，也存在视觉信息在文字描述中丢失的风险。 现在，视觉决策模型提供了第三种值得研究的选择。它尝试结合视觉理解能力与结构化决策能力。对于一些原本需要VLM生成文字才能完成的判断，未来可能通过一次模型推理就得到明确的分类和概率结果。 视觉决策模型能否实现类似的实时性，还需要考虑图像编码、推理延迟、吞吐量和实际检测效果。但至少现在，我们不必再把视觉业务完全局限在传统目标检测和生成式视觉大模型这两条技术路线上。 因此，我认为未来比较理想的架构，可能不是单纯依赖某一种模型，而是让不同模型承担不同的工作：目标检测模型负责快速寻找明确目标；视觉决策模型负责高频判断；复杂的视觉语言模型负责疑难场景分析；业务规则系统负责最终的告警与处置
15010编辑于 2026-10-16- 来自专栏AIGC 先锋科技
Lexicon3D: 探索复杂3D场景理解的视觉基础模型 ！
为了应对这个问题，作者提出了一项综合研究，探究各种视觉编码模型在3D场景理解方面的优劣，并找出每个模型在不同场景下的优势和局限性。 作者的评估涵盖了七个视觉基础编码器，包括基于图像的、基于视频的和3D基础模型。作者将这些模型在四个任务上进行评估：视觉语言场景推理、视觉定位、分割和配准，每个任务都专注于场景理解的不同方面。 首先，考虑到大多数视觉基础模型是针对图像或视频数据的训练，作者想知道2D基础模型是否可以有效地解释3D场景。 为了回答这些问题，作者设计了一个统一的范式，从不同角度系统地探究图像、视频和基于3D的基础模型在复杂3D场景理解中的视觉编码模型。作者的评估涵盖了7种视觉基础模型，如图1所示。 作者将作者的工作命名为 _Lexicon3D_，这是一种统一的检测架构和作者对视觉基础模型在3D场景理解进行的第一的综合评估。
78910编辑于 2024-09-13 - 来自专栏hotarugaliの技术分享
3D视觉
简介 随着自动驾驶、AR & VR 等技术的发展，3D 视觉的研究正方兴未艾。 目前 3D 视觉的两个主要问题是： 从一张 2D 图像预测得到 3D 表示 处理 3D 表示数据来实现下游任务（分类、检测、分割等） 2. 3D 表示 目前 3D 视觉表示主要有 555 种方法：深度图 Eigen 等人提出的神经网络结构如下： image.png 2.1.2 RGB + Surface Normal 另一种类似表示 3D 视觉信息的方法是对 RGB 图像中的每个像素，给出其所在物体表面的法向量 image.png Eigen 等人[2]在第二年又提出了从 RGB 图像预测 Depth Map、Surface Normal 和 Semantic Label 的统一神经网络模型，其结构如下图所示： 如果使用该模型来预测 Surface Normal，则给出的损失函数为： Lnormal(N,N∗)=−1n∑iNi⋅Ni∗(3)L_{\mathrm{normal}}(N, N^*) = -\frac
1.8K20编辑于 2022-05-27 - 来自专栏深度学习和计算机视觉
视觉词袋模型简介
简介 视觉单词袋是一种描述计算图像之间相似度的技术。常用于用于图像分类当中。该方法起源于文本检索（信息检索），是对NLP“单词袋”算法的扩展。 在“视觉单词袋”中，我们的输入是图像而不是文本文档，并且我们使用视觉单词来描述图像。 ? 文字文档袋 ? 图像视觉词袋 ? 视觉单词 在BovW中，我们将图像分解为一组独立的特征，特征由关键点和描述符组成，关键点与兴趣点是同一件事。它们某些是空间位置或图像中的点，这些位置定义了图像中的突出部分。 每个聚类的中心（质心）都充当一个视觉单词，所有这些K组的重心构成了我们的字典。 ? K均值聚类 03. 直方图的创建 ? 检测视觉单词 现在我们将创建一个（N，K）的二维数组，我们将在接下来的几行中看到如何填充此数组。
1.9K10发布于 2021-01-06 - 来自专栏机器人小农
机器人视觉3
随着技术的发展，3D相机的使用越来越频繁，当然如果价格亲民点、再亲民点，那将得到更多的使用。 今天我们就来说说3D相机和机器人之间那些思维。 往往3D相机是标定工具的，因此相机给出的位置信息对于机器人来说相当于绝对坐标值，就是说相机给了这个产品的位置信息，机器人拿到就直接执行这个位置就可以了。 首先我们来了解一下3D相机的原理： 3D相机是通过“激光”扫描得到镜头下物体轮廓的点云，并且计算出预先设置好的特征，并且计算出机器人tcp的位置 由此看来相机需要知道机器人的base坐标系位置，tcp
82210编辑于 2022-06-29 - 来自专栏大模型应用
大模型应用：轻量化视觉语言模型（VLM）：基于多模态视觉大模型实践.87
一、前言 随着大模型技术从单一文本交互迈向多模态智能时代，视觉语言模型（VLM）已成为连接图像感知与语言理解的关键载体。 超紧凑视觉语言模型的出现，正是大模型技术走向普惠化、轻量化与端侧化的重要突破。 消息格式构造：将图片数据和文本问题封装为标准化的数据结构，标识不同模态类型，为模型处理做好准备。3. 视觉编码器：采用轻量化视觉模型（如MobileNet、TinyViT）将原始像素压缩为固定维度的视觉特征向量，保留关键语义信息，同时控制计算开销。5. # -------------- 3.
1.3K22编辑于 2026-04-25 - 来自专栏TechBlog
通用视觉框架OpenMMLab图像分类与基础视觉模型
hat{X}) 传统方法：设计图像特征(1990s~2000s) 特征工程的天花板 在ImageNet 图像识别挑战赛里，2010 和2011 年的冠军队伍都使用了经典的视觉方法，基于手工设计的特征+ 从特征工程到特征学习 层次化特征的实现方式 AlexNet 的诞生& 深度学习时代的开始 在2012 年的竞赛中，来自多伦多大学的团队首次使用深度学习方法，一举将错误率降低至15.3% ，而传统视觉算法的性能已经达到瓶颈 ：基于标注数据学习 • 损失函数 • 随机梯度下降算法 • 视觉模型常用训练技巧 • 自监督学习：基于无标注的数据学习 AlexNet (2012) 第一个成功实现大规模图像的模型，在ImageNet 1 层5×5 的卷积与2 层3×3 的卷积有同样的感受野 网络层数：11、13、16、19 层 3×3 卷积配合1 像素的边界填充，维持空间分辨率 每隔几层倍增通道数、减半分辨率，生成1/2、1/4 ResNet-50 3/4/6/3 94.8% / 76.6% ResNet-101 3/4/23/3 95.4% / 78.0% ResNet-152 3/8/36/3 95.5% / 78.5% ResNet
1.2K20编辑于 2023-02-24 混元视觉模型跻身全球Top3，国内排名第1
混元视觉理解最新的模型Hunyuan-Vision-1.5-Thinking在今天凌晨发布的国际大模型竞技场 LMArenaVision 赛道排行榜表现抢眼，拿下全球Top3，国内第1的好成绩。 10月5日发布的LMArena图像生成榜单中，混元图像 3.0 居第一位，超过nano-banana等顶尖闭源模型。此前，混元也有多个模型在榜单上取得Top3级别的成绩。 同时，模型在更高级的任务如视觉推理和3D空间理解，也有比较好的表现。 一起来看看几个案例：1、 多模态理解：让模型识别图片中的物体2、 多语言支持：直接通过西班牙语提问，让模型识别英文图表3、 深度思考：通过多轮思考和推理，拆分问题，一步步接近正确答案Hunyuan-Vision mode=direct混元视觉模型家族拥有多个不同特点的模型，此前已经推出混元T1-Vision、混元TurboS-Vision和混元Large-Vision等多个模型，视觉信息理解是大模型走向通用不可或缺的一环
1.3K10编辑于 2025-10-10- 来自专栏不二小段
视频模型的 GPT-3 时刻：谷歌 Veo 3 正在重新定义计算机视觉
这篇论文也许能够说明，计算机视觉领域可能正在迎来它的「GPT-3 时刻」。 大家可能还记得几年前，NLP 领域的 GPT-3 时刻。 结论是，Veo 3 确实展现出了惊人的、跨领域的零样本解决视觉问题的能力。 今天，我们就来深入解读一下这篇论文，看看视频模型是如何从简单的「像素生成器」，一步步走向「视觉世界通用理解者」的。 视觉智能的四个层次 为了系统地展示 Veo 3 的能力，研究人员提出了一个视觉智能的层次模型，这个框架也为我们理解视频模型的能力提供了一个清晰的路线图。它分为四个层次，层层递进： 1. 感知 (Perception)：理解视觉信息的基础。 2. 建模 (Modeling)：在感知的基础上，构建对物理世界的认知模型。 3. Veo 3 能够保持场景的一致性，证明它在内部维持着一个动态更新的世界模型。 3. 操作：成为一个全能的视觉编辑器 有了对世界的感知和建模能力，模型自然就学会了如何「操作」这个世界。
30210编辑于 2026-04-09 - 来自专栏人工智能
什么是视觉语言基础模型？
本文就来聊聊这个视觉语言基础模型。Vision-Language Foundation Model 是一类能够同时处理视觉和语言信息的人工智能模型。 什么是视觉语言基础模型视觉语言基础模型是一种能够理解和生成视觉与语言信息的多模态人工智能模型。 其生成效果展示了视觉和语言模型在创意任务中的潜力。案例 3：视觉问答（Visual Question Answering, VQA）视觉问答是一项典型的多模态任务。 这种任务通常采用视觉语言基础模型如 Flamingo，该模型通过跨模态注意力机制，将视觉和语言信息深度融合，从而实现精准回答。 更强的生成能力：提升文本到图像生成模型的质量和可控性。总结视觉语言基础模型通过整合视觉和语言信息，为多模态任务提供了强大的技术支持。
60400编辑于 2025-01-01 supervision如何整理视觉模型输出
先给结论：它解决的不是训练模型，而是视觉应用里反复重写的胶水层roboflow/supervision是Roboflow维护的Python计算机视觉工具库，README对它的定位是“essentialtoolkitforcomputervision 它的关键对象是可复用视觉组件，例如数据加载、检测结果结构、标注绘制、数据集处理、区域计数和模型输出后处理，而不是替开发者完成模型训练。 短期最适合已经有视觉模型和样例图片、但后处理脚本混乱的开发者；如果你还没有确定模型、输入数据和验收口径，先不要把它当成完整视觉应用框架。 是否值得放进日常：看它能不能减少模型切换成本对AI工具和开发者工作流读者来说，supervision的价值不在“又多一个视觉库”，而在它能否让视觉项目从“每个模型一套脚本”变成“模型可换，后处理接口尽量稳定 试用时重点看3个指标：detections输出结构是否稳定，20张真实样例的异常率和耗时是否可接受，替换一段旧后处理脚本后代码是否明显减少模型私有字段依赖。
38620编辑于 2026-07-01- 来自专栏AI工程落地
VLM视觉模型处理过程
window attention以Qwen2.5 VL 3B为例，patch_size=14，输入图像按照14 * 14划分成多个patch块。 对于尺寸为(H * W)的图像，视觉token数为：N = (H/14) * (W/14)如果直接做Attention注意力计算，时间复杂度为：O(N^2)。 ：qwen2.5 VL 3B视觉模型中，7、15、23、31层是full attention，所有图片token一起做注意力计算。 Qwen3 VLpatch_size是16，输入两张图片，第一张是800 * 800，共有(800/16) * (800/16) = 2500个图片token，第二张是639 * 429，共有(639/ INFO 02-05 17:02:54 [qwen3_
69911编辑于 2026-02-09 - 来自专栏流川疯编写程序的艺术
机器视觉3——电磁波
通过以上图我们可以看出，正弦波上的点和圆上的点相对应，我们假想圆是一个时钟的表盘，那么指针每走的一步都会相应体现在正弦波的前进起伏上。
90250发布于 2019-07-03 - 来自专栏云深之无迹
巴塞罗那自治大学.3D视觉课件.3
巴塞罗那自治大学，3D视觉课件.1 巴塞罗那自治大学.3D视觉课件.2 我还是一句话，自己推导一些这些定理，过了理论关，再去看代码实现，永远都是那么割裂，这不是一个学习的好法子。
55520编辑于 2022-11-29 - 来自专栏一点人工一点智能
小白系列（3）| 计算机视觉之直接视觉跟踪
首先，我们将介绍几种视觉跟踪方法。然后，我们将解释如何对它们进行分类。我们还将讨论直接视觉跟踪的基本内容，特别关注基于区域的方法和基于梯度的方法。 目录： 视觉跟踪简介 对视觉跟踪方法进行分类 基于区域的跟踪方法 基于梯度的方法 总结 01 视觉跟踪 视觉跟踪，也称为目标跟踪或视频跟踪，是使用视觉信息估计场景中目标对象的轨迹的问题。 视觉信息可以来自不同的成像源。我们可以使用光学相机、热像仪、超声波、X 射线或磁共振等。 以下是最常见的成像设备列表： 此外，视觉跟踪是一个非常受欢迎的话题，因为它在各种各样的问题中都有应用。 02 视觉跟踪方法的分类 视觉跟踪方法可以根据以下主要组成部分进行分类： 现在，让我们更详细地看一下这些组件。 2.2 外观模型（The appearance model） 以上，我们看了表示我们目标的几种方法。现在让我们看看如何对其外观进行建模。外观模型背后的想法是根据可用的视觉信息描述目标对象。
1.2K20编辑于 2022-12-27 - 来自专栏贾志刚-OpenCV学堂
DINOv3 ViT | 新一代视觉基础模型 架构与应用综述
DINOv3 ViT 架构 DINOv3 ViT 是一个自监督Transformer模型，可为广泛应用生成稳定、可迁移的密集视觉特征图。 DINOv3 ViT 是在自监督学习范式下开发的一系列视觉Transformer模型，旨在为各种下游任务生成鲁棒、可迁移的密集视觉特征。 这些骨干网络提供多种规模和参数预训练模型，DINOv3 的决定性转变在于其专注于高度通用、非任务特定的预训练，使其能够即插即用地集成到众多视觉流程中，且通常无需微调。 架构、骨干网络和配置 DINOv3 提供多种Transformer模型规格，以适应不同的任务规模和资源限制，这些规格由层深度 L、嵌入向量维度 d 和注意力头数 H 定义。 未来探索： 更大的 DINOv3 变体、特定领域的自监督预训练、更高秩的适配以及进一步的多模态对齐，被认为是扩展其应用前景的有希望的方向 DINOv3 ViT 为视觉基础模型在空间和密集任务上树立了新的参考标准
84710编辑于 2026-06-24 第13章 大模型在计算机视觉上的测试应用-3
这些提示用于引导视频生成模型产生特定的输出。 (3) 生成视频（Generated Videos）：使用一组视频生成模型，根据提示套件生成视频。这些视频将用于后续的评估和比较。 这个预测器通过深度学习模型来分析视觉内容，并给出一个审美评分，这个评分反映了多个美学维度，LAION审美预测器可以自动地为视频帧打分，帮助评估视频生成模型在生成具有艺术感和视觉吸引力内容方面的能力。 GRiT是一种用于视觉识别和描述的深度学习模型，它能够识别图像中的物体，并生成描述这些物体的文本。GRiT模型的设计使得它能够处理多种视觉任务，包括但不限于目标检测、图像描述和视觉问答。 Tag2Text是一种用于图像或视频内容描述的深度学习模型，它能够将视觉内容转换为文本描述。这种模型通常基于视觉-语言预训练技术，能够识别图像或视频中的元素，并生成相应的描述性文本。 大模型的技术更新速度令人瞩目，从2018年的GPT-1到2020年的GPT-3，模型的参数量从1.1亿个增长到了1750亿个，2年的时间内增长了1000多倍。
1.1K10编辑于 2025-04-15- 来自专栏点云PCL
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
第二部分重点介绍了Visual SLAM，包括相机传感器，不同稠密SLAM的开源视觉SLAM系统。 第三部分介绍视觉惯性里程法SLAM，视觉SLAM中的深度学习以及未来。 第四部分中，将介绍激光雷达与视觉的融合。 视觉SLAM的稳定性是一项技术挑战。因为基于单目的视觉SLAM需要初始化、尺度的不确定性和尺度漂移等问题[1]。 针对以上这些问题传感器的融合方案逐渐流行起来，IMU与相机融合的视觉里程计成为研究热点。 视觉与惯导 论文[2][3][4]是比较早期对VIO进行的一些研究。 论文[29]提出了融合3D形状、位置和语义标签的信息SLAM方案。 cube SLAM（Monocular）是一个基于立方体模型的三维目标检测与SLAM系统[30]。 Pix3D[37]从单个图像研究三维形状建模。 scan complete[38]是一种数据驱动的方法，它以场景的不完全三维扫描作为输入，并预测一个完整的三维模型以及每个体素的语义标签。
3.6K22发布于 2020-05-19 - 来自专栏DeepHub IMBA
DINOv3上手指南：改变视觉模型使用方式，一个模型搞定分割、检测、深度估计
DINOv3是Meta推出的自监督视觉骨干网络，最大的亮点是你可以把整个backbone冻住不动，只训练一个很小的任务头就能在各种密集预测任务上拿到SOTA结果。 这对实际工程应用来说意义重大，因为大部分时候我们并不想重新训练一个几十亿参数的模型。 为什么现在要关注DINOv3 首先是训练数据的规模优势。 这在以前是很难想象的，通常你都需要微调整个模型。 另外，DINOv3作者还证明了同一个backbone可以在完全不同的领域都work，而且是在不做任何微调的情况下就能超过那些专门为某个任务设计的解决方案。这基本上实现了"一个模型走天下"的理想。 如果输入图像尺寸不是16的倍数，DINOv3会裁剪到最接近的较小倍数。但对于需要保留细节的密集任务，你可以更愿意在预处理时做padding而不是让模型自动裁剪。
2.8K10编辑于 2025-11-15
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号