- 综合排序
- 最热优先
- 最新优先
视觉决策模型来了，机器视觉要变天？
从Jev1.14到开源视觉决策模型，我开始重新思考机器视觉的未来。最近看到一条AI新闻，让我确实有些兴奋。 一个月巨变二、短短一个月，视觉决策模型已经开始出现Jev于今年9月引起广泛关注，到了10月14日，TypeSafe就正式公布了图像输入能力。 其中，Clef-Flash只有9B参数，基于Qwen3.5-9B，支持图像输入、结构化问题和直接输出概率，并且开放了模型权重。 视觉决策模型能否实现类似的实时性，还需要考虑图像编码、推理延迟、吞吐量和实际检测效果。但至少现在，我们不必再把视觉业务完全局限在传统目标检测和生成式视觉大模型这两条技术路线上。 而现在，Clef-Flash已经提供了9B参数的开放模型。虽然9B仍然不能算特别小，更不能直接在普通低功耗摄像头上运行，但在一些配备合适GPU的小型服务器和边缘计算设备上，已经具备尝试部署的条件。
14910编辑于 2026-10-16- 来自专栏新智元
9大基准全面领先，性能暴涨10.8%！视觉价值模型VisVM成「图像描述」新宠
新智元报道 编辑：LRST 【新智元导读】视觉价值模型（VisVM）通过「推理时搜索」来提升多模态视觉语言模型的图像描述质量，减少幻觉现象。 实验表明，VisVM能显著提高模型的视觉理解能力，并可通过自我训练进一步提升性能。 在现代多模态视觉语言模型（VLM）的发展中，提高图像描述的准确性和细节丰富性始终是一个挑战。 那么，我们能否同样通过推理时搜索来提升多模态视觉语言模型的响应质量，并减少响应中的幻觉呢？答案是是的。 来自马里兰大学和微软的研究团队提出了视觉价值模型（Vision Value Model, VisVM），通过精确控制搜索过程来显著提高模型在视觉任务中的表现。 研究人员首先评估了使用不同解码方式生成的响应质量，作者从COCO2017数据集中采样了1000个图像，并与llava detailed description 数据集中用于图像描述的9个prompt进行了随机匹配作为测试集用于生成图像藐视
50010编辑于 2025-02-15 9个视觉语言模型工厂实测：Qwen 87.9%碾压全场，你的显卡能跑哪个？
同一批图片、同一条prompt、未裁剪的真实工厂环境——奥地利克拉根福大学团队在双臂机器人纺织回收系统上硬测了9个VLM。结果：Qwen包揽前四，35b小模型打平235b大模型，Llama全线溃败。 先看结果223张机器人实拍图，9个模型，5个家族，统一评判标准——排名如下：截至目前，该项目已经获得了 2200+ Star 和 287 Fork，由前 Arcee AI 机器学习研究工程师 Prince 传统检测模型（YOLO、RT-DETR）只能识别训练过的类别。遇到没见过的东西，要么无视，要么乱分类——绝不会告诉你"这个我不认识"。VLM（视觉语言模型）不同：你用自然语言告诉它"桌上有没有衣服？ 视觉不一定看得出来——衣物颜色可能和背景接近，或者手指挡住了视线。团队用了自研的CapTac电容式触觉指尖传感器。原理是通过电容值变化检测法向力和剪切力。 这比纯视觉判断可靠得多。论文中提到，整个实验过程中没有出现"以为抓到了其实没抓到"导致检测台空置的情况。甩动+拖拽展平："物理世界的数据预处理"这是我觉得最有意思的设计。
1.4K20编辑于 2026-03-10- 来自专栏Python与算法之美
9，模型的评估
模块中的交叉验证相关方法可以评估模型的泛化能力，能够有效避免过度拟合。 二，分类模型的评估 模型分类效果全部信息： confusion_matrix 混淆矩阵,误差矩阵。 ? 模型整体分类效果： accuracy 正确率。通用分类评估指标。 模型对某种类别的分类效果： precision 精确率，也叫查准率。模型不把正样本标错的能力。“不冤枉一个好人”。 recall 召回率，也叫查全率。模型识别出全部正样本的能力。 三，回归模型的评估 回归模型最常用的评估指标有： r2_score(r方，拟合优度，可决系数) explained_variance_score(解释方差得分) ? ? 留出法 为了解决过拟合问题，常见的方法将数据分为训练集和测试集，用训练集去训练模型的参数，用测试集去测试训练后模型的表现。
1.2K31发布于 2020-07-17 - 来自专栏深度学习和计算机视觉
视觉词袋模型简介
简介 视觉单词袋是一种描述计算图像之间相似度的技术。常用于用于图像分类当中。该方法起源于文本检索（信息检索），是对NLP“单词袋”算法的扩展。 在“视觉单词袋”中，我们的输入是图像而不是文本文档，并且我们使用视觉单词来描述图像。 ? 文字文档袋 ? 图像视觉词袋 ? 视觉单词 在BovW中，我们将图像分解为一组独立的特征，特征由关键点和描述符组成，关键点与兴趣点是同一件事。它们某些是空间位置或图像中的点，这些位置定义了图像中的突出部分。 每个聚类的中心（质心）都充当一个视觉单词，所有这些K组的重心构成了我们的字典。 ? K均值聚类 03. 直方图的创建 ? 检测视觉单词 现在我们将创建一个（N，K）的二维数组，我们将在接下来的几行中看到如何填充此数组。
1.9K10发布于 2021-01-06 - 来自专栏腾讯NEXT学位
9个独特的 CSS 背景视觉效果
CSS颜色混合模型(Blend Mode)视觉效果 CSS的混合模型(Blend Mode)是一个新属性，可以实现Photoshop中的图层的混合模型的效果。 比如下面这个例子就使用CSS的混合模型(Blend Mode)和背景图片实现的一个效果： ? 斜切视觉效果 把背景图片进行一定角度的斜切的视觉效果，在最近这段时间已经风靡设计圈了。在之前要实现这样的效果，可能要做很多额外的事情。 渐变动画视觉效果 如果，运用大量背景图片动画，可能会分散用户的注意力。使用渐变颜色的动画，在一些场景下就不会有这样的问题，因为渐变颜色的动画效果非常的微弱，在视觉上不会造成很大的干扰： ? 滚动模糊视觉效果 滚动模糊这种视觉效果也应用的非常广，特别是当你想使用背景图片吸引用户而且还能让用户在滚动的时候阅读图片上文字的时候，就很适合使用它。
3.1K50发布于 2018-05-14 - 来自专栏大模型应用
大模型应用：轻量化视觉语言模型（VLM）：基于多模态视觉大模型实践.87
一、前言 随着大模型技术从单一文本交互迈向多模态智能时代，视觉语言模型（VLM）已成为连接图像感知与语言理解的关键载体。 超紧凑视觉语言模型的出现，正是大模型技术走向普惠化、轻量化与端侧化的重要突破。 二、核心概念 首先要了解轻量级VLM的本质，我们可以把视觉语言模型（VLM）理解为能看懂图片的聊天机器人，它既具备视觉感知能力，能看懂图片内容，又具备自然语言理解与生成能力，能用文字回答关于图片的问题 而超紧凑、轻量级 VLM（如 Qwen2-VL-2B） 则是这类模型的迷你版：传统的大规模视觉语言模型（VLM）通常参数规模达数十亿甚至数百亿，依赖高性能计算集群才能运行，模型体积动辄数百GB，推理延迟在秒级 视觉编码器：采用轻量化视觉模型（如MobileNet、TinyViT）将原始像素压缩为固定维度的视觉特征向量，保留关键语义信息，同时控制计算开销。5.
1.3K22编辑于 2026-04-25 - 来自专栏TechBlog
通用视觉框架OpenMMLab图像分类与基础视觉模型
hat{X}) 传统方法：设计图像特征(1990s~2000s) 特征工程的天花板 在ImageNet 图像识别挑战赛里，2010 和2011 年的冠军队伍都使用了经典的视觉方法，基于手工设计的特征+ 从特征工程到特征学习 层次化特征的实现方式 AlexNet 的诞生& 深度学习时代的开始 在2012 年的竞赛中，来自多伦多大学的团队首次使用深度学习方法，一举将错误率降低至15.3% ，而传统视觉算法的性能已经达到瓶颈 图像分类的数学表示 模型设计：设计适合图像的 _Θ • 卷积神经网络 • 轻量化卷积神经网络 • 神经结构搜索 • Transformer 模型学习：求解一组好的参数Θ • 监督学习 ：基于标注数据学习 • 损失函数 • 随机梯度下降算法 • 视觉模型常用训练技巧 • 自监督学习：基于无标注的数据学习 AlexNet (2012) 第一个成功实现大规模图像的模型，在ImageNet 猜想：虽然深层网络有潜力达到更高的精度，但常规的优化算法难以找到这个更优的模型。
1.2K20编辑于 2023-02-24 - 来自专栏人工智能
什么是视觉语言基础模型？
本文就来聊聊这个视觉语言基础模型。Vision-Language Foundation Model 是一类能够同时处理视觉和语言信息的人工智能模型。 什么是视觉语言基础模型视觉语言基础模型是一种能够理解和生成视觉与语言信息的多模态人工智能模型。 其目标是建立视觉与语言之间的语义联系，从而使得模型能够处理复杂的跨模态任务。典型的视觉语言基础模型包括 CLIP、DALL·E 和 Flamingo 等。 这种任务通常采用视觉语言基础模型如 Flamingo，该模型通过跨模态注意力机制，将视觉和语言信息深度融合，从而实现精准回答。 更强的生成能力：提升文本到图像生成模型的质量和可控性。总结视觉语言基础模型通过整合视觉和语言信息，为多模态任务提供了强大的技术支持。
60400编辑于 2025-01-01 - 来自专栏AI工程落地
VLM视觉模型处理过程
对于尺寸为(H * W)的图像，视觉token数为：N = (H/14) * (W/14)如果直接做Attention注意力计算，时间复杂度为：O(N^2)。 所以，vision attention只有一个动态值：共有多少个window（结合了图片数和图片大小两个变量）另外，Qwen2.5 VL有一些小参数量模型中，还保留几层full attention，比如 ：qwen2.5 VL 3B视觉模型中，7、15、23、31层是full attention，所有图片token一起做注意力计算。 , dtype=torch.int32), input shape: torch.Size([3540, 1, 1024]) 可以看到模型把两张图片分开 当然两个模型执行的底层代码都一样，相应的代码位置：vllm/vllm/v1/attention/ops/vit_attn_wrappers.py at main · vllm-project/vllm
69911编辑于 2026-02-09 supervision如何整理视觉模型输出
先给结论：它解决的不是训练模型，而是视觉应用里反复重写的胶水层roboflow/supervision是Roboflow维护的Python计算机视觉工具库，README对它的定位是“essentialtoolkitforcomputervision 它的关键对象是可复用视觉组件，例如数据加载、检测结果结构、标注绘制、数据集处理、区域计数和模型输出后处理，而不是替开发者完成模型训练。 短期最适合已经有视觉模型和样例图片、但后处理脚本混乱的开发者；如果你还没有确定模型、输入数据和验收口径，先不要把它当成完整视觉应用框架。 它不是GitHubTrending上那种“今天又出了一个新模型”的项目，而是把视觉应用常用的工具层做成Python包。 是否值得放进日常：看它能不能减少模型切换成本对AI工具和开发者工作流读者来说，supervision的价值不在“又多一个视觉库”，而在它能否让视觉项目从“每个模型一套脚本”变成“模型可换，后处理接口尽量稳定
38620编辑于 2026-07-01- 来自专栏磐创AI技术团队的专栏
使用skimage处理图像数据的9个技巧｜视觉进阶
这有助于我们建立更好、更健壮的机器学习模型。但是当我们处理图像数据时,应该如何进行预处理? 事实证明,在计算机视觉领域(图像、视频等等),预处理是一个至关重要的步骤。 3.使用skimage调整图像大小 计算机视觉的最大挑战之一是,我们需要大量的数据来训练我们的模型。我们收集的数据通常有不同的来源,这可能会导致图像大小有不同的差异。 可以使用具有不同亮度的图像使我们的计算机视觉模型对光照条件的变化具有鲁棒性。 这对于在室外照明下工作的系统(例如,交通信号灯的闭路电视摄像机)非常重要。 9.在skimage中使用滤镜 我们可以使用滤镜(Filters)来修改或增强图像的特征。如果你曾经在社交媒体平台上玩过图像,就会对滤镜非常熟悉。 结尾 祝贺你在计算机视觉领域迈出了第一步!
3.3K60发布于 2019-10-15 - 来自专栏信数据得永生
Python OpenCV3 计算机视觉秘籍：6~9
计算机视觉问题通常需要求解线性方程组。 即使在许多 OpenCV 函数中，这些线性方程也是隐藏的。 可以肯定的是，您将在计算机视觉应用中面对它们。 以下是预期的输出： 用于构造全局图像描述符的 BoW 模型 在本秘籍中，您将学习如何应用词袋（BoW）模型来计算全局图像描述符。 该技术可用于构建机器学习模型以解决图像分类问题。 该函数非常通用，通常用作许多计算机视觉应用的构建块。 针孔相机模型校准 针孔相机模型以及其他模型都是最简单的数学模型，但它可以应用于许多实际的摄影设备。 此秘籍告诉您如何校准相机，例如，找到其固有参数和失真系数。 执行此代码后，您将看到以下图片： 鱼眼镜头模型校准 如果您的相机具有宽广的视角，并因此导致强烈的变形，则需要使用鱼眼镜头模型。 OpenCV 提供了与鱼眼镜头模型一起使用的功能。
3.6K20编辑于 2023-04-27 - 来自专栏友儿
盒模型与视觉格式化模型深度解析
一、盒模型与视觉格式化模型 盒模型：规定单个盒子尺寸和位置的规则。 视觉格式化模型（布局规则）：页面上多个盒子排列的规则。视觉格式化模型大体上将页面中盒子的排列分为三种方式：常规流、浮动、定位。
30610编辑于 2024-08-31 - 来自专栏Python编程和深度学习
BBN：长尾视觉识别模型（CVPR 2020）
如上图所示，计算机视觉识别任务中经常面临长尾数据分布的挑战，即少数类占有多数样本，多数类只有少数样本。 如下图（Figure 2）所示，以左边图为例，先看第1列，即固定表征学习部分的参数（采用交叉熵CE训练得到的），从上往下3行分别表示采用RS、RW、CE训练得到的分类器，其中RS得到的模型效果最好，RS 因此文中认为，表征学习部分应该在数据原有的分布上进行训练，RS和RW这些改进方法只需要加在分类器学习上即可，从而提出了Bilateral-Branch Network (BBN)以提高模型在长尾分布数据上的性能
2.4K20发布于 2020-09-04 - 来自专栏练小习的专栏
视觉格式化模型-控制框
一、块级元素和块框 块级元素是源文档中那些在视觉上被格式化为块（如：段落）的元素。
1.1K90发布于 2017-12-29 - 来自专栏CreateAMind
视觉意识的主动推理模型
具体来说,我们提出了一个基于主动推理的视觉意识的层次化、部分可观察的马尔可夫决策过程(POMDP)模型。 正如我们将要展示的,手头有一个电子实验对象可以让我们证明,在当前关于视觉意识的神经科学研究中,大量不同的发现是如何被大脑功能的第一原理解释的。 接下来,我们转向预期在视觉意识中的作用,并展示我们的模型如何扩展 GNW 理论的原始四向分类法,以包含在逐个试验的基础上操纵先前预期的范式——突出从这种扩展中出现的新预测。 从技术上讲,推理指的是更新关于隐藏状态的信念,而学习对应于更新由上述矩阵指定的生成模型的参数(关于该参数的信念) 2.2 视觉意识的深层时间模型为了模拟有意识和无意识感知之间的差异,我们基于 Pitts 除了解释和统一视觉意识的神经相关文献中不同的发现之外,这里提出的预测性全球神经元工作区模型还产生了几个经验预测和机械神经计算解释,涉及 P3 和主观报告的关系、有意识通路下推理机制的神经生物学实现以及视觉意识中预期的作用
1K20编辑于 2022-04-15 - 来自专栏人工智能
多模态AI与视觉语言模型
CLIP的影响 CLIP证明了大规模对比预训练的有效性，开启了视觉-语言模型的新纪元。 其成功催生了后续众多工作： Stable Diffusion：使用CLIP进行图像-文本对齐 LLaVA：结合CLIP视觉编码器和语言模型 Flamingo：多模态上下文学习 多模态架构设计 早期融合 视觉问答（VQA） 给定图像和自然语言问题，生成答案。 应用场景包括辅助视觉搜索、教育等。 图像生成（Text-to-Image） 根据文本描述生成图像。DALL-E、Midjourney、Stable Diffusion等模型展现出惊人的创造力。 通过CLIP等模型的实践，我们看到跨模态理解不仅可行，而且效果惊人。从零样本分类到图像生成，从视觉问答到多模态对话，多模态技术正在不断拓展AI的能力边界。
1K10编辑于 2026-01-21 视觉语言模型知识蒸馏方法优化
大型基于Transformer架构的机器学习模型近期在视觉与语言任务中展现出卓越性能。但这类大模型往往因计算速度限制难以实时部署，实际系统通常采用知识蒸馏技术将大模型知识迁移至更轻量的学生模型。 传统蒸馏方法采用教师与学生模型注意力头一对一对齐的方式，而学生模型为降低复杂度通常会减少注意力头数量。 在AAAI 2024会议上提出的新方法突破了这一限制：将教师模型所有注意力头的知识蒸馏至学生模型全部注意力头中。当学生模型头数少于教师时，单个学生注意力头可编码多个教师头的综合信息。 实验在两个视觉语言模型（VLM）上进行，这些模型将图像和文本映射到同一向量空间，并针对视觉问答、图像描述和基于图像的翻译任务进行微调。新方法在三个任务上均超越现有基线表现。 即使学生模型头数显著少于教师，也能通过加权聚合方式有效保留多维度特征信息。该方法为部署轻量级视觉语言模型提供了新的技术路径，在保持模型效率的同时最大化知识迁移效果。
39200编辑于 2025-08-04- 来自专栏活动
仿生视觉：生物视觉模型在传感器设计中的应用
仿生视觉就是其中之一，通过模拟生物视觉系统的工作原理，设计出具有类似功能的传感器。 本文将介绍仿生视觉技术在传感器设计中的应用，详细探讨其部署过程，并结合实例和代码解释，帮助读者更好地理解和应用这一技术。Ⅰ、项目介绍①. 背景仿生视觉是指受生物视觉系统启发而设计的一种视觉系统。 目标本项目旨在利用仿生视觉技术，设计出一种具有生物视觉特征的传感器，能够模拟生物视觉系统中的特定功能，如运动检测、目标跟踪等，以满足特定的应用需求。③. 发展历程在传感器设计领域，仿生视觉技术的应用旨在模拟生物视觉系统的功能，并将其应用于实际应用场景中。本项目的目标是设计一种具有生物视觉特征的传感器，以满足特定的应用需求，如运动检测和目标跟踪等。 生物学启发设计仿生视觉传感器将更加深入地借鉴生物视觉系统中的设计原理和机制，实现对生物视觉系统更加精细和深入的模拟。
1.1K10编辑于 2024-04-16
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号