- 综合排序
- 最热优先
- 最新优先
视觉决策模型来了，机器视觉要变天？
从Jev1.14到开源视觉决策模型，我开始重新思考机器视觉的未来。最近看到一条AI新闻，让我确实有些兴奋。 如果要使用它，就得先让视觉模型把图片转成文字，再由Jev进行判断。虽然理论上可行，但相当于同时运行两个模型，增加了调用链路，也存在视觉信息在文字描述中丢失的风险。 现在，视觉决策模型提供了第三种值得研究的选择。它尝试结合视觉理解能力与结构化决策能力。对于一些原本需要VLM生成文字才能完成的判断，未来可能通过一次模型推理就得到明确的分类和概率结果。 视觉决策模型能否实现类似的实时性，还需要考虑图像编码、推理延迟、吞吐量和实际检测效果。但至少现在，我们不必再把视觉业务完全局限在传统目标检测和生成式视觉大模型这两条技术路线上。 因此，我认为未来比较理想的架构，可能不是单纯依赖某一种模型，而是让不同模型承担不同的工作：目标检测模型负责快速寻找明确目标；视觉决策模型负责高频判断；复杂的视觉语言模型负责疑难场景分析；业务规则系统负责最终的告警与处置
15310编辑于 2026-10-16- 来自专栏机器之心
教程 | 如何使用Swift在iOS 11中加入原生机器学习视觉模型
选自Hackernoon 机器之心编译 作者：Alex Wulff 参与：侯韵楚、李泽南 随着 WWDC 大会上 iOS 11 的发布，苹果终于推出了原生机器学习和机器视觉框架，由此开启了许多崭新的可能性 它是几年前由 Google 研究人员所创建的经过训练的机器视觉模型。苹果公司新的机器学习 API 使开发人员得以轻松访问 iOS 应用程序中的标准化模型。 苹果公司还凭借 Core ML 模型推出了自己的机器视觉 API，并命名为 Vision。 Vision 包含了许多不同的机器视觉模型，它们可以检测人脸、条形码、文本等多种类型，还为基于图像的 Core ML 模型提供了包装器。其中一些包装器专属于特定类型的模型。 尽情享受模拟器的崭新外观与体验，以及对 iOS 11 的少许预览吧！ 希望我的示例项目对「如何轻松在 iOS 11 中实现机器学习」进行了成功概述。只需拖入一个模型并对结果加以处理，你就离成功不远了！
3.8K50发布于 2018-05-07 - 来自专栏深度学习和计算机视觉
视觉词袋模型简介
简介 视觉单词袋是一种描述计算图像之间相似度的技术。常用于用于图像分类当中。该方法起源于文本检索（信息检索），是对NLP“单词袋”算法的扩展。 在“视觉单词袋”中，我们的输入是图像而不是文本文档，并且我们使用视觉单词来描述图像。 ? 文字文档袋 ? 图像视觉词袋 ? 视觉单词 在BovW中，我们将图像分解为一组独立的特征，特征由关键点和描述符组成，关键点与兴趣点是同一件事。它们某些是空间位置或图像中的点，这些位置定义了图像中的突出部分。 每个聚类的中心（质心）都充当一个视觉单词，所有这些K组的重心构成了我们的字典。 ? K均值聚类 03. 直方图的创建 ? 检测视觉单词 现在我们将创建一个（N，K）的二维数组，我们将在接下来的几行中看到如何填充此数组。
1.9K10发布于 2021-01-06 - 来自专栏大模型应用
大模型应用：轻量化视觉语言模型（VLM）：基于多模态视觉大模型实践.87
一、前言 随着大模型技术从单一文本交互迈向多模态智能时代，视觉语言模型（VLM）已成为连接图像感知与语言理解的关键载体。 超紧凑视觉语言模型的出现，正是大模型技术走向普惠化、轻量化与端侧化的重要突破。 二、核心概念 首先要了解轻量级VLM的本质，我们可以把视觉语言模型（VLM）理解为能看懂图片的聊天机器人，它既具备视觉感知能力，能看懂图片内容，又具备自然语言理解与生成能力，能用文字回答关于图片的问题 而超紧凑、轻量级 VLM（如 Qwen2-VL-2B） 则是这类模型的迷你版：传统的大规模视觉语言模型（VLM）通常参数规模达数十亿甚至数百亿，依赖高性能计算集群才能运行，模型体积动辄数百GB，推理延迟在秒级 视觉编码器：采用轻量化视觉模型（如MobileNet、TinyViT）将原始像素压缩为固定维度的视觉特征向量，保留关键语义信息，同时控制计算开销。5.
1.3K22编辑于 2026-04-25 - 来自专栏TechBlog
通用视觉框架OpenMMLab图像分类与基础视觉模型
hat{X}) 传统方法：设计图像特征(1990s~2000s) 特征工程的天花板 在ImageNet 图像识别挑战赛里，2010 和2011 年的冠军队伍都使用了经典的视觉方法，基于手工设计的特征+ 从特征工程到特征学习 层次化特征的实现方式 AlexNet 的诞生& 深度学习时代的开始 在2012 年的竞赛中，来自多伦多大学的团队首次使用深度学习方法，一举将错误率降低至15.3% ，而传统视觉算法的性能已经达到瓶颈 图像分类的数学表示 模型设计：设计适合图像的 _Θ • 卷积神经网络 • 轻量化卷积神经网络 • 神经结构搜索 • Transformer 模型学习：求解一组好的参数Θ • 监督学习 ：基于标注数据学习 • 损失函数 • 随机梯度下降算法 • 视觉模型常用训练技巧 • 自监督学习：基于无标注的数据学习 AlexNet (2012) 第一个成功实现大规模图像的模型，在ImageNet 1 层5×5 的卷积与2 层3×3 的卷积有同样的感受野 网络层数：11、13、16、19 层 3×3 卷积配合1 像素的边界填充，维持空间分辨率 每隔几层倍增通道数、减半分辨率，生成1/2、1/4
1.2K20编辑于 2023-02-24 - 来自专栏信数据得永生
树莓派计算机视觉编程：11~13
十一、计算机视觉的实际应用 在上一章中，我们研究了计算机视觉中的各种高级概念，例如形态运算和轮廓。 本章是我们在前面各章中学习和展示的所有计算机视觉概念的最终总结。 在本章中，我们将使用我们较早学习的计算机视觉操作来实现一些实际项目。 我们还将学习一些新概念，例如背景减法和光流计算，然后在小型应用中进行演示。 从现在开始，利用从本书实验中获得的知识，我们可以更详细地探索 OpenCV 的图像处理和计算机视觉领域。 我们围绕 OpenCV 库的旅程到此结束。 它实现了许多与计算机视觉相关的算法。 它已经用 C++ 实现，并且可以在 NumPy 数组上运行。 它还具有适用于 Python 3 的简洁接口。 我们可以结合使用各种库的代码来创建具有所需功能的各种计算机视觉应用。 在下一部分中，我们将探索 Jupyter 笔记本。
2.4K10编辑于 2023-04-27 - 来自专栏人工智能
什么是视觉语言基础模型？
本文就来聊聊这个视觉语言基础模型。Vision-Language Foundation Model 是一类能够同时处理视觉和语言信息的人工智能模型。 什么是视觉语言基础模型视觉语言基础模型是一种能够理解和生成视觉与语言信息的多模态人工智能模型。 其目标是建立视觉与语言之间的语义联系，从而使得模型能够处理复杂的跨模态任务。典型的视觉语言基础模型包括 CLIP、DALL·E 和 Flamingo 等。 这种任务通常采用视觉语言基础模型如 Flamingo，该模型通过跨模态注意力机制，将视觉和语言信息深度融合，从而实现精准回答。 更强的生成能力：提升文本到图像生成模型的质量和可控性。总结视觉语言基础模型通过整合视觉和语言信息，为多模态任务提供了强大的技术支持。
60400编辑于 2025-01-01 supervision如何整理视觉模型输出
先给结论：它解决的不是训练模型，而是视觉应用里反复重写的胶水层roboflow/supervision是Roboflow维护的Python计算机视觉工具库，README对它的定位是“essentialtoolkitforcomputervision 它的关键对象是可复用视觉组件，例如数据加载、检测结果结构、标注绘制、数据集处理、区域计数和模型输出后处理，而不是替开发者完成模型训练。 短期最适合已经有视觉模型和样例图片、但后处理脚本混乱的开发者；如果你还没有确定模型、输入数据和验收口径，先不要把它当成完整视觉应用框架。 它不是GitHubTrending上那种“今天又出了一个新模型”的项目，而是把视觉应用常用的工具层做成Python包。 是否值得放进日常：看它能不能减少模型切换成本对AI工具和开发者工作流读者来说，supervision的价值不在“又多一个视觉库”，而在它能否让视觉项目从“每个模型一套脚本”变成“模型可换，后处理接口尽量稳定
38620编辑于 2026-07-01- 来自专栏AI工程落地
VLM视觉模型处理过程
对于尺寸为(H * W)的图像，视觉token数为：N = (H/14) * (W/14)如果直接做Attention注意力计算，时间复杂度为：O(N^2)。 所以，vision attention只有一个动态值：共有多少个window（结合了图片数和图片大小两个变量）另外，Qwen2.5 VL有一些小参数量模型中，还保留几层full attention，比如 ：qwen2.5 VL 3B视觉模型中，7、15、23、31层是full attention，所有图片token一起做注意力计算。 , dtype=torch.int32), input shape: torch.Size([3540, 1, 1024]) 可以看到模型把两张图片分开 当然两个模型执行的底层代码都一样，相应的代码位置：vllm/vllm/v1/attention/ops/vit_attn_wrappers.py at main · vllm-project/vllm
70011编辑于 2026-02-09 - 来自专栏ClearSeve
C++11内存模型
最近看了极客时间——《现代C++实战三十讲》中的内存模型与Atomic一节，感觉对C++的内存模型理解还不是很清楚，看了后面的参考文献以及看了一些好的博客，算是基本了解了，根据参考文献整合一下。 Thread-1: Thread-2: x = 100; // A std::cout << x; // B C++11 C++11的内存模型共有6种，分四类。其中一致性的减弱会伴随着性能的增强。 参考链接 【1】C++11中的内存模型上篇 – 内存模型基础 【2】C++11中的内存模型下篇 – C++11支持的几种内存模型 【3】理解 C++ 的 Memory Order 【4】如何理解 C++ 11 的六种 memory order 【5】《现代C++实战三十讲》中的内存模型与Atomic
1.2K30编辑于 2022-02-11 - 来自专栏友儿
盒模型与视觉格式化模型深度解析
一、盒模型与视觉格式化模型 盒模型：规定单个盒子尺寸和位置的规则。 视觉格式化模型（布局规则）：页面上多个盒子排列的规则。视觉格式化模型大体上将页面中盒子的排列分为三种方式：常规流、浮动、定位。
30610编辑于 2024-08-31 - 来自专栏Python编程和深度学习
BBN：长尾视觉识别模型（CVPR 2020）
如上图所示，计算机视觉识别任务中经常面临长尾数据分布的挑战，即少数类占有多数样本，多数类只有少数样本。 如下图（Figure 2）所示，以左边图为例，先看第1列，即固定表征学习部分的参数（采用交叉熵CE训练得到的），从上往下3行分别表示采用RS、RW、CE训练得到的分类器，其中RS得到的模型效果最好，RS 因此文中认为，表征学习部分应该在数据原有的分布上进行训练，RS和RW这些改进方法只需要加在分类器学习上即可，从而提出了Bilateral-Branch Network (BBN)以提高模型在长尾分布数据上的性能
2.4K20发布于 2020-09-04 - 来自专栏练小习的专栏
视觉格式化模型-控制框
一、块级元素和块框 块级元素是源文档中那些在视觉上被格式化为块（如：段落）的元素。
1.1K90发布于 2017-12-29 - 来自专栏LINUX阅码场
深入理解C11C++11内存模型
个人认为，内存模型表达为“内存顺序模型”可能更加贴切一点。 2011年发布的C11/C++11 ISO Standard为我们带来了memory order的支持， 引用C++11里的一段描述： The memory model means that C++ code C11/C++11使用memory order来描述memory model， 而用来联系memory order的是atomic变量， atomic操作可以用load()和release()语义来描述 C11/C++11内存模型 C/C++11标准中提供了6种memory order，来描述内存模型[6]: enum memory_order { memory_order_relaxed, - Frank Birbacher [ACCU 2017] C++11中的内存模型下篇 - C++11支持的几种内存模型 memory ordering, Gavin's blog c++11 内存模型解读
3.1K30发布于 2020-06-04 - 来自专栏CreateAMind
视觉意识的主动推理模型
具体来说,我们提出了一个基于主动推理的视觉意识的层次化、部分可观察的马尔可夫决策过程(POMDP)模型。 正如我们将要展示的,手头有一个电子实验对象可以让我们证明,在当前关于视觉意识的神经科学研究中,大量不同的发现是如何被大脑功能的第一原理解释的。 接下来,我们转向预期在视觉意识中的作用,并展示我们的模型如何扩展 GNW 理论的原始四向分类法,以包含在逐个试验的基础上操纵先前预期的范式——突出从这种扩展中出现的新预测。 从技术上讲,推理指的是更新关于隐藏状态的信念,而学习对应于更新由上述矩阵指定的生成模型的参数(关于该参数的信念) 2.2 视觉意识的深层时间模型为了模拟有意识和无意识感知之间的差异,我们基于 Pitts 除了解释和统一视觉意识的神经相关文献中不同的发现之外,这里提出的预测性全球神经元工作区模型还产生了几个经验预测和机械神经计算解释,涉及 P3 和主观报告的关系、有意识通路下推理机制的神经生物学实现以及视觉意识中预期的作用
1K20编辑于 2022-04-15 - 来自专栏人工智能
多模态AI与视觉语言模型
CLIP的影响 CLIP证明了大规模对比预训练的有效性，开启了视觉-语言模型的新纪元。 其成功催生了后续众多工作： Stable Diffusion：使用CLIP进行图像-文本对齐 LLaVA：结合CLIP视觉编码器和语言模型 Flamingo：多模态上下文学习 多模态架构设计 早期融合 视觉问答（VQA） 给定图像和自然语言问题，生成答案。 应用场景包括辅助视觉搜索、教育等。 图像生成（Text-to-Image） 根据文本描述生成图像。DALL-E、Midjourney、Stable Diffusion等模型展现出惊人的创造力。 通过CLIP等模型的实践，我们看到跨模态理解不仅可行，而且效果惊人。从零样本分类到图像生成，从视觉问答到多模态对话，多模态技术正在不断拓展AI的能力边界。
1K10编辑于 2026-01-21 视觉语言模型知识蒸馏方法优化
大型基于Transformer架构的机器学习模型近期在视觉与语言任务中展现出卓越性能。但这类大模型往往因计算速度限制难以实时部署，实际系统通常采用知识蒸馏技术将大模型知识迁移至更轻量的学生模型。 传统蒸馏方法采用教师与学生模型注意力头一对一对齐的方式，而学生模型为降低复杂度通常会减少注意力头数量。 在AAAI 2024会议上提出的新方法突破了这一限制：将教师模型所有注意力头的知识蒸馏至学生模型全部注意力头中。当学生模型头数少于教师时，单个学生注意力头可编码多个教师头的综合信息。 实验在两个视觉语言模型（VLM）上进行，这些模型将图像和文本映射到同一向量空间，并针对视觉问答、图像描述和基于图像的翻译任务进行微调。新方法在三个任务上均超越现有基线表现。 即使学生模型头数显著少于教师，也能通过加权聚合方式有效保留多维度特征信息。该方法为部署轻量级视觉语言模型提供了新的技术路径，在保持模型效率的同时最大化知识迁移效果。
39200编辑于 2025-08-04- 来自专栏活动
仿生视觉：生物视觉模型在传感器设计中的应用
仿生视觉就是其中之一，通过模拟生物视觉系统的工作原理，设计出具有类似功能的传感器。 本文将介绍仿生视觉技术在传感器设计中的应用，详细探讨其部署过程，并结合实例和代码解释，帮助读者更好地理解和应用这一技术。Ⅰ、项目介绍①. 背景仿生视觉是指受生物视觉系统启发而设计的一种视觉系统。 目标本项目旨在利用仿生视觉技术，设计出一种具有生物视觉特征的传感器，能够模拟生物视觉系统中的特定功能，如运动检测、目标跟踪等，以满足特定的应用需求。③. 发展历程在传感器设计领域，仿生视觉技术的应用旨在模拟生物视觉系统的功能，并将其应用于实际应用场景中。本项目的目标是设计一种具有生物视觉特征的传感器，以满足特定的应用需求，如运动检测和目标跟踪等。 生物学启发设计仿生视觉传感器将更加深入地借鉴生物视觉系统中的设计原理和机制，实现对生物视觉系统更加精细和深入的模拟。
1.1K10编辑于 2024-04-16 - 来自专栏未来先知
从视觉基础模型到医学图像转换,利用视觉基础模型实现高效跨模态MRI合成 !
CLIP通过在大规模图像文本对上训练，将视觉和文本表示进行对齐，使模型能够学习图像和文本嵌入之间的丰富语义关系。虽然CLIP主要用于图像分类任务，但其跨模态学习能力也使其在医疗背景[9]得到应用。 预训练的图像编码器基于Hiera [10]构建，这是一种分层视觉 Transformer ，用于生成多尺度特征。 与其他视觉 Transformer 不同，Hiera不包含池化层，因此它逐步减小特征的空间大小，使模型能够保留更多的详细空间信息。 作为SAM2中的图像编码器，它已在SA-1B [8]和SA-V [11]数据集上进行训练，这些数据集包含超过100万张图像和50,000个视频，以及1.1亿+个语义 Mask 。 4 Conclusion 作者提出了SAM-I2I框架，用于跨模态MRI合成，通过利用视觉基础模型（SAM2）中编码的知识来实现。
1.2K10编辑于 2024-12-23 - 来自专栏机器之心
大视觉模型方向，计算机视觉顶尖期刊 IJCV 特刊征稿
，在许多视觉计算问题上带来了巨大的突破。 最近我们观察到另一种趋势在社区里受到了广泛的关注和研究，即视觉模型的扩展，从长远来看可能会对该领域产生重大的影响。 具体来说，视觉模型的大小从几千万参数成倍增长到几亿，甚至几十亿，尤其是在 Vision Transformer 出现之后。 此外，训练数据的规模和多样性也随着模型容量的增长而急剧增加，不仅表现在数量上，也表现在形式上（例如结合图像和语言）。 在这里，为了简洁起见，我们将此类模型称为大视觉模型 (Large Vision Models or LVMs)，其中包括单模态视觉模型和多模态视觉模型（例如视觉语言模型）。
95820编辑于 2022-09-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号