- 综合排序
- 最热优先
- 最新优先
视觉决策模型来了，机器视觉要变天？
从Jev1.14到开源视觉决策模型，我开始重新思考机器视觉的未来。最近看到一条AI新闻，让我确实有些兴奋。 如果要使用它，就得先让视觉模型把图片转成文字，再由Jev进行判断。虽然理论上可行，但相当于同时运行两个模型，增加了调用链路，也存在视觉信息在文字描述中丢失的风险。 视觉决策模型能否实现类似的实时性，还需要考虑图像编码、推理延迟、吞吐量和实际检测效果。但至少现在，我们不必再把视觉业务完全局限在传统目标检测和生成式视觉大模型这两条技术路线上。 如果后续这类模型继续向4B、2B，甚至更小的规模发展，同时保持足够好的视觉决策能力，那么应用空间还会进一步打开。 因此，我认为未来比较理想的架构，可能不是单纯依赖某一种模型，而是让不同模型承担不同的工作：目标检测模型负责快速寻找明确目标；视觉决策模型负责高频判断；复杂的视觉语言模型负责疑难场景分析；业务规则系统负责最终的告警与处置
14910编辑于 2026-10-16- 来自专栏DeepHub IMBA
视觉大模型DINOv2:自我监督学习的新领域
DINO 的底层是 Vision Transformer (ViT) 架构，该设计从自然语言处理 (NLP) 中的转换器模型中汲取灵感，并将其应用于视觉数据。 这些精心策划的图像提供了广泛的定义良好的视觉数据，有助于模型的学习。 未经整理的数据集来源于公开可用的网络抓取数据。 在模型训练方面，使用了A100-40GB的GPU，花了22k GPU小时来训练dinov2g模型。 在像 DINOv2 这样的模型学习的特征的上下文中，这应该是对应于模型已经学会识别的最重要的视觉特征。例如，它可能对应于高级特征（例如某些对象的存在）或低级特征（例如边缘、颜色或纹理）。 SAM 是一个可以通过提示专注于对不同分割任务的零样本泛化系统，而 DINOv2 使用简单的线性分类器可以在分割以外的任务中取得很好的结果。如果能够将这两个模型合在一起将是计算机视觉领域的重大飞跃。
3.9K10编辑于 2023-08-28 - 来自专栏深度学习和计算机视觉
视觉词袋模型简介
简介 视觉单词袋是一种描述计算图像之间相似度的技术。常用于用于图像分类当中。该方法起源于文本检索（信息检索），是对NLP“单词袋”算法的扩展。 在“视觉单词袋”中，我们的输入是图像而不是文本文档，并且我们使用视觉单词来描述图像。 ? 文字文档袋 ? 图像视觉词袋 ? 视觉单词 在BovW中，我们将图像分解为一组独立的特征，特征由关键点和描述符组成，关键点与兴趣点是同一件事。它们某些是空间位置或图像中的点，这些位置定义了图像中的突出部分。 每个聚类的中心（质心）都充当一个视觉单词，所有这些K组的重心构成了我们的字典。 ? K均值聚类 03. 直方图的创建 ? 检测视觉单词 现在我们将创建一个（N，K）的二维数组，我们将在接下来的几行中看到如何填充此数组。
1.9K10发布于 2021-01-06 小红书团队开源FireRed-OCR：2B模型攻克视觉语言模型“结构幻觉”
这是一项将通用大型视觉语言模型转化为像素级工业OCR（光学字符识别）专家的全新技术框架。相关模型权重与完整代码已在GitHub及开源平台全面上线。 Model:https://modelscope.cn/models/FireRedTeam/FireRed-OCR%E2%80%A6Demo：https://modelscope.cn/studios /FireRedTeam/FireRed-OCR%E2%80%A6GitHub:https://github.com/FireRedTeam/FireRed-OCRTechnicalreport：https ://github.com/FireRedTeam/FireRed-OCR/blob/main/assets/FireRed_OCR_Technical_Report.pdf测试数据显示，参数量仅为2B 这一表现不仅大幅超越DeepSeek-OCR2等专用的端到端OCR系统，更在复杂表格结构解析与空间位置推理任务上，跨越量级击败了数百亿参数的各类通用智能体与旗舰大模型。
76210编辑于 2026-03-03- 来自专栏点云PCL
SLAM综述(2)-视觉SLAM
视觉传感器的产品和公司 •Microsoft：Kinectc v1（结构化轻型），Kinect v2（TOF）， Azure Kinect（带有麦克风和IMU）。 ? •SVO：（单目相机）是半直接视觉Odoemtry [28]。它使用基于稀疏模型的图像对齐来获得更快的速度。该更新版本扩展到了多个相机，包括鱼眼镜头和折反射相机。 稠密的视觉 SLAM •DTAM：它（单目）可以基于在新颖的非凸优化框架中使全局空间正则化的能量函数最小化的基础上实时重建3D模型，这称为直接方法[34]。 •DVO：它（RGB-D）提出了一种密集的视觉SLAM方法，一种基于熵的相似度度量用于关键帧选择和基于g2o框架的闭环检测[36]。 •RGBD-SLAM-V2：利用（RGB-D）深度相机即可重建准确的3D密集模型[37]。 •Kintinuous：它（RGB-D）是一种视觉SLAM系统，具有实时全局一致的点和网格重构[38]。
2.1K22发布于 2020-10-26 - 来自专栏大模型应用
大模型应用：轻量化视觉语言模型（VLM）：基于多模态视觉大模型实践.87
超紧凑视觉语言模型的出现，正是大模型技术走向普惠化、轻量化与端侧化的重要突破。 以Qwen2‑VL‑2B为代表的轻量级 VLM，依托大模型的预训练知识与对齐能力，将复杂的视觉理解与语言生成能力浓缩为可在个人电脑上运行的紧凑模型，为多模态AI打开了全新的应用空间。 而超紧凑、轻量级 VLM（如 Qwen2-VL-2B） 则是这类模型的迷你版：传统的大规模视觉语言模型（VLM）通常参数规模达数十亿甚至数百亿，依赖高性能计算集群才能运行，模型体积动辄数百GB，推理延迟在秒级 -VL-2B 采用精简版 ViT（视觉 Transformer），裁剪网络层数、压缩特征维度，仅保留核心的图像特征提取能力，避免冗余计算；语言解码器：基于 Qwen2-2B 轻量级大模型，减少Transformer ：Qwen2-VL-2B 将输入图片缩放至 448×448（而非大模型的 768×768），减少像素级计算；提取的视觉特征维度从 1024 压缩至 512，降低后续融合计算量；聊天模板标准化：Qwen2
1.3K22编辑于 2026-04-25 - 来自专栏TechBlog
通用视觉框架OpenMMLab图像分类与基础视觉模型
hat{X}) 传统方法：设计图像特征(1990s~2000s) 特征工程的天花板 在ImageNet 图像识别挑战赛里，2010 和2011 年的冠军队伍都使用了经典的视觉方法，基于手工设计的特征+ 从特征工程到特征学习 层次化特征的实现方式 AlexNet 的诞生& 深度学习时代的开始 在2012 年的竞赛中，来自多伦多大学的团队首次使用深度学习方法，一举将错误率降低至15.3% ，而传统视觉算法的性能已经达到瓶颈 ：基于标注数据学习 • 损失函数 • 随机梯度下降算法 • 视觉模型常用训练技巧 • 自监督学习：基于无标注的数据学习 AlexNet (2012) 第一个成功实现大规模图像的模型，在ImageNet 1 层5×5 的卷积与2 层3×3 的卷积有同样的感受野 网络层数：11、13、16、19 层 3×3 卷积配合1 像素的边界填充，维持空间分辨率 每隔几层倍增通道数、减半分辨率，生成1/2、1/4 ：残差网络有 (2^) 个隐式的路径来连接输入和输出，每添加一个块会使路径数翻倍。
1.2K20编辑于 2023-02-24 - 来自专栏人工智能
什么是视觉语言基础模型？
本文就来聊聊这个视觉语言基础模型。Vision-Language Foundation Model 是一类能够同时处理视觉和语言信息的人工智能模型。 什么是视觉语言基础模型视觉语言基础模型是一种能够理解和生成视觉与语言信息的多模态人工智能模型。 这种方法的优势在于不需要特定的数据集标注，模型可以直接泛化到新的类别。案例 2：DALL·EDALL·E 是 OpenAI 提出的基于 GPT 架构的文本到图像生成模型。 这种任务通常采用视觉语言基础模型如 Flamingo，该模型通过跨模态注意力机制，将视觉和语言信息深度融合，从而实现精准回答。 更强的生成能力：提升文本到图像生成模型的质量和可控性。总结视觉语言基础模型通过整合视觉和语言信息，为多模态任务提供了强大的技术支持。
60400编辑于 2025-01-01 - 来自专栏AI工程落地
VLM视觉模型处理过程
对于尺寸为(H * W)的图像，视觉token数为：N = (H/14) * (W/14)如果直接做Attention注意力计算，时间复杂度为：O(N^2)。 时间复杂度可近似写为：O(N * W^2)，W为每个窗口内patch数，N为窗口数量。 所以，vision attention只有一个动态值：共有多少个window（结合了图片数和图片大小两个变量）另外，Qwen2.5 VL有一些小参数量模型中，还保留几层full attention，比如 ：qwen2.5 VL 3B视觉模型中，7、15、23、31层是full attention，所有图片token一起做注意力计算。 当然两个模型执行的底层代码都一样，相应的代码位置：vllm/vllm/v1/attention/ops/vit_attn_wrappers.py at main · vllm-project/vllm
69711编辑于 2026-02-09 supervision如何整理视觉模型输出
先给结论：它解决的不是训练模型，而是视觉应用里反复重写的胶水层roboflow/supervision是Roboflow维护的Python计算机视觉工具库，README对它的定位是“essentialtoolkitforcomputervision 它的关键对象是可复用视觉组件，例如数据加载、检测结果结构、标注绘制、数据集处理、区域计数和模型输出后处理，而不是替开发者完成模型训练。 短期最适合已经有视觉模型和样例图片、但后处理脚本混乱的开发者；如果你还没有确定模型、输入数据和验收口径，先不要把它当成完整视觉应用框架。 它不是GitHubTrending上那种“今天又出了一个新模型”的项目，而是把视觉应用常用的工具层做成Python包。 是否值得放进日常：看它能不能减少模型切换成本对AI工具和开发者工作流读者来说，supervision的价值不在“又多一个视觉库”，而在它能否让视觉项目从“每个模型一套脚本”变成“模型可换，后处理接口尽量稳定
38620编辑于 2026-07-01第13章 大模型在计算机视觉上的测试应用-2
13.3 大语言模型基础能力评测 13.3.1 大语言模型的评测流程 大语言模型的评测是非常重要的，它有助于了解模型的性能、局限性和可靠性。具体来说，通过评测，我们可以有如下收获。 比较不同模型：评测可以用于比较不同大语言模型之间的性能差异。通过评测，我们可以了解不同模型在各种任务上的表现，并选择最适合特定需求的模型。 准确性（Accuracy）：评估模型在给定任务上的准确性，即模型的输出与标准答案的匹配程度。 2. 举例2：酒会中途，中国商人与老外说，”我去方便一下。“， 这里的”方便“是什么意思？ 闲聊: 这是一种语言能力，与用户进行自由形式、非特定目标的对话。 举例：已知函数f(x)=log2(x+3)，则f(-3)的值为... 角色扮演: 这是一种感知能力，使其能够在特定的模拟环境或情景中扮演一个角色。
59010编辑于 2025-04-15- 来自专栏CreateAMind
pix2pix视觉景深学习 彩色视频2
v2 解决了大卡车训练不足的问题，精度也提高了。 黑白图： v1 左侧为原始数据， 左上rgb图像；右上是深度图的差值效果， 左下深度图，右下是从rgb由pix2pix预测的深度图； 可以看出来，预测基本准确，边缘部分波动稍微大一些。
35020发布于 2018-07-24 - 来自专栏友儿
盒模型与视觉格式化模型深度解析
一、盒模型与视觉格式化模型 盒模型：规定单个盒子尺寸和位置的规则。 视觉格式化模型（布局规则）：页面上多个盒子排列的规则。视觉格式化模型大体上将页面中盒子的排列分为三种方式：常规流、浮动、定位。
30610编辑于 2024-08-31 - 来自专栏Python编程和深度学习
BBN：长尾视觉识别模型（CVPR 2020）
如上图所示，计算机视觉识别任务中经常面临长尾数据分布的挑战，即少数类占有多数样本，多数类只有少数样本。 如上图（Figure 2）所示，这篇文章先将分类学习任务解耦成两部分：表征学习和分类器学习。并且通过对比实验讨论分析了RW和RS分别对于表征学习和分类器学习的影响。 如下图（Figure 2）所示，以左边图为例，先看第1列，即固定表征学习部分的参数（采用交叉熵CE训练得到的），从上往下3行分别表示采用RS、RW、CE训练得到的分类器，其中RS得到的模型效果最好，RS 因此文中认为，表征学习部分应该在数据原有的分布上进行训练，RS和RW这些改进方法只需要加在分类器学习上即可，从而提出了Bilateral-Branch Network (BBN)以提高模型在长尾分布数据上的性能 2 方法 2.1 整体流程 ?
2.4K20发布于 2020-09-04 - 来自专栏练小习的专栏
视觉格式化模型-控制框
一、块级元素和块框 块级元素是源文档中那些在视觉上被格式化为块（如：段落）的元素。 上述代码中，SPAN 元素包含匿名文本区块 C1，后跟块级元素 P ，最后是匿名文本区块 C2。 最后的框(boxes)是围绕 SPAN 的DIV形成的块框，包含 C1 的匿名块框，P 的块框，和另一个包含 C2 的匿名块框。 如例2中 SPAN 设置了 border，产生匿名框后，C1 C2还是被红色的边框包围。 块框会占据一整行。 如果插入框包含一个块框，那么插入框会成为一个块框； 2. 如果一个块框（不是浮动，也不是绝对定位）跟随在一个插入的控制框之后，则该插入框成为该块框的第一个行内框。 3.
1.1K90发布于 2017-12-29 - 来自专栏CreateAMind
视觉意识的主动推理模型
具体来说,我们提出了一个基于主动推理的视觉意识的层次化、部分可观察的马尔可夫决策过程(POMDP)模型。 我们通过模拟表明,该模型可以:1)统一以前看似矛盾的结果;以及 2)再现由GNW 预测的四向分类法的基本方面,描述有意识接近、注意力和刺激强度之间的关系。 从技术上讲,推理指的是更新关于隐藏状态的信念,而学习对应于更新由上述矩阵指定的生成模型的参数(关于该参数的信念) 2.2 视觉意识的深层时间模型为了模拟有意识和无意识感知之间的差异,我们基于 Pitts 这种叙述的性质变得直截了当 我们的模型提供的第一个主要见解是,许多先前的电生理学结果可以仅基于假设一个具有深层时间结构的简单 2 级模型来再现。 除了解释和统一视觉意识的神经相关文献中不同的发现之外,这里提出的预测性全球神经元工作区模型还产生了几个经验预测和机械神经计算解释,涉及 P3 和主观报告的关系、有意识通路下推理机制的神经生物学实现以及视觉意识中预期的作用
1K20编辑于 2022-04-15 - 来自专栏人工智能
多模态AI与视觉语言模型
CLIP的影响 CLIP证明了大规模对比预训练的有效性，开启了视觉-语言模型的新纪元。 其成功催生了后续众多工作： Stable Diffusion：使用CLIP进行图像-文本对齐 LLaVA：结合CLIP视觉编码器和语言模型 Flamingo：多模态上下文学习 多模态架构设计 早期融合 视觉问答（VQA） 给定图像和自然语言问题，生成答案。 应用场景包括辅助视觉搜索、教育等。 图像生成（Text-to-Image） 根据文本描述生成图像。DALL-E、Midjourney、Stable Diffusion等模型展现出惊人的创造力。 通过CLIP等模型的实践，我们看到跨模态理解不仅可行，而且效果惊人。从零样本分类到图像生成，从视觉问答到多模态对话，多模态技术正在不断拓展AI的能力边界。
1K10编辑于 2026-01-21 视觉语言模型知识蒸馏方法优化
大型基于Transformer架构的机器学习模型近期在视觉与语言任务中展现出卓越性能。但这类大模型往往因计算速度限制难以实时部署，实际系统通常采用知识蒸馏技术将大模型知识迁移至更轻量的学生模型。 传统蒸馏方法采用教师与学生模型注意力头一对一对齐的方式，而学生模型为降低复杂度通常会减少注意力头数量。 在AAAI 2024会议上提出的新方法突破了这一限制：将教师模型所有注意力头的知识蒸馏至学生模型全部注意力头中。当学生模型头数少于教师时，单个学生注意力头可编码多个教师头的综合信息。 实验在两个视觉语言模型（VLM）上进行，这些模型将图像和文本映射到同一向量空间，并针对视觉问答、图像描述和基于图像的翻译任务进行微调。新方法在三个任务上均超越现有基线表现。 即使学生模型头数显著少于教师，也能通过加权聚合方式有效保留多维度特征信息。该方法为部署轻量级视觉语言模型提供了新的技术路径，在保持模型效率的同时最大化知识迁移效果。
39200编辑于 2025-08-04- 来自专栏活动
仿生视觉：生物视觉模型在传感器设计中的应用
仿生视觉就是其中之一，通过模拟生物视觉系统的工作原理，设计出具有类似功能的传感器。 本文将介绍仿生视觉技术在传感器设计中的应用，详细探讨其部署过程，并结合实例和代码解释，帮助读者更好地理解和应用这一技术。Ⅰ、项目介绍①. 背景仿生视觉是指受生物视觉系统启发而设计的一种视觉系统。 // Arduino代码示例#define SENSOR_PIN 2 // 红外传感器连接的数字输入引脚void setup() { Serial.begin(9600); // 初始化串口通信 pinMode // Arduino代码示例：简单的数据滤波#define SENSOR_PIN 2#define FILTER_WINDOW_SIZE 5 // 滤波窗口大小int sensorValues[FILTER_WINDOW_SIZE 生物学启发设计仿生视觉传感器将更加深入地借鉴生物视觉系统中的设计原理和机制，实现对生物视觉系统更加精细和深入的模拟。
1.1K10编辑于 2024-04-16 - 来自专栏未来先知
从视觉基础模型到医学图像转换,利用视觉基础模型实现高效跨模态MRI合成 !
CLIP通过在大规模图像文本对上训练，将视觉和文本表示进行对齐，使模型能够学习图像和文本嵌入之间的丰富语义关系。虽然CLIP主要用于图像分类任务，但其跨模态学习能力也使其在医疗背景[9]得到应用。 预训练的图像编码器基于Hiera [10]构建，这是一种分层视觉 Transformer ，用于生成多尺度特征。 与其他视觉 Transformer 不同，Hiera不包含池化层，因此它逐步减小特征的空间大小，使模型能够保留更多的详细空间信息。 进行了以下四个一对一的图像转换实验：T1 → T2，T2 → T1，T1 → PD和PD → T1。 在模型训练中，作者使用Adam优化器并将学习率设置为。批量大小设置为2，所有模型均训练20个周期。 4 Conclusion 作者提出了SAM-I2I框架，用于跨模态MRI合成，通过利用视觉基础模型（SAM2）中编码的知识来实现。
1.2K10编辑于 2024-12-23
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号