- 综合排序
- 最热优先
- 最新优先
太能打了：小卡也能跑的视觉模型！Gemma 4 本地视觉实测，截图转HTML
本文是对谷歌最新发布的 Gemma 4 开源模型进行测试，验证了其在视觉理解和代码生成方面的能力，并与千问进行了对比测试。 作为一个长期混迹开源社区的 AI 迷，当然要第一时间上手实测，看看这款“小卡也能跑”的视觉模型到底有多强。 2. 为什么 Gemma 4 值得关注？ 由于我们需要测试视觉能力，需要下载模型本身（GGUF）和视觉编码器文件（mmproj）。 视觉编码器下载，可以通过前面模型下载地址的同一页面下下载 mmproj-F16.gguf。 4.5 Gemma 4 的其他几个小模型 这里我也测试了 Gemma 4 的其他几个小模型（E2B、E4B），它们的视觉能力和速度表现都不如 26B A4B 版本，尤其是 E 系列的小模型，虽然支持音频输入 当然，这样不难解释，毕竟小模型的视觉编码器参数量更少，E2B 和 E4B 的视觉编码器参数量只有约 1.5 亿，而 26B A4B 的视觉编码器参数量约 5.5 亿，这个差距可能就是导致它们在视觉任务上表现不佳的主要原因了
2.9K10编辑于 2026-04-14C-RADIOv4：统一三大模型的视觉骨干技术
技术概述某机构推出的 C-RADIOv4 是一种新型聚合式视觉骨干网络，通过将三个强教师模型——SigLIP2-g-384、DINOv3-7B 和 SAM3——蒸馏至单个学生编码器中，实现了模型统一。 核心思路简洁：不再需要在视觉语言模型、自监督密集模型和分割模型之间做选择，而是用一个骨干网络同时逼近三者。RADIO 中的聚合蒸馏技术RADIO 系列采用聚合蒸馏技术。 C-RADIOv4 升级了教师模型：SigLIP2-g-384：强化图文对齐能力DINOv3-7B：提供高质量自监督密集特征SAM3：提供面向分割的特征，并保证与 SAM3 解码器兼容学生模型的训练目标 移位等变损失与MESA机制去除教师噪声从大型视觉模型蒸馏往往会复制其伪影，而不仅是有效结构。SigLIP2 存在边界噪声模式，ViTDet 风格模型则可能产生窗口边界伪影。 通过分散度归一化，均衡了不同教师的影响力，同时保留了视觉语言语义与密集语义。
70710编辑于 2026-02-12- 来自专栏深度学习和计算机视觉
4个计算机视觉领域用作迁移学习的模型
导读 使用SOTA的预训练模型来通过迁移学习解决现实的计算机视觉问题。 ? 如果你试过构建高精度的机器学习模型，但还没有试过迁移学习，这篇文章将改变你的生活。至少，对我来说是的。 实现迁移学习有三个要求： 由第三方开发开源预训练模型 重用模型 对问题进行微调 开发开源预训练模型 预训练的模型是由其他人创建和训练来解决与我们类似的问题的模型。 计算机视觉中的4个预训练模型 这里有四个预先训练好的网络，可以用于计算机视觉任务，如图像生成、神经风格转换、图像分类、图像描述、异常检测等： VGG19 Inceptionv3 (GoogLeNet) EfficientNetB0的特性简要介绍如下： 尺寸：29 MB Top-1 准确率：77.1% Top-5 准确率：93.3% 参数数量：~5,300,000 深度：159 其他的计算机视觉问题的预训练模型 相反，尝试使用这些训练模型，在上面添加一些新的层，考虑你的特殊计算机视觉任务，然后训练。其结果将比你从头构建的模型更成功。 ? —END—
1.6K40发布于 2021-05-07 - 来自专栏山行AI
MiniGPT-4：使用先进的大型语言模型提升视觉语言理解
MiniGPT-4：使用先进的大型语言模型提升视觉语言理解 前言 为上一篇介绍MiniGPT-4的文章，在ChatGPT兴起的当下，涌现了一大批围绕着ChatGPT建立的应用项目，通过文章的方式把这些进行一个分类梳理 介绍 •MiniGPT-4 使用一个投影层将 BLIP-2 的冻结视觉编码器与冻结的 LLM，Vicuna 对齐。•我们训练 MiniGPT-4 有两个阶段。 •MiniGPT-4 显示出许多与 GPT-4 类似的新兴视觉语言能力。 overview 入门 安装 1. 第一阶段预训练在第一阶段预训练中，模型使用来自 Laion 和 CC 数据集的图像-文本对进行训练，以对齐视觉和语言模型。要下载和准备数据集，请查看我们的 第一阶段数据集准备指南[13]。 在第一阶段之后，视觉特征被映射并可以被语言模型理解。要启动第一阶段的训练，运行以下命令。在我们的实验中，我们使用了 4 个 A100。
99730编辑于 2023-06-14 视觉决策模型来了，机器视觉要变天？
从Jev1.14到开源视觉决策模型，我开始重新思考机器视觉的未来。最近看到一条AI新闻，让我确实有些兴奋。 如果要使用它，就得先让视觉模型把图片转成文字，再由Jev进行判断。虽然理论上可行，但相当于同时运行两个模型，增加了调用链路，也存在视觉信息在文字描述中丢失的风险。 视觉决策模型能否实现类似的实时性，还需要考虑图像编码、推理延迟、吞吐量和实际检测效果。但至少现在，我们不必再把视觉业务完全局限在传统目标检测和生成式视觉大模型这两条技术路线上。 如果后续这类模型继续向4B、2B，甚至更小的规模发展，同时保持足够好的视觉决策能力，那么应用空间还会进一步打开。 因此，我认为未来比较理想的架构，可能不是单纯依赖某一种模型，而是让不同模型承担不同的工作：目标检测模型负责快速寻找明确目标；视觉决策模型负责高频判断；复杂的视觉语言模型负责疑难场景分析；业务规则系统负责最终的告警与处置
14910编辑于 2026-10-16- 来自专栏媒矿工厂
LM4LV：用于低级视觉任务的冻结大型语言模型
Li, Chao Dong 论文地址： https://arxiv.org/abs/2405.15734 内容整理：杜君豪 大语言模型（LLM）的成功促进了多模态大语言模型（MLLM）的新研究趋势，改变了计算机视觉各个领域的范式 在这项工作中，我们的目标是 LM4LV，这是一个框架，使 FROZEN LLM 能够在没有任何多模态数据或先验的情况下解决一系列低级视觉任务。 引言 大语言模型（LLM）的巨大成功和推广性带来了多模态大型语言模型（MLLM）的新研究趋势。我们想知道 LLM 可以给计算机视觉带来多大的好处，以实现更好的性能并实现真正的智能。 LLM vs 专家模型 尽管我们已经验证了LLM处理视觉特征的能力，但问题仍然存在，幅度是多少？ 为了定量评估 LLM 的能力，我们用 2 层 MLP 或一层 Transformer 代替 LLM，作为解决视觉任务的专家模型。
98710编辑于 2024-06-25 - 来自专栏流川疯编写程序的艺术
机器视觉4——光的偏振
回顾《机器视觉3——电磁波》，我们了解到，光波，即电磁波的传播符合波动方程，本质上是一个正弦波。如下图。 从上图，可以看出，光波沿Y轴上下振动，而波的传播方向，沿Z轴传播。
1.2K21发布于 2020-02-26 - 来自专栏深度学习和计算机视觉
视觉词袋模型简介
简介 视觉单词袋是一种描述计算图像之间相似度的技术。常用于用于图像分类当中。该方法起源于文本检索（信息检索），是对NLP“单词袋”算法的扩展。 在“视觉单词袋”中，我们的输入是图像而不是文本文档，并且我们使用视觉单词来描述图像。 ? 文字文档袋 ? 图像视觉词袋 ? 视觉单词 在BovW中，我们将图像分解为一组独立的特征，特征由关键点和描述符组成，关键点与兴趣点是同一件事。它们某些是空间位置或图像中的点，这些位置定义了图像中的突出部分。 每个聚类的中心（质心）都充当一个视觉单词，所有这些K组的重心构成了我们的字典。 ? K均值聚类 03. 直方图的创建 ? 检测视觉单词 现在我们将创建一个（N，K）的二维数组，我们将在接下来的几行中看到如何填充此数组。
1.9K10发布于 2021-01-06 - 来自专栏大模型应用
大模型应用：轻量化视觉语言模型（VLM）：基于多模态视觉大模型实践.87
一、前言 随着大模型技术从单一文本交互迈向多模态智能时代，视觉语言模型（VLM）已成为连接图像感知与语言理解的关键载体。 超紧凑视觉语言模型的出现，正是大模型技术走向普惠化、轻量化与端侧化的重要突破。 轻量级VLM的核心优化技术轻量级 VLM 能做到“小而能用”，核心依赖以下4类技术：参数精简：直接减少模型层数、隐藏层维度，比如将语言模型隐藏层从 4096 维压缩至 2048 维；模型量化：将模型参数从 4. 轻量级VLM对大模型生态的意义轻量级 VLM（如 Qwen2-VL-2B）是大模型从云端专属越来越普及可用的核心桥梁，其价值体现在 5 个方面：1. 视觉编码器：采用轻量化视觉模型（如MobileNet、TinyViT）将原始像素压缩为固定维度的视觉特征向量，保留关键语义信息，同时控制计算开销。5.
1.3K22编辑于 2026-04-25 - 来自专栏TechBlog
通用视觉框架OpenMMLab图像分类与基础视觉模型
hat{X}) 传统方法：设计图像特征(1990s~2000s) 特征工程的天花板 在ImageNet 图像识别挑战赛里，2010 和2011 年的冠军队伍都使用了经典的视觉方法，基于手工设计的特征+ 从特征工程到特征学习 层次化特征的实现方式 AlexNet 的诞生& 深度学习时代的开始 在2012 年的竞赛中，来自多伦多大学的团队首次使用深度学习方法，一举将错误率降低至15.3% ，而传统视觉算法的性能已经达到瓶颈 ：基于标注数据学习 • 损失函数 • 随机梯度下降算法 • 视觉模型常用训练技巧 • 自监督学习：基于无标注的数据学习 AlexNet (2012) 第一个成功实现大规模图像的模型，在ImageNet 1 层5×5 的卷积与2 层3×3 的卷积有同样的感受野 网络层数：11、13、16、19 层 3×3 卷积配合1 像素的边界填充，维持空间分辨率 每隔几层倍增通道数、减半分辨率，生成1/2、1/4 ResNet-50 3/4/6/3 94.8% / 76.6% ResNet-101 3/4/23/3 95.4% / 78.0% ResNet-152 3/8/36/3 95.5% / 78.5% ResNet
1.2K20编辑于 2023-02-24 - 来自专栏机器之心
苹果上新视觉模型4M-21，搞定21种模态
机器之心报道 编辑：陈萍、小舟 当前的多模态和多任务基础模型，如 4M 或 UnifiedIO，显示出有希望的结果。 这是第一次单个视觉模型可以以任意到任意的方式解决数十个不同的任务，而不会损害性能，并且没有任何传统的多任务学习。 多样性：添加对更多结构化数据的支持，例如人体姿态、SAM 实例、元数据等等。 扩展：将模型大小扩展至 3B 参数，将数据集扩展至 0.5B 样本。 协同训练：同时在视觉和语言上协同训练。 多模态检索 如图 5 所示，4M-21 解锁了原始 DINOv2 和 ImageBind 模型无法实现的检索功能，例如通过使用其他模态作为查询来检索 RGB 图像或其他模态。 此外，4M-21 还可以组合多种模态来预测全局嵌入，从而更好地控制检索，如右图所示。 开箱即用 4M-21 能够开箱即用地执行一系列常见的视觉任务，如图 6 所示。
54610编辑于 2024-06-27 - 来自专栏新智元
Meta评测4个领先视觉模型，LeCun转赞
---- 新智元报道 编辑：桃子 【新智元导读】当前的视觉模型哪个更好？Meta团队最新一波研究来了。 如何根据特定需求选择视觉模型？ 来自MABZUAI和Meta的研究人员发表的最新研究，在「非标准」指标上全面比较了常见的视觉模型。 超越ImageNet准确性 计算机视觉模型格局，变得越来越多样复杂。 从早期的ConvNets到Vision Transformers的演进，可用模型的种类在不断扩展。 此外，研究对比了以DeiT3-Base/16和ConvNeXt-Base为代表的监督模型，以及OpenCLIP基于CLIP模型的视觉编码器。 相对于其ImageNet准确性，CLIP模型比受监督的模型犯的错误更少。 2. 所有模型都主要受到遮挡等复杂因素的影响。 3. 纹理是所有模型中最具挑战性的因素。
60210编辑于 2024-01-18 在Jetson上玩转大模型Day15：NanoLLM开发平台(4)：视觉分析助手
我们前面应用NanoLLM开发平台，已经很轻松地创造出语音对话助手、多模态识别等应用，本篇文章要更进一步调用NanoLLM的视频相关API，搭配合适的大语言模型，来对视频档或摄像头获取的内容进行动态分析功能 这里我们将模型换成同样支持多模态的Efficient-Large-Model/VILA1.5-3b，并且前后使用3个API来进行测试，大家可以相互比较一下，并且后续自行调整出最适合应用场景的内容。 如果我们要对视频进行分析的话，这里的底层会用到项目作者早期的jetson-utils里的videoSource与videoOutput两组库，输入视频支持H264/H265编码的MP4/MKV/AVI/ \ --video-output /data/sample_output.mp4 \ --prompt 'What changes occurred in the video?' 输入的/data/sample_720p.mp4是一段在公路上拍摄的车流与行人视频，识别厚度视频存放在/data/sample_output.mp4。
70710编辑于 2024-11-26- 来自专栏GPUS开发者
在Jetson上玩转大模型Day15：NanoLLM开发平台(4)：视觉分析助手
如果我们要对视频进行分析的话，这里的底层会用到项目作者早期的jetson-utils里的videoSource与videoOutput两组库，输入视频支持H264/H265编码的MP4/MKV/AVI/ Efficient-Large-Model/VILA1.5-3b \ --max-images 8 \ --max-new-tokens 48 \ --video-input /data/sample_720p.mp4 \ --video-output /data/sample_output.mp4 \ --prompt 'What changes occurred in the video?' 输入的/data/sample_720p.mp4是一段在公路上拍摄的车流与行人视频，识别厚度视频存放在/data/sample_output.mp4。
41210编辑于 2024-11-27 - 来自专栏人工智能
什么是视觉语言基础模型？
本文就来聊聊这个视觉语言基础模型。Vision-Language Foundation Model 是一类能够同时处理视觉和语言信息的人工智能模型。 什么是视觉语言基础模型视觉语言基础模型是一种能够理解和生成视觉与语言信息的多模态人工智能模型。 这种任务通常采用视觉语言基础模型如 Flamingo，该模型通过跨模态注意力机制，将视觉和语言信息深度融合，从而实现精准回答。 text, prob in zip(text_descriptions, probs[0]): print(f"Description: {text}, Probability: {prob:.4f 更强的生成能力：提升文本到图像生成模型的质量和可控性。总结视觉语言基础模型通过整合视觉和语言信息，为多模态任务提供了强大的技术支持。
60400编辑于 2025-01-01 supervision如何整理视觉模型输出
先给结论：它解决的不是训练模型，而是视觉应用里反复重写的胶水层roboflow/supervision是Roboflow维护的Python计算机视觉工具库，README对它的定位是“essentialtoolkitforcomputervision 它的关键对象是可复用视觉组件，例如数据加载、检测结果结构、标注绘制、数据集处理、区域计数和模型输出后处理，而不是替开发者完成模型训练。 短期最适合已经有视觉模型和样例图片、但后处理脚本混乱的开发者；如果你还没有确定模型、输入数据和验收口径，先不要把它当成完整视觉应用框架。 它不是GitHubTrending上那种“今天又出了一个新模型”的项目，而是把视觉应用常用的工具层做成Python包。 是否值得放进日常：看它能不能减少模型切换成本对AI工具和开发者工作流读者来说，supervision的价值不在“又多一个视觉库”，而在它能否让视觉项目从“每个模型一套脚本”变成“模型可换，后处理接口尽量稳定
38620编辑于 2026-07-01- 来自专栏AI工程落地
VLM视觉模型处理过程
对于尺寸为(H * W)的图像，视觉token数为：N = (H/14) * (W/14)如果直接做Attention注意力计算，时间复杂度为：O(N^2)。 所以，vision attention只有一个动态值：共有多少个window（结合了图片数和图片大小两个变量）另外，Qwen2.5 VL有一些小参数量模型中，还保留几层full attention，比如 ：qwen2.5 VL 3B视觉模型中，7、15、23、31层是full attention，所有图片token一起做注意力计算。 , dtype=torch.int32), input shape: torch.Size([3540, 1, 1024]) 可以看到模型把两张图片分开 当然两个模型执行的底层代码都一样，相应的代码位置：vllm/vllm/v1/attention/ops/vit_attn_wrappers.py at main · vllm-project/vllm
69911编辑于 2026-02-09 - 来自专栏集智书童
图视觉模型崛起 | MobileViG同等精度比MobileNetv2快4倍，同等速度精度高4%！
尽管基于ViT的模型在视觉任务中取得了成功，但与基于CNN的轻量级模型相比，它们仍然较慢，相比之下，基于CNN的模型缺乏基于ViT模型的全局感受域。 4、实验 4.1、图像分类 作者使用PyTorch 1.12和Timm库实现了该模型。作者使用8个NVIDIA A100 GPU来训练每个模型，有效批量大小为1024。 作者使用PyTorch 1.12和Timm库实现了Backbone，并使用4个NVIDIA RTX A6000 GPU来训练作者的模型。 作者使用来自300个训练Epoch的预训练ImageNet-1k权重初始化模型，使用初始学习率为2e-4的AdamW优化器，并按照NextViT、EfficientFormer和EfficientFormerV2 如表4所示，在相似的模型大小下，MobileViG在目标检测和/或实例分割方面的参数或改进的平均精度（AP）方面优于ResNet、PoolFormer、EfficientFormer和PVT。
1.3K40编辑于 2023-09-04 - 来自专栏点云PCL
SLAM综述(4)激光与视觉融合SLAM
第四部分中，将介绍激光雷达与视觉的融合。 激光雷达和视觉SLAM系统 说到激光雷达和视觉SLAM系统，必不可少的是两者之间的标定工作。 IMU-TK[3][4]还可以对IMU的内部参数进行校准。 论文[5]提出了一种用于单目VIO的端到端网络，融合了来自摄像机和IMU的数据。 ? 此外，还应考虑多传感器之间的物理模型建立、状态估计和优化。 硬件集成：目前还没有合适的芯片和集成硬件使SLAM技术更容易成为产品。 另一方面，如果传感器的精度因故障、非标称条件或老化而降低，则传感器测量的质量（例如噪声、偏差）与噪声模型不匹配。应遵循硬件的稳定性和集成性。 [4] A. Pretto and G. Grisetti. Calibration and performance evaluation of low-cost imus.
5.8K31发布于 2020-06-12 - 来自专栏友儿
盒模型与视觉格式化模型深度解析
一、盒模型与视觉格式化模型 盒模型：规定单个盒子尺寸和位置的规则。 视觉格式化模型（布局规则）：页面上多个盒子排列的规则。视觉格式化模型大体上将页面中盒子的排列分为三种方式：常规流、浮动、定位。
30610编辑于 2024-08-31
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号