- 综合排序
- 最热优先
- 最新优先
- 来自专栏RTMP推送
机器人视频感知架构深度解析：7条技术法则，打造低延迟实时感知与交互
因为不论是AGV、巡检无人机、协作机械臂，还是类人服务机器人，感知永远是智能的入口，而感知的最主要来源仍是多通道视频和音频数据。 当视频流出现 500ms 以上的延迟，AI就无法实时感知环境变化，控制命令也会滞后，直接导致机器人“失明”或“反应迟钝”。这不仅影响体验，更可能带来安全事故和运营风险。 接下来，我们将从第一个法则开始，拆解底层视频感知链路的设计要点，并结合大牛直播SDK在行业中的应用案例，看看顶尖机器人公司是如何做到低延迟、高可靠、可扩展的。 为什么视频链路是关键？ 视频流占据机器人感知数据的 80% 以上带宽，如果不优化，会成为“拖慢整车”的瓶颈。 网络层面涉及抗丢包、拥塞控制，应用层还要处理多路流同步，任何一环没经验都会踩坑。 大牛直播SDK在与行业企业的合作中，验证了一个事实：只有把视频传输和感知链路打磨到极致，机器人才能真正进入商业化的高速公路。
42810编辑于 2025-08-27 - 来自专栏媒矿工厂
纹理感知视频插帧
来源：PCS 2021 主讲人：Danier Duolikun 内容整理：冯冬辉 本文来自 PCS2021 Special Session 2 的第 3 场演讲，讲者验证了视频纹理类型对视频插帧模型的性能有显著影响 提出的 TAFI（纹理感知视频帧插值），可以推广到任何插帧方法并提高其性能。 目录 简介 纹理对 VFI 性能的影响 提出方法 实验结果 结论 简介 Danier 首先介绍了项目的背景。 VFI 视频帧插值任务 该技术可以应用于许多领域，例如： 提高视频的帧率以增强视觉质量。 生成慢动作视频。 视频压缩，例如用来增强编码端的运动估计模块和解码端的误差隐蔽性能。 最后，讲者提出一个新的纹理感知框架，称为 TAFI（纹理感知视频帧插值），它可以推广到任何插帧方法并提高其性能。 在评估中采用了 PSNR 和 SSIM，它们在视频帧插值方面的感知优化仍是一个研究问题。 未来可能的工作： 大规模的同质视频数据库，这样就可以从头开始训练模型，使其专注于某种类型的纹理。
1.2K30编辑于 2022-02-18 - 来自专栏AI风云之路
机器学习(2)--感知机
对应于输出空间（特征空间）的点；输出y∈Y表示实例类别，由输入空间到输出空间的如下函数： ，称为感知机。 其中w和b是感知机的参数模型，w叫做权值(weight)，b叫做偏置(bias)。 sign是符号函数： 感知机是一种线性分类模型，属于判别模型。感知机有如下几何解释：线性方程 。对应于特征空间Rn中的一个超平面S，其中w是超平面的法向量，b是超平面的截距。 2.感知机的学习策略 假设训练数据集是线性可分的，感知机的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。 损失函数推导过程： ①任一点到超平面S的距离： 分母 是w的L2范数，指的是向量各元素的平方和然后求平方根（长度）。 ②对于误分类点 来说，有 。 因为 时， 。 3.感知机的学习算法 感知机学习问题转化为求解损失函数式的最优化问题，求参数w,b，使损失函数最小。 ,M为误分类点集合。
66600发布于 2021-02-22 - 来自专栏音视频技术
Netflix视频质量感知评价模型之路
例如，旨在减少回放延迟或重新缓冲的自适应流算法的改进，不应该降低流会话中的整体视频质量。 上述所有具有挑战性的工作都取决于一个基本前提：我们可以准确有效地衡量大量视频流的感知质量。 一般来说，在视频编解码器的开发和研究中，广泛使用两种方法来评估视频质量：1）视觉主观测试和2）简单测度指标的计算，例如PSNR或最近推出的SSIM[1]。 Netflix的流媒体服务涌现出一系列独特的挑战，也为设计精确反映流媒体视频质量的感知指标提供了机会。例如： 视频源的特点。 在受约束的室内照明下（按照建议书ITU-R BT.500-13[2]的规定），参考视频和失真视频在消费级电视机上依次播放。 观看设置和显示设备可以显著影响视频质量的感知。
2.2K50发布于 2021-09-02 机器人AI感知系统构建技术解析
机器人AI感知系统的构建挑战在2022年6月某中心re:MARS会议上，机器人AI软件开发经理Bhavana Chandrashekhar发表了题为“如何构建AI驱动的机器人感知系统”的演讲。 通过包裹操纵机器人Robin的案例，阐述了在某中心规模下操纵包裹和物品时感知问题的复杂性。 应用前景虽然这是机器人操纵应用，但该演讲涵盖的感知、机器学习、深度学习和持续学习概念普遍适用于机器人内外其他领域。 关键要点理解操纵中的感知挑战机器人系统级行为的特点洞察某中心解决的机器人规模问题技术架构特点Robin机器人采用先进的感知系统，能够从自身错误中检测和学习，使其能够在生产规模下从杂乱包裹中挑选单个物品。 本文内容基于2022年re:MARS会议技术演讲整理，聚焦机器人感知系统的技术实现细节。
33400编辑于 2025-09-13触觉感知赋能机器人灵巧操作
凭借其高分辨率触觉传感技术和能够每年生成数百万小时数据的分布式实验室外采集网络，DAIMON 正在构建包含大量触觉感知数据的大规模机器人操作数据集。 一直致力于开发高分辨率、多模态的触觉传感设备，以感知机器人的手（尤其是指尖）与物体之间的交互。这些设备已经变得非常可靠，现在已被大量用户接受和使用，包括学术研究机构以及领先的人形机器人公司。 从 VLA 到 VTLA：为什么触觉感知改变规则当前机器人学的主流范式是 VLA 模型，但团队提出了 VTLA 模型。为什么需要整合触觉感知？它能让机器人实现什么？ 触觉信息对于提供接触状态反馈至关重要，这样机器人才能引导其手和手指执行可靠的操作。没有触觉感知，机器人的能力将受到严重限制。 越来越多的研究人员和公司认识到触觉感知的重要性并采用该技术。相信触觉感知的进步将把整个社群和行业提升到一个更高的水平。一个潜在客户正在一家小型便利店内部署人形机器人，那里货架密集，空间非常宝贵。
15410编辑于 2026-06-06- 来自专栏媒矿工厂
YouTube 的感知视频质量测量模型——UVQ
模型能够给出视频的质量评分以及三类质量指标，很好的建立了人类对视频质量的感知与视频本身某些量化指标之间的联系。 背景 YouTube 等在线视频共享平台需要了解感知视频质量（即用户对视频质量的主观感知），以便更好地优化和改善用户体验。 视频质量评估（VQA）试图通过使用客观的数学模型来模拟用户的主观意见，建立视频信号和感知质量之间的联系。 图1 MOS= 2.052 无意义内容将不会获得高 MOS 图2 MOS= 4.457 这段展示剧烈运动的视频获得了较高的 MOS 图3 MOS= 1.242 一段模糊的游戏视频获得了低 MOS 对于下面这一段视频，UVQ 报告第一个块（t = 1 时刻）的质量良好，压缩级别较低。然而，该模型在下一个块（t = 2 时刻）中识别出严重的压缩失真。
2.1K20编辑于 2023-09-09 - 来自专栏媒矿工厂
基于显著性的感知视频编码
显著性与视频编码 利用人眼的视觉聚焦机制，可以通过降低视频中的非显著性区域的分辨率，保留显著性区域的分辨率不变，来尽可能的减小视觉质量的损失和降低码率大小。 下图展示了基于显著性的感知视频编码流程。具体包括了预处理、显著性图计算、基于显著性的滤波、预分析、码率控制以及编码过程。其中显著性检测的结果将会用于辅助码率控制的过程。 因此首先需要将输入的视频帧下采样到该分辨率后输入到模型，再将输出的显著性图上采样回原始的分辨率。 实验结果 在实验部分，作者对上述方法处理后编码重建视频的主观质量和客观质量分别进行评测。 在实验过程中，所选择的编码器为 HEVC, 并选用有多样化内容的视频序列作为测试集，且视频的分辨率限制在 1080p。 下图展示了测试序列的显著性检测结果。 错误的显著性图预测 结论 本次演讲介绍了一种基于深度学习的显著性感知编码方式，用于编码的前处理和码率控制的过程。
1.6K30编辑于 2022-02-18 新型机器人皮肤实现多模触觉感知
科学家开发出一种低成本、耐用且高灵敏度的机器人“皮肤”，可以像手套一样戴在机械手上，使机器人能够以类似人类的方式感知周围环境信息。 该技术能够感知和处理一系列物理输入，使机器人能以更有意义的方式与物理世界互动。 与通常通过嵌入小区域的传感器工作、且需要不同传感器检测不同类型触觉的其他机器人触觉解决方案不同，由这两家机构研究人员开发的这种电子皮肤整体就是一个传感器，使其更接近人类自身的传感系统——人类的皮肤。 研究人员结合物理测试和机器学习技术，帮助机器人皮肤“学习”哪些通路最为关键，从而更高效地感知不同类型的接触。 除了未来可应用于人形机器人或人类假肢（触觉至关重要）之外，研究人员表示，这种机器人皮肤还可在汽车工业或灾难救援等多个行业中发挥作用。研究结果发表在《科学机器人》期刊上。
20000编辑于 2026-04-22微米级机器人实现自主思考与感知
科学家创造出比盐粒还小且能思考的机器人某大学和另一所大学的研究人员建造了有史以来最小的、完全可编程的自主机器人。 这些微型机器可以在液体中游动，感知周围环境，自主做出反应，连续运行数月，且每个的生产成本仅约一便士。每个机器人如果不借助放大镜几乎看不见，尺寸大约为200 x 300 x 50微米。 机器人还必须能够感知环境、做出决策并为自己提供动力。所有这些组件都必须集成在一块只有几分之一毫米大小的芯片上。这项挑战由某大学的另一个团队承担。该教授的实验室已经保持着制造世界上最小计算机的记录。 能够感知和交流的机器人这些进展共同催生了研究人员认为是第一个能够进行真正决策的亚毫米级机器人。据他们所知，此前没有人将包含处理器、内存和传感器的完整计算机放入如此小的机器人中。 这一成就使得机器人能够感知环境并自主响应。机器人包含电子温度传感器，可以检测小到三分之一摄氏度的变化。
21910编辑于 2026-02-07Robin机器人感知系统与持续学习技术
“Robin 面对的是一个万物皆在变化的世界”一套先进的感知系统能够检测并学习自身错误，使 Robin 机器人能够在生产规模下从杂乱的包裹堆中选取单个物品。作者：Alan S. 2022年2月的模型3 — 所有包裹均被正确检测。Robin 的感知系统从能够识别边缘、平面等物体元素的预训练模型开始。接下来，它被训练用于识别履约中心分拣区域内出现的包裹类型。 例如，感知模型可能表明它对发现一个包裹很有信心，但对其归类为特定包裹类型则信心不足。 下一代机器人感知Swan 解释说，这些持续改进对于在某机构规模上部署 Robin 至关重要。团队的目标是每周自动更新 Robin 机器人机群数次。“我们正在增加对 Robin 的使用，”Swan 说。 Robin 的感知系统需要能够发现一堆包裹，并知道从最上面的开始，以避免弄翻整堆。
19810编辑于 2026-04-06- 来自专栏AI机器学习与深度学习算法
学习分类 2-3 感知机
感知机 要如何求出权重向量呢？基本做法和回归时相同，将权重向量用作参数，创建更新表达式来更新参数。这就需要一个被称为感知机的模型。 感知机是接受多个输入后将每个值与各自的权重相乘，最后输出总和的模型。 数据包含三个特征的感知机模型如下所示。 感知机是非常简单的模型，基本不会应用到实际的问题当中，但是它是神经网络和深度学习模型的基础模型。 图片 下表示收集到的六个训练数据。
68510编辑于 2022-11-08 - 来自专栏机器人网
科普：机器人依靠什么感官来感知世界？
那么你可知道，机器人是依靠什么感官来感知世界，与我们互动的？它们有“眼睛”、“鼻子”、“耳朵”吗？本文为大家盘点几种机器人常用的传感器及其功能。 ? 用于避障的传感器 避障可以说是各种机器人最基本的功能，不然机器人一走动就碰到花花草草就不好了。机器人并不一定要通过视觉感知自己前方是否有障碍物，它们也可以通过触觉或像蝙蝠那样通过声波感知。 图2 碰撞开关的工作状态图 在机器人上的用法多数是将探测臂加长，扩大探测范围和灵敏度。当机器人撞到前面的障碍物，碰撞开关的信号端便可返回一个高电平，控制芯片由此可以知道小车面前存在着障碍物。 GP2D12几乎可以说是机器人爱好者的必备传感器，在我们平时常看到的一些个人机器人作品中，绝大多数都可以看到它的身影。 无图无真相，相信很多朋友看到GP2D12的实物图都会禁不住感叹：“哦，原来是它呀！”是不是很眼熟？说实话，除了在个人机器人上，我还真没在其他的地方见过这个东西。 ?
1K50发布于 2018-04-20 - 来自专栏机器人课程与技术
ROS1云课→24机器人感知配置
接着： ROS1云课→22机器人轨迹跟踪 ---- 以真实和仿真机器人共性知识点展开。 机器人配置包含哪些模块呢？？？ 各部件如何组织？ 导航功能包集需要知道传感器、轮轴和关节的位置。 得益于tf软件库，使得可以向机器人添加更多的传感器和组件，tf会为处理这些设备之间的关系。 初次之外还有点云数据，分别如下： sensor_msgs/LaserScan或sensor_msgs/PointCloud2 ---- 里程计 导航功能包集还需要获取机器人的里程信息。 里程信息指的是机器人相对于某一点的距离。 uint8 radiation_type float32 field_of_view float32 min_range float32 max_range float32 range ---- stdr感知配置一般就这样了
56310编辑于 2022-09-30 - 来自专栏机器人课程与技术
机器人感知-视觉部分（Robotic Perception-Vision Section）
PDF下载 视频链接 陈宇 华东师范大学 智能机器人运动与视觉实验室 15:00 -- 15:15 茶歇交流活动 15:15 -- 17:00 机器人感知 —— 视觉部分 PDF下载 视频链接 张瑞雷 易科机器人实验室 移动机器人全地形自主导航 PDF下载 视频链接 马庆华 一坤科技 ---- 这个方向我并不擅长，但是在本科机器人专业课的教学过程中讲过类似案例课程 其实仔细想来，机器人专业我也是学艺不精的。为了避免和其他嘉宾分享内容和风格的相似，讲稿做了一些调整。 ? 01-这部分内容，是专业课中机器人感知的一个子方向，原课程大致分为三个专题：语音，视觉，其他。 人类视觉感知神经有两种，环境非常暗的情况下，人眼不会有噪点，但是摄像头会有，为什么？机器人视觉还分为主动和被动两类，用于对环境的辨识。哪些是主动视觉设备，哪些又是被动的。 这里，需要理解二维空间，二维时空，三维空间，三维时空等，机器人视觉系统如果不仅能看到当下，还能看到将来能到达的区域，就可以解决这类问题，自然中的生物，感知范围都远大于控制范围，除此之外，还需注意传感器的布局
2.4K21发布于 2019-01-23 - 来自专栏用户8653471的专栏
服务机器人核心技术之环境感知技术
环境感知是机器人技术体系实现的基础和前提条件，传感器是机器人感知环境及自身状态的窗口 ◆ 环境感知技术作为机器人系统不可或缺的一部分，与智能机器人的地图构建、运动控制等功能息息相关。 一旦机器人失去感知能力将无法帮助人们完成具体工作任务，因此它是机器人的“感知+运控+交互”技术体系融合发展的基础和前提条件。 ◆ 机器人的感知功能通常需要通过各类传感器来实现。 具体来看，机器人的环境感知一般需要应用各类传感器来代替人类感觉，如视觉、听觉、触觉等，强抗干扰能力、高精度以及高可靠性是机器人对传感器的最基本要求。 image.png 2. 多传感器融合是机器人整合多渠道数据信息并处理复杂情况的重要应用 ◆ 传感器技术是影响机器人环境感知技术模块发展进程的核心因素。 ◆ 受技术限制，目前市场上的机器人大多服务功能缺乏复合性，感知技术的逻辑性较弱，行业需加强融合型感知技术的应用研究。
1.8K10发布于 2021-08-11 - 来自专栏一点人工一点智能
机器人视觉听觉融合的感知操作系统
作者：王业飞，葛泉波，刘华平，等 来源：智能系统学报 编辑：东岸因为@一点人工一点智能 原文地址：机器人视觉听觉融合的感知操作系统 摘要：智能机器人面对复杂环境的操作能力一直是机器人应用领域研究的前沿问题 因此本文构建了一种基于视觉和听觉融合的机器人感知操作系统，该系统利用深度学习算法的模型实现了机器人的视觉感知和听觉感知，捕获自然语言操作指令和场景信息用于机器人的视觉定位，并为此收集了12类的声音信号数据用于音频识别 2）本文在构建的数据集下，实现了机器人的视觉定位和音频识别，用于完成目标操作任务。 3）本文将实验系统应用在实际机器人中并进行实验验证，实验结果表明本多模态数据对于机器人操作效率有着显著的提升。 整个系统要求机器人能够正确地理解给定的指令，并且结合指示表达定位目标从而实现相应的操作。 本系统的架构主要分为3个模块，分别是视觉语言感知模块、音频感知模块以及机器人操作模块。 可以发现，在结合多模态数据的情况下，机器人感知目标更加准确，能够有效提升任务成功率。
1.3K30编辑于 2023-04-10 - 来自专栏机器人课程与技术
ROS 2 感知节点的硬件加速
news.accelerationrobotics.com/hardware-accelerating-ros-2-nodes 机器翻译 6 分钟阅读 移动得更快的机器人需要在边缘进行更快的感知计算 波士顿动力公司的地图集展示了机器人的感知 机器人从摄像头和激光雷达等传感器获得的数据通常被输入感知层，转化为对决策和规划物理动作有用的东西。 感知有助于感知静态和动态对象，并使用计算机视觉和机器学习技术构建机器人环境的可靠且详细的表示。因此，机器人中的感知层负责对象检测、分割和跟踪。 之前的一篇文章介绍了硬件加速如何帮助加速 ROS 2 计算图（包括感知图）。 跨感知 ROS 2 节点获得的结果表明FPGA 在机器人感知方面的性能优于 GPU，速度差异达 500 倍在流行的算法中，例如定向梯度直方图 (HOG)： 在测量功耗的同时，我们还观察到FPGA
1.2K40编辑于 2022-05-01 - 来自专栏人人都是极客
无人驾驶技术课——感知（2）
在感知部分的课程中，我们将首先介绍计算机视觉的基本应用领域；再进一步了解机器学习、神经网络和卷积神经网络的基础知识；随后我们将讨论感知模块在无人车中的具体任务；最后了解 Apollo 感知模块的体系结构和传感器融合的相关内容 卷积神经网络 卷积神经网络（CNN）是一种人工神经网络，它对感知问题特别有效。CNN 接受多维输入，包括定义大多数传感器数据的二维和三维形状。 欢迎在下方留言区热烈讨论~ 下节课我们将深入了解感知模块在无人车中的具体任务。 【转自Apollo阿波罗智能驾驶】
74120发布于 2018-12-25 - 来自专栏音视频技术
编码压缩新思路:面向QoE的感知视频编码
这就是人作为高级动物的智慧所在：研究人的视觉感知模型我们可以发现，在人眼可感知的视角内，真正会引起大脑皮层明显兴奋的区域仅为2～3度；换句话说，人的视觉会将感知重点放在感兴趣的目标区域。 由此启发，我们可通过降低感知冗余进一步提升视频压缩效率。 基于人类智慧我们提出了感知视频压缩并努力降低感知冗余。 2. 基于数据驱动实现视频显著性检测 视频显著性检测是指通过计算机视觉技术推断用户观看视频时视觉感知重点集中的区域，主要借助基于机器学习的CV。 2）针对视频压缩的多帧质量提升 接下来我们需要将此技术用于提升多帧画面的编码质量。通过实验我们发现，几乎所有的编码标准都会使视频质量出现明显波动，尤其HEVC编码会导致帧与帧之间的编码质量差异过大。 增加约2%。
98820发布于 2021-09-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号