- 综合排序
- 最热优先
- 最新优先
- 来自专栏RTMP推送
机器人视频感知架构深度解析：7条技术法则，打造低延迟实时感知与交互
因为不论是AGV、巡检无人机、协作机械臂，还是类人服务机器人，感知永远是智能的入口，而感知的最主要来源仍是多通道视频和音频数据。 当视频流出现 500ms 以上的延迟，AI就无法实时感知环境变化，控制命令也会滞后，直接导致机器人“失明”或“反应迟钝”。这不仅影响体验，更可能带来安全事故和运营风险。 接下来，我们将从第一个法则开始，拆解底层视频感知链路的设计要点，并结合大牛直播SDK在行业中的应用案例，看看顶尖机器人公司是如何做到低延迟、高可靠、可扩展的。 为什么视频链路是关键？ 视频流占据机器人感知数据的 80% 以上带宽，如果不优化，会成为“拖慢整车”的瓶颈。 网络层面涉及抗丢包、拥塞控制，应用层还要处理多路流同步，任何一环没经验都会踩坑。 大牛直播SDK在与行业企业的合作中，验证了一个事实：只有把视频传输和感知链路打磨到极致，机器人才能真正进入商业化的高速公路。
37410编辑于 2025-08-27 - 来自专栏媒矿工厂
纹理感知视频插帧
提出的 TAFI（纹理感知视频帧插值），可以推广到任何插帧方法并提高其性能。 目录 简介 纹理对 VFI 性能的影响 提出方法 实验结果 结论 简介 Danier 首先介绍了项目的背景。 VFI 视频帧插值任务 该技术可以应用于许多领域，例如： 提高视频的帧率以增强视觉质量。 生成慢动作视频。 视频压缩，例如用来增强编码端的运动估计模块和解码端的误差隐蔽性能。 测试集使用了 HomTex 数据集，包含 2120 个视频，每个视频有 250 帧。该数据集的主要特征是每个视频的纹理都是同质的，即每个视频只包含三种纹理类型中的一种。 最后，讲者提出一个新的纹理感知框架，称为 TAFI（纹理感知视频帧插值），它可以推广到任何插帧方法并提高其性能。 在评估中采用了 PSNR 和 SSIM，它们在视频帧插值方面的感知优化仍是一个研究问题。 未来可能的工作： 大规模的同质视频数据库，这样就可以从头开始训练模型，使其专注于某种类型的纹理。
1.1K30编辑于 2022-02-18 - 来自专栏音视频技术
Netflix视频质量感知评价模型之路
例如，旨在减少回放延迟或重新缓冲的自适应流算法的改进，不应该降低流会话中的整体视频质量。 上述所有具有挑战性的工作都取决于一个基本前提：我们可以准确有效地衡量大量视频流的感知质量。 Netflix的流媒体服务涌现出一系列独特的挑战，也为设计精确反映流媒体视频质量的感知指标提供了机会。例如： 视频源的特点。 为了解决这个问题，我们采用了基于机器学习的模型来设计一个测度指标，以反映人类对视频质量的感知。这一指标将在下一节中讨论。 我们的方法：视频多方法评估融合（VMAF）模型 在与南加州大学的C. 观看设置和显示设备可以显著影响视频质量的感知。 因此，比较（或总结）不同标题视频的VMAF分数可能是不准确的。例如，当从SD源产生的视频流达到99（100）的VMAF得分时，其决不会与来自HD源的相同得分（99）的视频具有相同的感知质量。
2.1K50发布于 2021-09-02 机器人AI感知系统构建技术解析
机器人AI感知系统的构建挑战在2022年6月某中心re:MARS会议上，机器人AI软件开发经理Bhavana Chandrashekhar发表了题为“如何构建AI驱动的机器人感知系统”的演讲。 通过包裹操纵机器人Robin的案例，阐述了在某中心规模下操纵包裹和物品时感知问题的复杂性。 应用前景虽然这是机器人操纵应用，但该演讲涵盖的感知、机器学习、深度学习和持续学习概念普遍适用于机器人内外其他领域。 关键要点理解操纵中的感知挑战机器人系统级行为的特点洞察某中心解决的机器人规模问题技术架构特点Robin机器人采用先进的感知系统，能够从自身错误中检测和学习，使其能够在生产规模下从杂乱包裹中挑选单个物品。 本文内容基于2022年re:MARS会议技术演讲整理，聚焦机器人感知系统的技术实现细节。
26700编辑于 2025-09-13- 来自专栏媒矿工厂
YouTube 的感知视频质量测量模型——UVQ
模型能够给出视频的质量评分以及三类质量指标，很好的建立了人类对视频质量的感知与视频本身某些量化指标之间的联系。 背景 YouTube 等在线视频共享平台需要了解感知视频质量（即用户对视频质量的主观感知），以便更好地优化和改善用户体验。 视频质量评估（VQA）试图通过使用客观的数学模型来模拟用户的主观意见，建立视频信号和感知质量之间的联系。 主观视频质量评估 为了了解感知视频质量，我们利用内部众包平台收集 MOS 评分，范围为 1-5，其中 1 是最低质量，5 是最高质量。 一种可能的解释是，观众可能对具有清晰叙事结构的视频（例如游戏视频）有更高的视频质量期望，而压缩失真会显着降低视频的感知质量。
1.8K20编辑于 2023-09-09 - 来自专栏媒矿工厂
基于显著性的感知视频编码
显著性与视频编码 利用人眼的视觉聚焦机制，可以通过降低视频中的非显著性区域的分辨率，保留显著性区域的分辨率不变，来尽可能的减小视觉质量的损失和降低码率大小。 下图展示了基于显著性的感知视频编码流程。具体包括了预处理、显著性图计算、基于显著性的滤波、预分析、码率控制以及编码过程。其中显著性检测的结果将会用于辅助码率控制的过程。 因此首先需要将输入的视频帧下采样到该分辨率后输入到模型，再将输出的显著性图上采样回原始的分辨率。 实验结果 在实验部分，作者对上述方法处理后编码重建视频的主观质量和客观质量分别进行评测。 在实验过程中，所选择的编码器为 HEVC, 并选用有多样化内容的视频序列作为测试集，且视频的分辨率限制在 1080p。 下图展示了测试序列的显著性检测结果。 错误的显著性图预测 结论 本次演讲介绍了一种基于深度学习的显著性感知编码方式，用于编码的前处理和码率控制的过程。
1.5K30编辑于 2022-02-18 微米级机器人实现自主思考与感知
科学家创造出比盐粒还小且能思考的机器人某大学和另一所大学的研究人员建造了有史以来最小的、完全可编程的自主机器人。 这些微型机器可以在液体中游动，感知周围环境，自主做出反应，连续运行数月，且每个的生产成本仅约一便士。每个机器人如果不借助放大镜几乎看不见，尺寸大约为200 x 300 x 50微米。 机器人还必须能够感知环境、做出决策并为自己提供动力。所有这些组件都必须集成在一块只有几分之一毫米大小的芯片上。这项挑战由某大学的另一个团队承担。该教授的实验室已经保持着制造世界上最小计算机的记录。 能够感知和交流的机器人这些进展共同催生了研究人员认为是第一个能够进行真正决策的亚毫米级机器人。据他们所知，此前没有人将包含处理器、内存和传感器的完整计算机放入如此小的机器人中。 这一成就使得机器人能够感知环境并自主响应。机器人包含电子温度传感器，可以检测小到三分之一摄氏度的变化。
15010编辑于 2026-02-07Robin机器人感知系统与持续学习技术
“Robin 面对的是一个万物皆在变化的世界”一套先进的感知系统能够检测并学习自身错误，使 Robin 机器人能够在生产规模下从杂乱的包裹堆中选取单个物品。作者：Alan S. Robin 的感知系统从能够识别边缘、平面等物体元素的预训练模型开始。接下来，它被训练用于识别履约中心分拣区域内出现的包裹类型。当提供大量样本图像时，机器学习模型学习效果最佳。 例如，感知模型可能表明它对发现一个包裹很有信心，但对其归类为特定包裹类型则信心不足。 下一代机器人感知Swan 解释说，这些持续改进对于在某机构规模上部署 Robin 至关重要。团队的目标是每周自动更新 Robin 机器人机群数次。“我们正在增加对 Robin 的使用，”Swan 说。 Robin 的感知系统需要能够发现一堆包裹，并知道从最上面的开始，以避免弄翻整堆。
10910编辑于 2026-04-06- 来自专栏机器人网
科普：机器人依靠什么感官来感知世界？
那么你可知道，机器人是依靠什么感官来感知世界，与我们互动的？它们有“眼睛”、“鼻子”、“耳朵”吗？本文为大家盘点几种机器人常用的传感器及其功能。 ? 用于避障的传感器 避障可以说是各种机器人最基本的功能，不然机器人一走动就碰到花花草草就不好了。机器人并不一定要通过视觉感知自己前方是否有障碍物，它们也可以通过触觉或像蝙蝠那样通过声波感知。 用于测量速度的传感器 机器人自身的行走速度对于判断机器人运动状态和机器人所在位置非常重要，这里我们主要讨论一下对机器人小车运动速度的测量。 车型机器人依靠电机驱动轮子来运动，因此测量机器人小车的速度可以归结为测量驱动电机的转速。那么怎么测量电机的转速呢？测量电机转速有很多种方法，比较适合个人机器人爱好者的是采用光电编码器。 用于检测地面灰度的传感器 很多人最开始做的机器人的基本功能就是循线，白色的地板上贴着一条黑线，让机器人沿着地面的黑线前进。很多机器人高手都是从制作类似的作品成长起来的。
97850发布于 2018-04-20 - 来自专栏机器人课程与技术
ROS1云课→24机器人感知配置
接着： ROS1云课→22机器人轨迹跟踪 ---- 以真实和仿真机器人共性知识点展开。 机器人配置包含哪些模块呢？？？ 各部件如何组织？ 导航功能包集需要知道传感器、轮轴和关节的位置。 得益于tf软件库，使得可以向机器人添加更多的传感器和组件，tf会为处理这些设备之间的关系。 time_increment float32 scan_time float32 range_min float32 range_max float32[] ranges float32[] intensities 这是感知外部障碍物的重要传感器 里程信息指的是机器人相对于某一点的距离。 uint8 radiation_type float32 field_of_view float32 min_range float32 max_range float32 range ---- stdr感知配置一般就这样了
46210编辑于 2022-09-30 - 来自专栏机器人课程与技术
机器人感知-视觉部分（Robotic Perception-Vision Section）
PDF下载 视频链接 陈宇 华东师范大学 智能机器人运动与视觉实验室 15:00 -- 15:15 茶歇交流活动 15:15 -- 17:00 机器人感知 —— 视觉部分 PDF下载 视频链接 张瑞雷 易科机器人实验室 移动机器人全地形自主导航 PDF下载 视频链接 马庆华 一坤科技 ---- 这个方向我并不擅长，但是在本科机器人专业课的教学过程中讲过类似案例课程 其实仔细想来，机器人专业我也是学艺不精的。为了避免和其他嘉宾分享内容和风格的相似，讲稿做了一些调整。 ? 01-这部分内容，是专业课中机器人感知的一个子方向，原课程大致分为三个专题：语音，视觉，其他。 人类视觉感知神经有两种，环境非常暗的情况下，人眼不会有噪点，但是摄像头会有，为什么？机器人视觉还分为主动和被动两类，用于对环境的辨识。哪些是主动视觉设备，哪些又是被动的。 这里，需要理解二维空间，二维时空，三维空间，三维时空等，机器人视觉系统如果不仅能看到当下，还能看到将来能到达的区域，就可以解决这类问题，自然中的生物，感知范围都远大于控制范围，除此之外，还需注意传感器的布局
2.4K21发布于 2019-01-23 - 来自专栏用户8653471的专栏
服务机器人核心技术之环境感知技术
环境感知是机器人技术体系实现的基础和前提条件，传感器是机器人感知环境及自身状态的窗口 ◆ 环境感知技术作为机器人系统不可或缺的一部分，与智能机器人的地图构建、运动控制等功能息息相关。 一旦机器人失去感知能力将无法帮助人们完成具体工作任务，因此它是机器人的“感知+运控+交互”技术体系融合发展的基础和前提条件。 ◆ 机器人的感知功能通常需要通过各类传感器来实现。 借助传感器，机器人能够及时感知自身和外部环境的参数变化，为控制和决策系统做出适当响应提供数据参考。 多传感器融合是机器人整合多渠道数据信息并处理复杂情况的重要应用 ◆ 传感器技术是影响机器人环境感知技术模块发展进程的核心因素。 ◆ 受技术限制，目前市场上的机器人大多服务功能缺乏复合性，感知技术的逻辑性较弱，行业需加强融合型感知技术的应用研究。
1.7K10发布于 2021-08-11 - 来自专栏一点人工一点智能
机器人视觉听觉融合的感知操作系统
作者：王业飞，葛泉波，刘华平，等 来源：智能系统学报 编辑：东岸因为@一点人工一点智能 原文地址：机器人视觉听觉融合的感知操作系统 摘要：智能机器人面对复杂环境的操作能力一直是机器人应用领域研究的前沿问题 因此本文构建了一种基于视觉和听觉融合的机器人感知操作系统，该系统利用深度学习算法的模型实现了机器人的视觉感知和听觉感知，捕获自然语言操作指令和场景信息用于机器人的视觉定位，并为此收集了12类的声音信号数据用于音频识别 整个系统要求机器人能够正确地理解给定的指令，并且结合指示表达定位目标从而实现相应的操作。 本系统的架构主要分为3个模块，分别是视觉语言感知模块、音频感知模块以及机器人操作模块。 02 机器人视听模型 对于不同的感知模块，利用深度学习算法设计相应的网络构建整个系统。本文的模型分为指示表达模型、音频分类模型以及机器人的操作模型。 可以发现，在结合多模态数据的情况下，机器人感知目标更加准确，能够有效提升任务成功率。
1.2K30编辑于 2023-04-10 - 来自专栏媒矿工厂
CVPR 2023 | CAVSR:压缩感知视频超分辨率
基于此，本文提出了一种压缩感知的视频超分辨率模型，具体贡献如下： 提出了一种用于感知帧压缩级别的压缩编码器。该方法使用基于排序的损失进行监督，并使用计算得到的压缩表示来调制基本 VSR 模型。 然后，通过插入压缩感知模块，一个基于双向循环的基本 VSR 模型可以基于压缩级别自适应地处理不同压缩级别的视频。为了进一步增强基础 VSR 模型的功能，作者进一步利用了元数据。 压缩编码器 为了使 VSR 模型适应各种压缩，设计了一个压缩编码器来隐式地模拟视频帧中的压缩级别，同时考虑帧类的型和压缩感知质量（CRF）。在本工作中，压缩表示学习被视为学习排序任务。 压缩感知特征提取 图4 压缩感知特征提取模块 利用计算得到的压缩表示调制基本 VSR 模型。基本 VSR 模型的特征提取部分由多个卷积层和残差块组成。 训练设置 使用 5 个压缩感知调制残差块(CAMRB)用于压缩感知特征提取，25 个残差块用于时间特征融合。
2.1K31编辑于 2023-11-13 - 来自专栏音视频技术
编码压缩新思路:面向QoE的感知视频编码
面向用户体验的感知视频编码即通过机器学习检测用户感兴趣的视觉感知区域，并重新分配以更多的码率与复杂度。 由此启发，我们可通过降低感知冗余进一步提升视频压缩效率。 基于人类智慧我们提出了感知视频压缩并努力降低感知冗余。 ；接下来我们尝试将视频感知冗余的优化运用在全景视频之上，使得视频压缩更加契合人类的视觉习惯，也就是我们所说的面向QoE的感知视频编码。 面向一般视频的感知视频压缩编码 接下来将重点介绍有关感知视频编码在一般视频场景中的应用。 3.1 编码优化 编码优化是必不可少的优化思路。 面向全景视频的感知视频压缩编码 接下来将为大家介绍我们针对全景视频进行的感知压缩编码优化。
90820发布于 2021-09-01 - 来自专栏机器人技术与系统Robot
多模感知：机器人灵巧手位置传感器
机器人的传感器分为内部传感器和外部传感器，一般来说，机器人的内部传感器用于感知自身的状态，机器人可以知道自身在任意时刻的位置、速度和驱动力等信息，机器人的外部传感器用于感知外部的状态信息，如距离，交互力 在机器人的多个传感器中，最为基础的信息是机器人的位置传感器，机器人位置传感器是机器人的关键元器件，而机器人的位置控制也是应用最多的控制方式，且对于其他力的控制方案中，机器人的位置控制也是机器人的重要实现方案之一 对于上述不同原理的位置传感器，主要目的还是实现机器人的位置信息测量，机器人的为主要包括机器人关节位置和电机位置。 视频内容 6 巨磁阻式位置传感器 巨磁阻式位置传感器是为宽范围测量或检测磁场强度而设计的，它直接检测磁场，而不是磁场强度的变化速率，非常适合作为位置传感器。 视频内容 ----
2.6K2012发布于 2021-03-17 - 来自专栏机器人网
技术猿 | 借力MEMS 机器人全面进入感知时代
---- 机器人变得越来越智能。在工厂，工业机器人需要感测到工人的存在，以避免对工人造成伤害。此外，它们还应该能够检测到异常情况，例如可能造成损坏的剧烈震动。 服务机器人，无论是守卫仓库或作为远程工作人员的网真装置，都需要进行自主导航。就像我们用天生的感官一样，机器人也需要借助传感器技术使它们变得更智能、使用更安全，同时增加对人类的用途。 当机器人的末梢或手臂部分需要安放传感器时，飞思卡尔Xtrinsic MMA9550L和其它类似器件就非常有用，因为机器人的末梢或手臂部分的空间非常狭小。 看守室外设施的监控机器人还需要了解它是向山上还是山下运动，这对机器人的速度和功耗都有影响，也是计算其自主持续时间需要考虑的重要数据。 ? 将视频图像处理信息与距离和速度雷达数据相结合，可帮助智能导航算法计算出更精确的数据，并更好地构建机器人周围环境的3D地图。 雷达系统主要为自动应用而设计，也可轻松应用于其它系统。
99660发布于 2018-04-13 软体机器人的接触感知安全控制系统
与为了安全原因通常尽量避免与环境接触并远离人类的传统刚性机器人不同，这种机械臂能够感知微小的力，以模仿人手的顺应性方式进行伸展和弯曲。 “这些实验表明，我们的框架能够推广到不同的任务和目标，机器人可以在复杂场景中感知、适应和行动，同时始终尊重明确定义的安全限制，”Zardini说。 当然，具有接触感知安全的软体机器人在高风险领域可能会非常有价值。在医疗保健领域，它们可以辅助手术，在降低患者风险的同时提供精确操作。在工业领域，它们可能无需持续监督即可处理易碎货物。 PCS和DCSAT共同赋予了机器人对其环境的预测感知，以实现更主动、更安全的交互。展望未来，该团队计划将他们的方法扩展到三维软体机器人，并探索与基于学习的策略相结合。 通过将接触感知安全与自适应学习相结合，软体机器人可以处理更复杂、更不可预测的环境。“这就是让我们的工作令人兴奋的地方，”Rus说。
11000编辑于 2026-03-10- 来自专栏音视频技术
在线教育音视频质量评价与感知系统
VIPKID音视频团队负责人张武峰在LiveVideoStackCon2019北京站上做了有关在线教育音视频质量评价与感知系统的分享。 文 / 张武峰 整理 / LiveVideoStack 大家好我是来自VIPKID的张武峰，今天我与大家分享的是在线教育音视频质量评价与感知系统。 我们希望完整构建一套严谨专业客观的音视频质量评价与感知系统，从而为用户体验的优化与提升解决方案提供强有力的数据支撑。 我将基于以下四个方面开展本次分享： 1. 需要注意的是，这里的MOS分并非单纯基于肉眼感知的画面质量，而是基于综合视频编码与网络传输的参数，通过AI训练而成的一套算法为其赋分，数据主要通过录制上课视频得到。 整个质量感知系统的架构如下：首先底层的数据来源于SDK上报日志（音视频的SDK，包括音频视频帧率、卡顿率、用户所使用平台版本、摄像头数据等，其贡献数据最多）、客户端打点（用户行为）、服务端日志（自建流媒体加速系统的流媒体服务
3.5K31发布于 2019-11-04 - 来自专栏音视频技术
在线教育音视频质量评价与感知系统
音视频团队负责人张武峰在LiveVideoStackCon2019北京站上做了有关在线教育音视频质量评价与感知系统的分享。 文 / 张武峰 整理 / LiveVideoStack 大家好我是来自VIPKID的张武峰，今天我与大家分享的是在线教育音视频质量评价与感知系统。 视频画面的清晰度则主要使用MOS分作为评价标准，也就是从原始录像中按照每分钟1帧的方式抽取I帧图像并为其清晰度赋予MOS分值，所得到的系统分值再与用户的主观感知评价进行匹配，最终得到的分值如果低于3分那么我们就视该视频画面清晰度不佳 需要注意的是，这里的MOS分并非单纯基于肉眼感知的画面质量，而是基于综合视频编码与网络传输的参数，通过AI训练而成的一套算法为其赋分，数据主要通过录制上课视频得到。 整个质量感知系统的架构如下：首先底层的数据来源于SDK上报日志（音视频的SDK，包括音频视频帧率、卡顿率、用户所使用平台版本、摄像头数据等，其贡献数据最多）、客户端打点（用户行为）、服务端日志（自建流媒体加速系统的流媒体服务
1.3K20发布于 2019-11-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号