Embodied Cognition and Radical Embodied Cognition(2) 具身认知与激进具身认知 https://uberty.org/wp-content/uploads ▶ 例1:Beer(2003)的仿真机器人 任务:进化CTRNN控制机器人,实现对圆/菱形的范畴知觉与差异行动(捕圆避菱)。 从这些来源(当然还有其他来源)产生的当前具身认知科学工作是一个广泛的基础运动,涵盖了机器人技术、模拟进化、发展心理学、感知、运动控制、认知工具、现象学以及当然的理论宣言等领域的研究。 激进具身认知,主张2:具身认知应通过某一特定工具集 T加以解释,该工具集包含动力系统理论等。 因此,剩下来需要关注的是主张2与主张3。这两项主张共同构成了激进具身认知科学(radical embodied cognitive science)——即关于激进具身认知的科学。
基础模型凭借底层世界知识,可完成指令解析、环境感知及复杂任务推理;2) 低级控制:专注于执行指令的同时实时监测环境与机器人状态,最终确定机械臂末端执行器位置、关节活动角度等精确操作参数。 仅凭简单指令训练单一策略模型完成完整任务仍具挑战,模型不仅需要掌握多项技能,还需理解各技能间的执行顺序,使得训练过程本身变得异常复杂。 鉴于视觉与语言基础模型在复杂推理和上下文泛化方面展现的强大能力,机器人学界探索将基础模型应用于解决这些难题可谓顺理成章。 同理,要大幅提升具身人工智能的能力,关键在于扩大机器人数据集的规模——这是推动该领域重大突破的必经之路。 具身人工智能的数据集更关注现实环境中三维信息、物体功能特性以及机器人与物体间的交互关系,这些都基于真实物理定律的约束条件。
在大模型技术的加持下,长出「大脑」的人形机器人被视为通向 AGI 的必经之路,「具身智能元年」似乎已经到来。 概念被炒得火热,但具身智能的故事仍面临着一个核心问题:「大脑」真的能带来质的改变并实现商业化落地吗? 对此,香港科技大学机器人研究院创始院长王煜教授提出了「具身技能」的概念。 「如果把具身智能称为大脑,那么中脑或小脑则是大关节控制,精细操作为细小脑,也可叫具身技能,需要有硬件、学习方法、数据的支持。」王煜教授解释道,「不到具身技能的层次其实无法发挥人形机器人的作用。」 如果把具身智能称为大脑,那么中脑或小脑则是大关节控制,精细操作为细小脑,也可叫「具身技能」,需要有硬件、学习方法、数据的支持。 2、把灵巧手做到极致 AI 科技评论:那在「具身技能」这样的关键点上,除了触觉传感器之外,您认为还需要哪些关键的技术? 王煜:除了触觉传感技术外,灵巧手是否「够精致」,同样十分关键。
https://arxiv.org/pdf/2503.11117v3 摘要 具身问答(Embodied Question Answering, EQA)是具身智能领域中一项极具挑战性的任务,要求智能体在三维环境中动态探索 1 引言 具身问答(Embodied Question Answering, EQA)是计算机视觉、自然语言处理与具身智能交叉领域的一项核心挑战。 为全面评估具身智能体的探索能力,我们构建了大规模基准数据集 EXPRESS-Bench,包含 777 条探索轨迹和 2,044 个问题-轨迹配对,在覆盖范围上优于 OpenEQA(如表1所示)。 用于具身智能体的大模型 大模型强大的推理与泛化能力推动了其在具身任务中的广泛应用,例如视觉-语言导航 [25, 26, 46] 和具身操作 [18, 38, 40]。 5.1 基线 我们在零样本设置中比较各种模型,包括1)盲LLMs,2)具身模型,3)多帧VLMs,4)探索代理,和5)人类表现。
一、引言 具身智能机器人作为融合了机器人学、人工智能、认知科学等多领域知识的前沿技术,正逐渐改变着我们的生活和工作方式。从工业制造到家庭服务,从医疗护理到太空探索,具身智能机器人都展现出了巨大的潜力。 (三)编程基础 Python:作为具身智能机器人领域广泛使用的编程语言,具备丰富的库和工具,如 NumPy 用于数值计算,SciPy 用于科学计算,Matplotlib 用于数据可视化。 cv2.imread('test.jpg') gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 检测人脸 faces = face_cascade.detectMultiScale ).item() print(f'Accuracy of the network on the 10000 test images: {100 * correct / total}%') 七、总结 具身智能机器人的学习是一个长期而复杂的过程 通过系统地学习数学、物理、编程、机器人学和人工智能等多方面的知识,结合实际案例和代码实践,相信你能够逐步掌握具身智能机器人的核心技术,为这一领域的发展贡献自己的力量。
编辑:陈萍萍的公主@一点人工一点智能 论文链接:https://www.mdpi.com/1424-8220/25/3/852 引言 具身抓取是机器人执行物理交互任务的核心基础。 随着预训练模型在感知、推理和交互领域的突破,其在机器人抓取任务中的应用显著推动了该领域的发展。本文从具身基础、具身感知、具身策略和具身Agent四个维度系统梳理了最新进展。 这些技术突破为机器人抓取的智能化奠定了基础。 具身基础 具身基础部分系统总结了机器人硬件平台、仿真环境、数据集和采集方法。 这些模型通过先验知识注入,显著提升了机器人对多模态输入(如视觉、语言)的理解能力。 具身感知 具身感知聚焦于机器人通过视觉传感器理解环境并预测抓取姿态。 结论 本文系统综述了预训练模型在具身抓取中的应用,从基础平台到高层策略均展现了显著进展。预训练模型通过先验知识注入,解决了数据稀缺与泛化难题,推动了机器人抓取的智能化。
选自blog.ml.cmu 作者:Alex Robey 机器之心编译 机器之心编辑部 具身智能,也和大模型一样不靠谱。 如果具身智能也遭越狱,机器人可能会被欺骗,在现实世界中造成人身伤害。 只需看看《星球大战》系列中的 R2-D2、机器人总动员的 WALL・E 或《变形金刚》的擎天柱。这些角色既是人类的捍卫者,也是懂事听话的助手,机器人的 AI 被叙述成人类仁慈、善意的伙伴。 Unitree Go2 机器狗就是这种情况,它通过云查询 ChatGPT。 鉴于上述 Go2 和 Spot 机器人的广泛部署,该研究将精力集中在设计黑盒攻击上。 Jackal UGV 机器人被越狱 最后是 Unitree Go2 机器狗被 RoboPAIR 越狱攻击。可以看到,输入的提示词成功让 Go2 运送了一枚(假)bomb。
作者总结 在本研究中,我们引入了一种新颖的建模方法来探索具身决策,即决策与动作在动态环境中同时发生。 通过将具身决策模拟为一个主动推理过程,我们能够复现各种关于动作和决策在时间上并行展开的实证发现,以及运动动力学在感知中的反馈效应。此外,我们阐明了在时间压力下,具身选择相对于串行选择的规范优势。 结果 我们通过模拟一个具有时变信息的二选一强制选择(2AFC)决策任务,来展示具身决策的主动推理模型的工作机制。 此外,它解释了具身决策的关键方面,例如任务前显现 [22] 或任务期间变化 [26] 的运动成本会影响决策结果这一事实。 请注意,关于具身决策中的运动成本,存在两种替代视角(或解释)。 未来研究的一个重要方向是对此处引入的具身选择模型进行实证验证。在本研究中,我们提供了规范性论据,说明与串行策略相比,具身模型在速度 - 准确性曲线方面的优势。
前段时间,具身智能领域出现了一个标志性事件——北京人形机器人创新中心开源的XR-1模型,首次通过国家具身智能标准测试。 过去我们需要为每个动作建立精确的数学模型,现在却要让机器人在不断试错中悟出世界规律。 这让我想起强化学习中的试错学习概念,但具身智能把这个概念推向了极致——不是试错,而是在物理世界中的直接学习。 XR-1模型通过UVMC技术实现条件反射式的快速反应,而像Helix这样的模型则在系统1层面处理日常动作,系统2层面应对复杂决策任务。 这种分工协作的架构设计,实际上是在模拟人类大脑的双系统理论。 这可能不仅仅是数字的变化,也标志着具身智能产业从概念验证阶段迈入实际交付阶段。 为什么1万台是个关键节点? 结语 具身智能的2025-2026年注定是载入史册的一年。
具身智能核心技术概述 具身智能(Embodied Intelligence)强调智能体通过与物理环境的交互来学习和发展认知能力。其核心技术包括感知、决策、控制和多模态学习等模块。 控制模块通过机器人学和运动规划技术,将决策转化为具体动作。 感知技术实现案例 视觉-触觉多模态感知系统常用于物体识别和操作。 __init__() self.visual_net = nn.Sequential( nn.Conv2d(3, 32, kernel_size=3), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size=3), nn.ReLU current_pose) robot.send_joint_torques(target_torques) rate.sleep() 该ROS节点实现100Hz控制频率,通过Franka Emika机器人接口发送力矩指令
2.从JetsonOrin到JetsonThor的演进: 最新的Jetson AGX Thor是专为物理AI和具身智能设计的高性能平台。 4.生态与应用落地枢纽 由于其强劲算力、高能效比和丰富接口,Jetson已被大量机器人、智能设备厂商采用,并成为在实际场景(从工业机器人到服务机器人)中部署具身智能的主要计算平台。 (2)CAP-X可编程具身框架 将机器人技能代码化、可编辑、可复用、可验证,融合数据驱动与逻辑规则,解决端到端模型不可解释、难调试、难商用的痛点。 主要用于训练具身智能系统,例如机器人自主学习、自动驾驶的智能决策训练等。 Cosmos系列的五个核心模块共同为物理AI和具身智能提供了一个完整的开发、训练、推理和优化平台。 五、NVIDIA具身智能全栈闭环 NVIDIA具身智能技术的成功不仅仅依赖于单一的硬件或软件平台。
具身智能的落地案例分析 具身智能(Embodied Intelligence)强调智能体通过与物理环境的交互来学习,近年已从实验室逐步走向实际应用。以下为典型落地案例: 1. 仓储物流机器人 亚马逊的Kiva机器人通过SLAM(同步定位与地图构建)技术实现货架自主搬运,大幅提升分拣效率。 波士顿动力Stretch机器人结合深度强化学习,完成不规则包裹的抓取与堆放。 2. 家庭服务机器人 iRobot Roomba系列扫地机器人采用碰撞传感器与路径规划算法,实现自适应清洁。 丰田HSR(Human Support Robot)通过多模态感知帮助老年人完成日常物品取放。 _move_to_waypoint(waypoint) self.current_pose[:2] = waypoint 家庭服务机器人模块(多模态感知) import rospy 关键算法模块采用C++加速(如使用Eigen库进行矩阵运算) 安全机制 硬件急停回路与软件看门狗双冗余设计 ISO 13849标准下的PLd级安全认证实现 以上案例与代码展示了具身智能在感知-决策-执行闭环中的典型实现方式
2、具身智能「刚刚」开始 去年,大模型的成功展示了深度学习具有规模效应,即只要有足够优秀的模型和海量数据,其潜力远超过以往,也促使学术界与产业界对实现真正的通用人工智能(AGI)燃起了希望。 「无论是科学家、创业者还是学生,大家都在讨论具身智能。」 与传统机器人公司相比,「新生代」的具身智能企业最大的区别在于是否采用了人工智能技术。 方舟无限同样是一家新兴具身智能企业,是全球首家具身智能领域量产数据采集方案供应商。 同为具身智能企业的逐际动力于2023年发布了其首款人形机器人CL-1,并于今年上半年接连公开该款机器人的遥操作及跑步等技术新进展。
随后,我们深入分析四大核心研究方向:1)具身感知,2)具身交互,3)具身智能体,4)仿真到现实的迁移,涵盖最先进方法、关键范式及综合性数据集。 当前,具身人工智能涵盖计算机视觉(CV)、自然语言处理(NLP)和机器人学等多个关键技术领域,最具代表性的方向包括:具身感知、具身交互、具身智能体和仿真到现实的机器人控制[7]。 本综述其余部分结构如下:第2节介绍具身机器人;第3节描述通用与真实场景仿真平台;第4节介绍具身感知,包括主动视觉感知与视觉语言导航;第5节介绍具身交互;第6节介绍具身智能体,包括具身多模态基础模型与具身任务规划 II 、具身机器人 具身智能体与物理环境进行交互,包括机器人、智能家电、自动驾驶车辆等。 该方法在具身人工智能领域展现出广泛的应用潜力。例如,在real2sim2real方法[217]中,利用现实世界知识构建符合物理规律的仿真器,再用于训练机器人,从而增强模型的鲁棒性与泛化能力。
关键词: 具身人工智能;具身认知;神经符号人工智能;图像模式;自然语言理解;智能体推理;心理模拟。 ,以实现完全具身的智能体;第6节讨论了这种具身智能体在推理和自然语言理解方面获得的优势;第7节总结了本文。 最近大型语言模型(LLMs)的进步也被利用来提升具身学习任务中的表现,尤其是在具身指令遵循方面[34],同时标准化的基准测试正在出现,以系统地评估这些能力[21]。 通过在我们的正式符号中捕捉这些具身认知模式,我们使人工智能系统能够以直接连接到空间推理和运动规划的方式处理语言。 7 结论和挑战 本文提出了一种全面的方法来弥合自然语言理解和具身认知之间的差距。
在大会论坛上,奥比中光创始人、董事长兼CEO黄源浩说,AI大模型出现后,机器人加速实现跨越式进化,走向具身智能。 黄源浩说,具身智能的发展,依赖多模态大模型能力,在ChatGPT文本大模型与多模态大模型之间,奥比中光聚焦的机器人视觉正是一大关键。 基于业内领先的3D视觉解决方案,奥比中光正构建机器人视觉产业中台,为机器人厂商提供一站式机器人视觉感知解决方案,成为具身智能机器人产业链上的重要玩家之一。 具身智能机器人需要像人类一样具备三大核心能力,包括用于思考和推理的“大脑”,用于感知世界的“眼睛”,用于与世界交互的“身体”。 黄源浩说,未来机器人在某些方面的性能会比人表现得更好,比如机器人的感知能力。 黄源浩认为,视觉感知大模型是具身智能机器人重要的技术发展路径。
在过去的几年里,许多研究表明,如何用主动推理过程来解释人类和动物的行为 无论是离散决策还是连续运动控制 激发了机器人和人工智能领域的创新解决方案。 一项研究解决了主动推理中的现实机器人导航问题,但使用了替代的仿生 SLAM 方法[67]。 以ρ表示要达到的目标,我们可以定义以下动力学函数: 从图 2 中可以更好地理解这些量之间的相互作用,图 2 显示了具有定义的动力学函数的到达运动和代理生成模型的轨迹。 一些研究表明,直接使用外感受信息来计算运动命令可以导致更平滑的运动和视觉本体感受冲突的解决[28,41,43 ],事实上,一些机器人实现有效地使用了这种方法[86,87 ]。 在大多数情况下,我们需要根据较低级别的信息转换意图,提供更具动态性和更少不确定性的行为。
有人甚至设想,只要将最先进的大模型装入机器人,就能立刻实现具身智能。然而,事实并非如此,物理实体或面临更大的挑战。 大家熟知的机器人行业明星公司波士顿动力(Boston Dynamics),已经为“具身”工程问题“死磕”了二十余年。 不管哪种方式,对于具身智能这项复杂工程,都是有益且必要的。随着技术的发展和市场的变化,开源与闭源之间的界限也在逐渐变得模糊,未来可能会出现更多结合两者优点的混合模式,共同解决具身智能这一多学科难题。 总的来说,要实现具身智能,还需要做大量的工作。“没有灵魂的躯体是一具行尸走肉,没有躯体的灵魂是一缕虚无幽灵。”在具身智能的发展过程中,具身和智能缺一不可,且需要达到高度的有机结合。 可喜的是,当下全世界的AI与机器人专家正在各自的专业领域为此狂奔,长远来看,具身智能一定会走进千家万户,只是,还需要给它多一些时间。
他们发现了具身智能领域的 “圣杯”——data scaling laws,让机器人实现了真正的零样本泛化,可以无需任何微调就能泛化到全新的场景和物体。 这一突破性发现,很可能成为机器人领域的 “ChatGPT 时刻”,彻底改变我们开发通用机器人的方式! 从火锅店到电梯,机器人展现惊人泛化力 研究团队可不是只在实验室里玩玩具。 2. 单个物体的演示数据很容易达到饱和 —— 在倒水和摆放鼠标等任务中,总演示数据达到 800 次时,性能就开始趋于稳定。因此,每个物体 50 次示范基本就能搞定。 一位是清华大学交叉信息研究院四年级博士生胡英东,专注于具身智能领域的前沿研究。他致力于探索通用机器人系统所面临的基础性问题,旨在使机器人能够在各种非结构化的现实环境中泛化其学习到的行为。 他专注于将大模型的先验知识融合到机器人任务中,帮助机器人完成日常生活中的复杂任务;同时他希望利用已有的机器人算法、视觉语言大模型,探索机器人落地的可能性。
它首次实现了秀丽线虫神经系统、身体与环境的闭环仿真,不仅填补生物智能模拟领域空白,还为具身智能发展和AI实际应用开辟了全新路径。 这一工作不仅为研究生物智能提供了新的平台,也为具身智能理论的进一步发展和人工智能领域的应用奠定了基础。 ,研究者们越来越多地尝试通过构建生物体模型来理解神经系统与行为之间的关系,并推动具身智能的研究。 BAAIWorm天宝通过高精度还原和模拟生物智能,为理解和探索生物启发的具身智能的核心机制提供了重要的实验平台。 图1:BAAIWorm天宝是一个具身秀丽隐杆线虫仿真平台。BAAIWorm天宝将一个生物物理层面非常精细的神经网络模型与一个生物力学身体和三维环境整合在一个闭环系统中,进行感官刺激和肌肉信号的交互。