从虚拟现实到康复治疗与通信,触觉技术已经彻底改变了人类与数字世界交互的方式。 近期,一个专家团队分析了可穿戴多感官触觉技术的当前状态,概述了其挑战、进展和实际应用。触觉设备通过触摸实现通信,自20世纪60年代问世以来已显著发展。 但随着传感和驱动技术的进步,触觉设备已变得日益可穿戴。当今的创新聚焦于皮肤反馈(刺激皮肤的感受器以提供逼真的触觉),而非动觉反馈(模拟施加于肌肉骨骼系统的力)。 “触觉技术中的真正沉浸感不仅取决于用户感受到什么,还取决于他们体验这种感受时的自然和舒适程度。”除了指出挑战,作者还识别了几种可能重新定义可穿戴触觉技术的新兴驱动方法。 该综述还深入探讨了可穿戴触觉技术如何为人类与数字及物理环境的交互解锁新的可能性。在虚拟现实和增强现实中,多感官触觉通过让用户感受数字对象来增强沉浸感,改善游戏、训练模拟和教育中的体验。
彻底改变触觉:研究人员探索可穿戴多感官触觉技术的未来从虚拟现实到康复和通信,触觉技术已经彻底改变了人类与数字世界的交互方式。 早期的触觉设备专注于单一的感官提示,例如基于振动的通知,而现代技术进步则为多感官触觉设备铺平了道路,这些设备集成了各种形式的基于触摸的反馈,包括振动、皮肤拉伸、压力和温度。 触觉技术真正的沉浸感不仅取决于用户感受到了什么,还取决于他们体验的自然度和舒适度,"普雷斯顿说。除了强调挑战之外,作者还指出了几种可能重新定义可穿戴触觉技术的新兴致动方法。 该综述还深入探讨了可穿戴触觉技术如何有望在人类与数字和物理环境的交互中开启新的可能性。在虚拟和增强现实中,多感官触觉技术通过让用户感受数字物体来增强沉浸感,改善了游戏、训练模拟和教育体验。 辅助技术和通信应用利用触觉界面,通过将听觉或视觉信息转化为基于触摸的信号,帮助有视力或听力障碍的人士。
然而,目前大多数机器人交互式技术系统由于缺乏对触觉传感技术的有效应用,其动作不准确、不稳定,交互过程“笨拙”,极大地限制了他们的交互和认知能力。 我们在这篇文章中重点关注人类和机器人的触觉传感问题。 最后,具体分析两篇关注在具体应用场景中向机器人引入触觉传感技术的文章。 一、人类「触觉」 首先,我们来分析人类的触觉究竟是什么。 2.3 控制层(Action) 最后,我们从控制层的角度讨论触觉传感技术在机器人中的应用。 三、「触觉传感」技术应用 3.1 基于粘着控制摩擦的工业夹具的改进(Improving Industrial Grippers With Adhesion-Controlled Friction)[4] 在将人工触觉传感技术应用于真实世界环境之前,还需要进行大量的系统级工作。这将为今后开发实用、经济的触觉传感系统奠定基础。
机器人触觉传感器并非徒有其表某大学和某大学的研究人员克服了一个实现低成本先进机器人触觉的主要障碍。作者认为,潜伏在许多触觉传感器论文边缘的问题,恰恰在于机器人皮肤本身。 随着这一误差被消除,廉价的机器人皮肤将能使机器人模仿人类的触觉,感知物体的曲线和边缘,这对于正确地抓握物体至关重要。 机器人技术尤其棘手,部分原因是它需要如此多种类型的专业知识。例如,为机器人设计功能电子材料的聚合物材料科学家,与将处理传感器信号的电子设备的电气工程师,所受的训练和技能并不相同。 在揭示大量触觉传感文献中可复现性问题的同时,格雷森挑战研究界,要求使用论文中描述的质量检查方法来建立更高的标准。 该论文得到了某国家科学基金会、某大学、某家庭基金、某夫妇、某大学纳米科学与纳米技术中心以及某双边科学基金会的支持。额外的出版支持来自某大学的以色列创新项目以及某大学的电气与计算机工程系。
近日,微软的研究团队演示了一种名为MRTouch的交互技术,其能够为HoloLens上的MR内容带来触觉反馈。 微软于2016年发布HoloLens头显,该头显具有环境映射和手部追踪技术,可让用户与真实世界的3D虚拟物体进行互动。虽然HoloLens支持手势追踪,但该技术并不能给用户提供一种更直观的感受。 也就是说,手势追踪技术不能给用户提供交互式的的触觉反馈。 ? 目前,大多数用户都习惯于智能手机、平板电脑和触屏电脑的这种触摸式交互,而MRTouch软件正好迎合了广大用户的这种交互习惯,该软件借助HoloLens先进的环境映射和手部追踪技术,可精确定位用作虚拟输入设备的平坦表面
触觉传感机器人运动规划与执行技术解析系统概述某中心最新推出的Vulcan机器人系统已完成试点试验,即将进入测试阶段。 与传统工业机器人避免接触的策略不同,Vulcan机器人通过触觉感知与视觉系统协同工作,模仿人类"先接触后调整"的操作模式。 技术优势该系统代表了机器人操作的新范式:突破传统"仅通过自由空间移动"的限制实现高接触式的力反馈控制循环能够处理各种物品类型,包括易碎品和密集堆放物品为未来20年的机器人操作应用奠定技术基础相关技术细节详见研究论文
触觉学科的现状与未来 Part 3 触觉与数字世界 简介:触觉的内容相信大家已经有所了解,但如何像视觉一样,如视频电话一般应用于数字世界中呢? 本期徐磊研究员将类比视觉在数字世界的呈现,为我们讲述触觉呈现于数字世界的难度。 内容难度:★★☆(计算机专业或有一定计算机知识储备的大学生) ?
然而,七年来,它一直在致力于开发人机交互的新次元——一种触觉手套,可以再现抓握物体或用手在表面上滑动等感觉。 近日,Meta 首次展示了它,并将该设备与其他可穿戴技术一起视为 VR 和 AR 交互的未来。 在简化的层面上,Meta 的触觉原型是一个手套,内衬大约 15 个脊状充气塑料垫,被称为执行器,被布置成贴合佩戴者的手掌、手指的下侧和指尖。 这项技术借鉴了软体机器人领域最新的进展,用微型气阀取代了笨重的电机。自从 2014 年收购创业公司 Oculus VR 以来,Meta 几乎一直在研究它。 www.theverge.com/2021/11/16/22782860/meta-facebook-reality-labs-soft-robotics-haptic-glove-prototype 往 期 回 顾 技术
触觉学科的现状与未来 Part 2 触觉的分类 简介:触觉作为人体最先最早发展的一种感知,它的两个分类:动觉和压觉又有着什么样的区分呢? 本期徐磊研究员将继续从人体生理的角度向我们介绍人体的两个触觉的分类:动觉和压觉。 内容难度:★★☆(计算机专业或有一定计算机知识储备的大学生) ?
假使互联网能够服务人类另一种感官——触觉,那将是什么样的体验?随着移动宽带的数据速率与日俱增,身处前沿的科学家们正开始构建触觉互联网。 “触觉互联网”一词最先被德国德累斯顿技术大学教授Gerhard Fettweis所提出,Gerhard教授和他的团队早在2012年便开始思考如何实时远程触控机器人了。 触觉互联网的实现颇具挑战性,但研究人员与公司已经对其产生了浓厚的兴趣。自从Dohler在巴塞罗那召开的世界移动通信大会上作了演讲,“触觉互联网”迅速成为了那次会议的热词。 作为开发5G技术的行业领袖之一,到目前为止三星是无线数据连接最高速度的创造者——每秒7.5Gb。5G网络的运行速度在以100迈行驶的汽车上也达到了每秒1.2Gb。 好,我们假设5G网络已经能让你开心地下载最新的电影, 但对于触觉互联网来说,还缺少重要的一环。 我们还需让用户接收到触觉,因此必须找到一种方法为触觉编码,把数据转化。
近日,Oculus向其开发人员知识库添加了新的文档,这个文档详细介绍了Oculus SDK的“Buffered Haptics(缓冲触觉)”功能,这种功能能为Touch控制器编程更高级的触觉反馈方式。 Oculus最新的“Buffered Haptics(缓冲触觉)”功能可以让开发人员更加精确地控制触觉反馈。 ? 该SDK支持两种控制器触觉,一种是缓冲,一种是非缓冲。 Oculus建议这两种方法不要同时使用以避免不可预知的触觉行为。 非缓冲触觉更易于概念化和控制,并且相当于以特定频率(160Hz或者320Hz)和振幅(0至255)简单地切换震动。 Oculus SDK提供了一个触觉样本的App,并给出了通过使用缓冲触觉就可以实现一些触觉效果的实例: 1、在每个波周期结束时,平滑的正弦波振动具有“嗡嗡声逐渐减弱”的效果 2、在左右控制器上进行振动平移 根据玩家们在虚拟世界的表现,可能会出现一些有趣的动态触觉。
电子技术的发展,让我们可以随时随地享受一场「视听盛宴」,人类的听觉和视觉从此彻底解放。 当下触觉感知技术主要是通过「数据驱动」的模式来模拟和渲染触感,模型首先记录下用户与真实纹理交互的信号,然后将信号输入到纹理生成部分,并用振动的方式将触感「回放」给用户。 从电子游戏到时装设计,一切都在集成触觉技术,而现有的虚拟纹理数据库可以通过这种用户偏好方法得到改进。 这项技术与纹理搜索模型一结合,那你就可以使用之前别人已经记录完成的虚拟纹理,然后根据策略来优化纹理。 作者畅想,在未来,模型甚至可能不需要真实的纹理。 文章的第一作者Shihan Lu目前是南加州大学计算机科学学院的博士研究生,之前在沉浸式技术方面做过声音方面的相关工作,即通过在工具与其交互时引入匹配的声音,使虚拟纹理更加身临其境。
其中最杰出的,无过于来自卡内基梅隆大学人机交互研究所(又称未来界面小组、FIG)的研究人员开发出了让用户在虚拟现实中感受到嘴唇、牙齿和舌头的触感的技术。 以及撞箱子时碎块打在唇齿间的感觉…… 这……听着就疼…… 元宇宙接吻了解一下 当然,这么有用的新技术,用来复现在VR里刷牙喝水岂不是好浪费。 不论是谁,首先想到的都是用这个技术在VR里复现接吻的甜蜜触觉。研究者也不例外。 自然,也包括亲吻时情侣间唇舌互动的各种触觉体验。 很多人看到了商机:FIG的技术要是商用落地的话,世界上首个能远程虚拟复刻接吻的元宇宙硬件设备就诞生了。 研究人员目前只能为距离嘴唇最近的物体产生触觉,并不能实现多节点触觉。 好在,用户通常只会把一个物体放到嘴边(例如拿起杯子喝水)。 场景中使用的触觉参数 效果嘛,简而言之就是——大受欢迎!
随着机器人技术从「预设程序执行」向「具身智能交互」跨越,触觉感知作为理解物体属性、实现精细操作的核心感测方式,其重要性日益凸显,但当前系统在感知维度、分辨率及信号解读能力上仍远逊于人类,导致机器人往往处于 该系统将多光谱成像、摩擦电感测与惯性测量融为一体,并通过构建 8.5B 参数的触觉语言模型 DOVE,实现了触觉信号从底层感知到高层语义推理的突破。 皮肤最外层的导电层采用透明的 PEDOT:PSS,通过丝网印刷技术在具有优异拉伸性能的 TPU 薄膜上形成涡旋线电极设计。 为了处理极其复杂的触觉输入,系统并行集成了四组预训练的 CLIP(对比语言—图像预训练)模型作为模态编码器,将图像化的触觉特征(包括颜色、纹理、温度和材质信号)提取为深层特征向量。 图 5 触觉语言大模型 DOVE DOVE 的训练通过三阶段策略实现从底层感知到高层认知的递进:首先利用 CLIP 将异构传感器信号转化为通用的图像表征;随后通过投影层将触觉特征精准对齐至语言模型空间;
该技术能够感知和处理一系列物理输入,使机器人能以更有意义的方式与物理世界互动。 与通常通过嵌入小区域的传感器工作、且需要不同传感器检测不同类型触觉的其他机器人触觉解决方案不同,由这两家机构研究人员开发的这种电子皮肤整体就是一个传感器,使其更接近人类自身的传感系统——人类的皮肤。 研究人员结合物理测试和机器学习技术,帮助机器人皮肤“学习”哪些通路最为关键,从而更高效地感知不同类型的接触。 “为不同类型的触觉配备不同的传感器会导致材料制造复杂,”主要作者表示,“我们希望开发一种解决方案,能够同时检测多种类型的触觉,但只需单一材料。” 随后对皮肤进行了不同类型触觉的测试:用热风枪吹它、用手指和机械臂按压它、用手指轻轻触摸它,甚至用手术刀切开它。研究团队利用这些测试中收集的数据训练机器学习模型,使机械手能够识别不同类型触觉的含义。
“出海挑战——数据的合规和技术实现双重困境”部分)。 二、全栈触觉平台+腾讯云协同构建全球化解决方案 帕西尼感知科技(创始人兼CEO:许晋诚 | 工学博士)以触觉稀缺模态为核心,构建全栈式具身智能生态:源起早稻田大学机器人实验室,聚焦“心脏感知”核心零部件 ,实现全线层贯通、端到端闭环(据“帕西尼——以触觉稀缺模态为核心的全栈式平台 &零部件制造商”部分)。 三、量化验证:触觉技术领先性与全球化业务价值 应用效果以数据为核心,关键指标如下: 市场地位:触觉领域全球出货第一,行业市占率超80%(据文中“触觉 破局者”部分)。 技术壁垒:传感技术全球唯一、本体技术全球领先(实现多模态软件算法控制)、具身智能模型全球模态最全(据“前沿技术——技术持续突破塑造差异化竞争壁垒”部分)。
受人类皮肤层启发,其三层触觉传感器使其能够抓握并区分各种形状和表面纹理的物体,而不仅仅是检测到接触。每个柔软、充气的手指关节都可以通过前臂的肌肉进行控制。 机器学习算法则专注于处理来自人工触觉感受器的信号,以创造逼真的触感。“来自手指的感官信息被转换为神经语言,通过电神经刺激提供自然的感官反馈。” 这对机器人技术和假肢技术来说是一个新领域,以前它们并未完全接纳这种混合技术。它既能提供有力的握手,也能拿起柔软的物体而不用担心将其捏碎。” 这种仿生技术使得义肢手能够通过使用前臂的肌肉信号来工作,这与大多数手部义肢一样。这些信号桥接大脑和神经,允许手根据其触觉进行弯曲、松开或反应。 “我们的系统受到神经系统的启发——它模拟了手的触觉感受器,产生类似神经的信息,这样义肢的‘大脑’,也就是它的计算机,就能理解物体是热是冷、是软是硬,还是正从手中滑落。”
触觉研究——「PIVOT」,提出了一种极度真实的VR接球和投掷体验。 如今消费者VR硬件提供的触觉反馈,都不太好。 大多数VR开发者都创建了自己的投掷和抓取机制,这些机制在不同的世界或不同的控制器中感觉都是不同的。 还有双手投掷: 拎进篮子,就连篮子的延展效果都可以被真实地感受到: 用石头打火: 甚至劈柴的动作都可以精准交互: PIVOT构造 这项新研究是在2020年美国计算机学会(ACM)用户界面软件和技术研讨会 触觉枢轴服务于按需控制和触觉渲染虚拟对象,因为手触及他们。枢轴包括通过机动铰链展开(左)和缩回(右)的触觉手柄。一个被动的桡尺铰链允许自然的手倾斜 PIVOT设计的核心是其铰链机制和触觉手柄。 触觉手柄通过一个改良的伺服电机(驱动铰链)操作,可以根据需要被召唤到个人手中,让他们的手在不使用时保持空闲。这个功能使得PIVOT非常适合增强现实或混合场景。
这一次,他们看准的是开发隔空触觉技术的英国公司Ultraleap。 嗯,就是前不久Meta(Facebook)用一副触觉手套体验的那种隔空触觉。 用超声波实现空中触觉 Ultraleap是由英国公司Ultrahaptics和美国公司Leap Motion合并而来,主打手部追踪和隔空触觉技术。 其中的隔空触觉技术,正是与最近Meta推出的触觉手套有异曲同工之处,都是能够让人不接触实物,就体会到虚拟的触觉。 Ultraleap会用手部追踪技术让这一位点落在人手上,从而实现了隔空触觉。 2017年,官方曾出过一个有趣的demo:只要在《星球大战》的海报前挥一挥手,就能触摸到“原力”了。 不过当时创始人Tom Carter表示,STRATO Inspire还不能让人感受到非常细微的触觉。 而从长远来看,Carter认为这项技术可以被应用在汽车场景中。
大数据文摘出品 来源:VB 编译:cccck 把触觉和视觉协同起来?? 是不是听上去有点不可思议,但是最近,三星、麦吉尔大学和约克大学的研究人员就提出,AI可以根据对对象初始状态的视觉和触觉测量来预测后续运动。 为了预测物体在物理交互过程中的静止状态,研究人员还使用了所谓的静止状态预测以及动态场景中的动触觉数据集,其中包括在平面上自由下落,在倾斜平面上滑落并从静止中受到干扰的物体姿势。 研究人员表示,他们的方法能够高精度地预测物体静止形态的原始视觉和触觉测量值,并且这些预测与真实情况也有着很高的匹配度。 不仅如此,他们声称,该框架学会了视觉、触觉和3D姿势模式之间的映射,从而可以处理缺少的模态,例如当输入中没有触觉信息时,以及预测物体从传感器表面掉下来的实例,导致输出的图像是空的。