机器人利用大模型F3RM的方法,用语言指令来抓取用户指定的物体-www.cqhaiergw.com

首页
摩登7产品
行业应用
渠道合作
摩登7新闻
研究院
投资者关系
技术支持
关于摩登7
|
 
  当前位置:首页 > 新闻资讯 > 机器人开发 > 大模型与智能机器人结合,用语言指导机器人抓取物体  
 

大模型与智能机器人结合,用语言指导机器人抓取物体

来源:CAAI认知系统与信息处理专委会      编辑:摩登7      时间:2023/9/6      主题:其他   [加盟]

从斯坦福大学的 VIMA 机器人智能体,到谷歌 DeepMind 推出控制机器人的视觉 - 语言 - 动作(VLA)的模型 RT-2,大模型加持的机器人研究备受关注。

当前,自监督和语言监督的图像模型已经包含丰富的世界知识,这对于泛化来说非常重要,但图像特征是二维的。摩登7知道,机器人任务通常需要对现实世界中三维物体的几何形状有所了解。

基于此,来自 MIT CSAIL 和 IAIFI 的研究者利用蒸馏特征场(Distilled Feature Field,DFF),将准确的 3D 几何图形与来自 2D 基础模型的丰富语义结合起来,让机器人能够利用 2D 基础模型中丰富的视觉和语言先验,完成语言指导的操作。

论文地址:https://arxiv.org/abs/2308.07931

具体来说,该研究提出了一种用于 6-DOF 抓取和放置的小样本学习方法,并利用强大的空间和语义先验泛化到未见过物体上。使用从视觉 - 语言模型 CLIP 中提取的特征,该研究提出了一种通过开放性的自然语言指令对新物体进行操作,并展示了这种方法泛化到未见过的表达和新型物体的能力。

研究团队用一个讲解视频详细介绍了 F3RM 方法的技术原理:






控制器在机器人运动控制系统中发挥核心作用

运动控制器以传感器为信号敏感元件,以电机或动力装置和执行单元为控制对象的一种控制装置,为电机或其它动力和执行装置提供正确的控制信号

机器人整体电子电气结构以电控系统为基础

典型的机器人电子电气结构主要由以下部分组成, 电源管理,环境感知,中央控制单元,电机控制,人机界面, 可选组件和其他应用

气压/液压驱动型机器人灵巧手特点

通过动力元件推动工作介质(液体或气体)在缸体内产 生压力差而驱动执行元件,与其他驱动方式相比,液压和气压驱动具有输出功率密度大,易于实现远距离控制以及输出力大等优点

电机驱动型机器人灵巧手特点

微型驱动器和减速器的发展为手指驱动系统的微型化和集成化创造了条件,其直线驱动器将旋转电机,旋转直线转换结构和减速机都集成在灵巧手内部

驱动器混合置型机器人灵巧手特点

混合置式灵巧手将一部分驱动器放在手臂,既保证了驱动力,也降低了灵巧手本体的体积, 使得灵巧手更加拟人化

驱动器内置型机器人灵巧手特点

驱动器内置式灵巧手各关节具有较好的刚性,更利于传感器的直接测量,且模块化设计利于更换维护;整手尺寸较大,关节灵活度下降

驱动器外置型机器人灵巧手特点

灵巧手的外观设计更加拟人化,手指本体更加纤细;可以采用更大的驱动电机,从而增大手指的输出力;驱动器与手本体之间距离远增加了控制器设计的难度

机器人多指灵巧手经历了三个阶段

第一阶段是从 20 世纪 70 年代—20 世纪 90 年代,典型代表是日本的 Okada、美国的 Stanford/JPL 和 Utah/MIT;第二阶段是从 20 世纪 90 年代到 2010 年

机器人灵巧手是指数≥3,自由度≥9 的末端执行器

灵巧手是机器人操作和动作执行的末端工具,满足两个条件:指关节运动时能使物体产生任意运动,指关节固定时能完全限制物体的运动,定义灵巧手是指数≥3,自由度≥9 的末端执行器

智能类人机器人特斯拉擎天柱 (Optimus) 执行机构分析

特斯拉公布了 6 种规格的执行器,旋转执行器采用谐波减速器+电机的方案,线性执行器采用丝杠+电机的方案,对于手掌关节,其采用了空心杯电机+蜗轮蜗杆的结构

人形机器人前主要聚焦于运动控制能力的提升

人形机器人有更强的柔性化水平,更好的环境感知能力和判断能力,首要需要解决的问题是如何实现像人一样去运动,能够兼顾可靠性

特斯拉机器人躯干共有28个关节

28个执行器分别为肩关节(单侧三自由度旋转关节)6个,肘关节(单侧直线关节)2个,腕部关节(单侧2个直线+1个旋转)6个,腰部(二自由度旋转关节)2个
 
资料获取
新闻资讯
== 资讯 ==
» 服务机器人在实现高度通用性和泛化性过程中
» 服务机器人落地面临的机遇与挑战:行业生态
» 商用服务机器人行业进入下半场阶段的特点:
» 商用服务机器人发展趋势:从专用迈向通用
» 促进服务机器人需求释放的因素:关键技术支
» 服务机器人行业发展趋势分析2025
» 开放性的全栈式智能服务机器人生态2025
» 广东省DeepSeek模型地方政府部署进
» 浙江省DeepSeek模型地方政府部署进
» 生成AI在高等教育中的应用:当前的做法和
» 生成式人工智能与高等教育变革:价值影响及
» 2025大模型发展图谱与DeepSeek
» 灵巧手百家争鸣,进化不息:核心环节有无刷
» 宇树科技机器人产业深度产品矩阵竞争优势商
» 机器人量产时刻,互动感知能力有望成为迭代
 
== 机器人推荐 ==
 
迎宾讲解服务机器人

服务机器人(迎宾、讲解、导诊...)

 

                              消毒机器人排名        移动消毒机器人        导览机器人         
版权所有 © 摩登7智能机器人集团股份有限公司     中国运营中心:上海·科技园8号楼5层     中国生产中心:山东日照解放路71号
销售1:4006-935-088    销售2:4006-937-088   客服电话: 4008-128-728