松灵双臂机器人数据飞轮生态崭露头角,引领具身智能创新潮

智车科技

3周前

随着CobotMagic生态系统的不断完善和发展,松灵机器人将会持续进行生态资源的收集和归纳,同时也希望更多高校加入到CobotMagic以及具身智能的开源开发中来,为更多领域和行业带来更加深远的影响。

在探索人工智能的前沿领域,具身智能正逐渐成为焦点,其中,硬件、数据、具身智能模型构成具身智能系统的三大生态。

具身智能硬件是具身智能系统的物理基础,模型是具身智能系统的决策核心,数据用于泛化和训练智能模型的关键资源,三大生态共同构成了具身智能系统的核心生产力,并推动着具身智能技术的不断发展和应用。

那么,在具身智能的开发初期,作为高校科研人员和开发者,如何选择合适的平台?如何采集自己的数据?如何训练自己的模型?如何部署到实际应用?

三位一体具身智能解决方案

Mobile ALOHA开源项目(后简称ALOHA)发布以来,其便携式、低成本的采集真实有效的真实数据的方案深受行业认同。松灵Cobot Magic致力于更广泛地为全球科研探索、技术创新及数据开源提供整套完成的开箱即用的解决方案。

自年初发布以来,凭借其强大的硬件基础,吸引50+高校和科研机构进行使用和开发积累,累计以来,我们开发者群体在这里产生了大量学术成果,我们也在这里进行收集,涵盖了通过AGIC生成高质量数字资产、仿真数据生成、标准数据、大模型等,并初步构建围绕硬件、数据、具身智能模型的三位一体化解决方案。

1、标准化硬件方案

Cobot Magic是一款轻量级标准化双臂遥操作硬件平台,搭载松灵自研超轻量6自由度协作机械臂PiPER、视觉传感器、激光雷达、移动底盘等硬件。

可用于双臂移动操作的数据采集、自动化应用部署与智能化任务执行、支持斯坦福ALOHA等开源算法的复现,为具身智能数据采集提供一站式解决方案。

硬件部分

Cobot Magic自发布以来,共有两代,更新后的Cobot Magic配备高性能工控机、深度相机、松灵自研机械臂PiPER、搭配松灵线控差速底盘Tracer;可实现推理训练智能作业与模仿与执行精细化动作,更新优化后实现更高性价比!

*详情可搜索松灵机器人淘宝店铺

软件支持

Cobot Magic提供ROS消息接口,实现多摄像头与多机械臂的高帧率数据同步与采集,可采集标准ALOHA、ARIO等数据格式;

同时,适配ALOHA模型的训练与推理,端到端的模型推理为机械臂提供高精度的控制指令;数据采集、模型训练与推理代码完全开源,可快速上手完成二次开发。

Cobot Magic还配备了全面的开发工具,包括SDK、API接口以及用户友好的开发文档。这些工具极大地降低了开发门槛,使得即使是初学者也能快速上手,进行机器人应用的开发和定制。

Github链接:https://github.com/agilexrobotics/cobot_magic

Mobile ALOHA复现

基于Cobot Magic,通过斯坦福ALOHA源码及论文,可实现ALOHA源码复现,帮助用户更好地使用开源硬件机器人,深度学习ALOHA, 适应不同环境的采集,从简单的抓取放置,到更精细复杂的操作,如倒水、做饭、乘电梯、收拾物品任务。

论文标题:A Low-cost Open-source Hardware System for Bimanual Teleoperation

论文链接:https://mobile-aloha.github.io/

源码地址:https://github.com/MarkFzp/act-plus-plus

2、从标准化数据集到模型

本体(硬件)数据、模型之间互为要素,缺一不可,他们之间的关系为螺旋式上升的关系,从标准化数据集到具身智能模型,至今Cobot Magic参与了大量学术项目,已初具生态。

以下是一些学术成果的汇总,希望能帮助到我们的开发者。

JD ManiData—国内首个双臂移动机器人操作 数据集开源!

早在Cobot Magic发布后,已有京东探索研究院基于Cobot Magic面向物流及家庭健康应用场景,通过在数据、模型及推理效果方面进行的深入研究与探索,构建出国内首个双臂移动机器人操作数据集 —— JD ManiData 。

文章链接:https://mp.weixin.qq.com/s/0lziyKcQtW86RlngLK3pAA

开源数据库链接:https://www.jdcloud.com/cn/explore

ARIO:标准化数据集构建

在具身智能发展中数据是关键问题。数据稀缺、非标准化平台的异构性,是具身智能数据采集的两大痛点。

基于此,松灵机器人联合鹏城实验室、中山大学、南方科技大学、香港大学等领先机构联合发起ARIO具身智能数据开源联盟,通过共享开源数据集和技术资源,构造标准化数据共享流程,使具身智能数据获取标准化、更高效。

鹏城实验室具身智能百万规模标准化数据集

月前,ARIO联盟发起人之一的鹏城实验室,基于松灵Cobot Magic 主从双臂机器人,设计了 30+ 标准化任务,包括简单 —— 中等 —— 困难 3 个操作难易等级,并通过增加干扰物体、随机改变物体和机器人位置、改变布置环境等方式增加样例的多样性,最终得到3000 多条包含3个rgbd相机的轨迹数据。

机器人数据标准联盟,促进机器人数据发展,通过开源的数据促进机器人行业发展。

未来期待更多的高校加入具身智能数据的开发和探索当中,为具身智能数据开源积累更多数据。

文章链接:https://mp.weixin.qq.com/s/Op2GqLzmZeq0DQHC2BbIaQ

论文题目:All Robots in One: A New Standard and Unified Dataset for Versatile.General-Purpose Embodied Agents

论文链接:http://arxiv.org/abs/2408.10899

项目主页:https://imaei.github.io/project_pages/ario/

RoboTwin:双臂协同机器人策略学习 Benchmark 

香港大学与松灵机器人、上海人工智能实验室、深圳大学、中国科学院自动化研究所携手共创,基于Cobot Magic硬件构建的仿真环境下大规模高效数据生成,利用AIGC高效生成数据资产满足ARIO数据编码规范,极大降低数据采集和生成难度。

论文链接:https://robotwin-benchmark.github.io/early-version/

GitHub链接:https://github.com/agilexrobotics/RoboTwin

论文题目:RoboTwin: Dual-Arm Robot Benchmark with GenerativeDigital Twins (early version)

清华开源:全球最大双臂机器人扩散大模型RDT

近日,清华大学基于Cobot Magic,构建全球最大的机器人Diffusion模型,模型参数大小高达I.2B【目前最大】,训练数据量达700G。

模型开源、数据开源,构建一个支持微调的的具身大模型。使得全球科研人员和开发者可以更低的成本加入具身科研中。

项目主页:https://rdt-robotics.github.io/rdt-robotics

论文链接:https://arxiv.org/pdf/2410.07864

论文标题:RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

3、多元化创新

Cobot Magic通过其强大的硬件基础、丰富的高校科研案例、全面的数据集资源以及便捷的开发工具,构建了一个全方位、易上手的具身智能开发生态。这一生态不仅为开发者提供了前所未有的研究与实践平台,更为具身智能的发展注入了新的活力和动力,使高校科研人员和开发者能开箱即用,基于Cobot Magic低成本的进行更多元化的开发创新。

随着Cobot Magic生态系统的不断完善和发展,松灵机器人将会持续进行生态资源的收集和归纳,同时也希望更多高校加入到Cobot Magic以及具身智能的开源开发中来,为更多领域和行业带来更加深远的影响。

随着CobotMagic生态系统的不断完善和发展,松灵机器人将会持续进行生态资源的收集和归纳,同时也希望更多高校加入到CobotMagic以及具身智能的开源开发中来,为更多领域和行业带来更加深远的影响。

在探索人工智能的前沿领域,具身智能正逐渐成为焦点,其中,硬件、数据、具身智能模型构成具身智能系统的三大生态。

具身智能硬件是具身智能系统的物理基础,模型是具身智能系统的决策核心,数据用于泛化和训练智能模型的关键资源,三大生态共同构成了具身智能系统的核心生产力,并推动着具身智能技术的不断发展和应用。

那么,在具身智能的开发初期,作为高校科研人员和开发者,如何选择合适的平台?如何采集自己的数据?如何训练自己的模型?如何部署到实际应用?

三位一体具身智能解决方案

Mobile ALOHA开源项目(后简称ALOHA)发布以来,其便携式、低成本的采集真实有效的真实数据的方案深受行业认同。松灵Cobot Magic致力于更广泛地为全球科研探索、技术创新及数据开源提供整套完成的开箱即用的解决方案。

自年初发布以来,凭借其强大的硬件基础,吸引50+高校和科研机构进行使用和开发积累,累计以来,我们开发者群体在这里产生了大量学术成果,我们也在这里进行收集,涵盖了通过AGIC生成高质量数字资产、仿真数据生成、标准数据、大模型等,并初步构建围绕硬件、数据、具身智能模型的三位一体化解决方案。

1、标准化硬件方案

Cobot Magic是一款轻量级标准化双臂遥操作硬件平台,搭载松灵自研超轻量6自由度协作机械臂PiPER、视觉传感器、激光雷达、移动底盘等硬件。

可用于双臂移动操作的数据采集、自动化应用部署与智能化任务执行、支持斯坦福ALOHA等开源算法的复现,为具身智能数据采集提供一站式解决方案。

硬件部分

Cobot Magic自发布以来,共有两代,更新后的Cobot Magic配备高性能工控机、深度相机、松灵自研机械臂PiPER、搭配松灵线控差速底盘Tracer;可实现推理训练智能作业与模仿与执行精细化动作,更新优化后实现更高性价比!

*详情可搜索松灵机器人淘宝店铺

软件支持

Cobot Magic提供ROS消息接口,实现多摄像头与多机械臂的高帧率数据同步与采集,可采集标准ALOHA、ARIO等数据格式;

同时,适配ALOHA模型的训练与推理,端到端的模型推理为机械臂提供高精度的控制指令;数据采集、模型训练与推理代码完全开源,可快速上手完成二次开发。

Cobot Magic还配备了全面的开发工具,包括SDK、API接口以及用户友好的开发文档。这些工具极大地降低了开发门槛,使得即使是初学者也能快速上手,进行机器人应用的开发和定制。

Github链接:https://github.com/agilexrobotics/cobot_magic

Mobile ALOHA复现

基于Cobot Magic,通过斯坦福ALOHA源码及论文,可实现ALOHA源码复现,帮助用户更好地使用开源硬件机器人,深度学习ALOHA, 适应不同环境的采集,从简单的抓取放置,到更精细复杂的操作,如倒水、做饭、乘电梯、收拾物品任务。

论文标题:A Low-cost Open-source Hardware System for Bimanual Teleoperation

论文链接:https://mobile-aloha.github.io/

源码地址:https://github.com/MarkFzp/act-plus-plus

2、从标准化数据集到模型

本体(硬件)数据、模型之间互为要素,缺一不可,他们之间的关系为螺旋式上升的关系,从标准化数据集到具身智能模型,至今Cobot Magic参与了大量学术项目,已初具生态。

以下是一些学术成果的汇总,希望能帮助到我们的开发者。

JD ManiData—国内首个双臂移动机器人操作 数据集开源!

早在Cobot Magic发布后,已有京东探索研究院基于Cobot Magic面向物流及家庭健康应用场景,通过在数据、模型及推理效果方面进行的深入研究与探索,构建出国内首个双臂移动机器人操作数据集 —— JD ManiData 。

文章链接:https://mp.weixin.qq.com/s/0lziyKcQtW86RlngLK3pAA

开源数据库链接:https://www.jdcloud.com/cn/explore

ARIO:标准化数据集构建

在具身智能发展中数据是关键问题。数据稀缺、非标准化平台的异构性,是具身智能数据采集的两大痛点。

基于此,松灵机器人联合鹏城实验室、中山大学、南方科技大学、香港大学等领先机构联合发起ARIO具身智能数据开源联盟,通过共享开源数据集和技术资源,构造标准化数据共享流程,使具身智能数据获取标准化、更高效。

鹏城实验室具身智能百万规模标准化数据集

月前,ARIO联盟发起人之一的鹏城实验室,基于松灵Cobot Magic 主从双臂机器人,设计了 30+ 标准化任务,包括简单 —— 中等 —— 困难 3 个操作难易等级,并通过增加干扰物体、随机改变物体和机器人位置、改变布置环境等方式增加样例的多样性,最终得到3000 多条包含3个rgbd相机的轨迹数据。

机器人数据标准联盟,促进机器人数据发展,通过开源的数据促进机器人行业发展。

未来期待更多的高校加入具身智能数据的开发和探索当中,为具身智能数据开源积累更多数据。

文章链接:https://mp.weixin.qq.com/s/Op2GqLzmZeq0DQHC2BbIaQ

论文题目:All Robots in One: A New Standard and Unified Dataset for Versatile.General-Purpose Embodied Agents

论文链接:http://arxiv.org/abs/2408.10899

项目主页:https://imaei.github.io/project_pages/ario/

RoboTwin:双臂协同机器人策略学习 Benchmark 

香港大学与松灵机器人、上海人工智能实验室、深圳大学、中国科学院自动化研究所携手共创,基于Cobot Magic硬件构建的仿真环境下大规模高效数据生成,利用AIGC高效生成数据资产满足ARIO数据编码规范,极大降低数据采集和生成难度。

论文链接:https://robotwin-benchmark.github.io/early-version/

GitHub链接:https://github.com/agilexrobotics/RoboTwin

论文题目:RoboTwin: Dual-Arm Robot Benchmark with GenerativeDigital Twins (early version)

清华开源:全球最大双臂机器人扩散大模型RDT

近日,清华大学基于Cobot Magic,构建全球最大的机器人Diffusion模型,模型参数大小高达I.2B【目前最大】,训练数据量达700G。

模型开源、数据开源,构建一个支持微调的的具身大模型。使得全球科研人员和开发者可以更低的成本加入具身科研中。

项目主页:https://rdt-robotics.github.io/rdt-robotics

论文链接:https://arxiv.org/pdf/2410.07864

论文标题:RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

3、多元化创新

Cobot Magic通过其强大的硬件基础、丰富的高校科研案例、全面的数据集资源以及便捷的开发工具,构建了一个全方位、易上手的具身智能开发生态。这一生态不仅为开发者提供了前所未有的研究与实践平台,更为具身智能的发展注入了新的活力和动力,使高校科研人员和开发者能开箱即用,基于Cobot Magic低成本的进行更多元化的开发创新。

随着Cobot Magic生态系统的不断完善和发展,松灵机器人将会持续进行生态资源的收集和归纳,同时也希望更多高校加入到Cobot Magic以及具身智能的开源开发中来,为更多领域和行业带来更加深远的影响。

展开
打开“财经头条”阅读更多精彩资讯
APP内打开