未来当人形机器人进入家庭、工厂、超市等场所时,它们可以代替人类做什么工作?上海致远创新科技有限公司近日联合上海市人工智能实验室、国家和地方仿人机器人创新中心、上海库普斯科技公司发布了开源项目AgiBot World,该项目基于真实场景数百万真实机器数据集。取食物和水、熨衣服、打扫厕所、搬运重物、扫描产品条码……这套面向全球具身智能开发者的数据集包含了80多项工作技能,展示了人形机器人广阔的应用前景。
为什么要开源这么多数据?致远联合创始人兼首席技术官彭志辉(网名“智辉君”)表示,在具身智能领域,数据的多样性和真实性对于算法创新至关重要,而收集真实机器数据的成本和成本则取决于门槛非常高。作为一家“独角兽”公司,致远凭借技术开放性和行业责任感,希望众多科研团队基于真实数据进行体现智能算法训练,加速技术创新和产品应用。
在数据收集工厂训练机器人
AgiBot World数据集来自致远的数据采集工厂。这家面积约2000平方米的工厂位于张江科学城,拥有数百台人形机器人。工厂还拥有家庭、餐饮、超市、办公、工业等五类人形机器人应用场景,包括3000多个实物。在家居场景中,公司复制了真实的住宅布局,包括客厅、卧室、厨房、浴室等空间。在工业场景中,已经搭建了仓库和生产线,包括分拣系统、包装设备、传送带等,可以训练机器人执行分拣、包装、运输等任务。
数据采集工厂有五类人形机器人应用场景。
在这个高度模拟的环境中,公司员工每天训练人形机器人执行各种任务。解放日报·上观新闻记者看到,这些数据采集员手握两个把手,反复做着各种各样的事情,比如抓取流水线上的某些物品,放入指定的包装箱;等等。用扫码设备扫描产品二维码,然后放入袋子中,递给顾客……通过手柄的远程操作,机器人会跟随他们执行相同的动作。在“动手”训练的同时,所有数据都会上传到云端,成为AgiBot World数据集的候选数据。
“我正在训练的一个商场场景任务持续约1分钟,每天收集约150条数据。”一位数据收集者表示,“估计需要收集数万条数据,机器人才能学会这项任务。”
数据采集者“一步步”训练人形机器人的流水线操作技能。
彭智慧介绍,致远为每个机器人安装了8个环绕式布局的摄像头,让它们能够360度实时感知周围环境的变化;配备6自由度灵巧手,保证动作精准灵活;灵巧手的末端装置有六维力传感器和高精度触觉传感器,可以让机器人感知力的微小变化,实现“精准控制”;该机器人全身拥有32个主动自由度,能够灵活处理多种复杂任务。
为保证数据集质量,员工采集的候选数据将在客户端和云端经过严格筛选。数据采集系统会自动剔除不符合要求的数据,然后审核员逐帧审核,确保机器人做出的每一个动作都符合任务标准。最后,数据将经过算法的二次验证。
人形机器人学习熨烫衣服。
具身智能迎来了 ImageNet 时刻
目前,AgiBot World数据集覆盖了100多个现实生活场景,其中家庭场景占40%,餐饮和工业场景各占20%,超市和办公场景各占10%。完成数据采集的机器人任务中约80%是长距离任务,任务持续时间在60秒到150秒之间。据介绍,与谷歌开源的Open X-Embodiment数据集相比,AgiBot World的远程数据量增加了10倍,场景覆盖范围扩大了100倍。
就像AI大语言模型的开发需要海量的语料库训练一样,人形机器人也需要大数据训练才能成为合格的服务员或工人。 AgiBot World数据集开源后,许多科研团队可以利用该数据训练大型具身智能模型,让人形机器人掌握各种标准化技能。
人形机器人学习家庭除尘技能。
从抓、放、推、拉等基本操作,到搅拌、折叠、熨烫等复杂动作,数据集涵盖了人类日常生活中所需的大部分“原子动作”。在由多个“原子动作”组成的远程任务中,有些任务需要精确操作,导致机器人训练和数据采集难以完成。例如,教机器人使用洗碗机后,即使厨房水槽里的餐具叠放,机器人也能准确地将它们放入洗碗机的每个槽位;在安装电脑记忆棒的场景中,经过反复训练,机器人已经实现了毫米级的控制,能够准确地将记忆棒插入电脑主机的相应位置。
一个人形机器人正在学习清洁厕所。
“我们希望这是一个具有里程碑意义的开源项目,标志着体现智能领域的‘ImageNet 时刻’。”彭智慧告诉记者。 ImageNet是一个用于视觉对象人工智能识别研究的大型视觉数据库。它由美籍华裔科学家李飞飞等人创立,引发了深度学习技术的革命。如今,在新兴的具身智能领域,AgiBot World百万级真机数据集包含传感器数据、操作数据和环境交互数据。有望大幅降低该领域的研究门槛,促进仿人机器人技术创新、跨学科合作和行业应用。
人形机器人学习插花技能。
今年,这家总部位于上海的公司计划举办一系列AgiBot World挑战赛,以吸引来自世界各地的科研团队和创新人才。在这个技术共享平台上,利用数据集开发的各种机器人将一起竞争。与会者还将进行技术交流与合作,共同探讨如何制定这一未来产业的技术标准和规范。
展望仿人机器人产业未来的发展,彭智慧认为,未来2-3年,它们将逐渐在制造领域普及,特别是在柔性生产、装配线等场景中,发挥着不可替代的作用;未来5年,他们将进军家居服务领域。在田间地头,她们凭借一些成熟的技能,从事着较为简单的家务、陪伴和照顾工作,成为了很多家庭的新成员。