15个可交互的真实衡宇场景,李飞飞组开源大型室内场景模拟情况

本文摘要:机械之心转载作者:沈博魁、夏斐、李承澍、Roberto Martín-Martín在这项研究中,斯坦福视觉与学习实验室(SVL)Silvio / 李飞飞组的研究者推出了一个全新的模拟情况 iGibson,从而可以为大型真实场景中的交互任务开发机械人解决方案。iGibson 包罗 15 个充实可交互、视觉上传神、依据真实衡宇构建的场景,而且可以支持 CubiCasa5K 和 3D-Front 的 8000 余个场景。真正实现了「可交互性」。

yb体育登录

机械之心转载作者:沈博魁、夏斐、李承澍、Roberto Martín-Martín在这项研究中,斯坦福视觉与学习实验室(SVL)Silvio / 李飞飞组的研究者推出了一个全新的模拟情况 iGibson,从而可以为大型真实场景中的交互任务开发机械人解决方案。iGibson 包罗 15 个充实可交互、视觉上传神、依据真实衡宇构建的场景,而且可以支持 CubiCasa5K 和 3D-Front 的 8000 余个场景。真正实现了「可交互性」。迩来,面向 AI 和机械人的模拟情况获得了鼎力大举生长。

仅仅几年前,机械人模拟情况还算是相对稀有的产物,但如今,各大学术集会(NeurIPS、CoRL、甚至 ICRA 和 IROS)险些所有与 AI 机械人相关的论文都市用到模拟情况。那么,模拟情况是如何资助到 AI 生长的呢?可以归结为以下几点原因:首先,在机械人领域,机械学习正逐渐发挥越来越大的作用,从而导致了数据需求的迅猛增长 [2] [3] [4] [5]。

现实世界中,机械人只能“real-time” 即时地发生数据,但海量的数据需求导致了从现实世界收集数据变得不现实。此外,机械学习需要收集的数据具备多样性,涉及到机械人的随机探索(random exploration)。

如果在现实世界中让机械人随机运动,对机械人自己和周遭事物都是有挺大风险的。其次,在模拟情况变得越来越 robust、传神(视觉效果和物理引擎)、便捷的同时,算力的增长也导致了大部门机械都可以运行这些模拟情况。

因此即便没有足够的资金来购置机械人,也可以通过模拟情况来从事机械人研究。模拟情况降低了机械人研究的准入门槛,让更多的人能推进该领域的生长。

最后,随着关于种种机械人任务(例如导航、抓握、操作等)的论文数量不停增长,一个问题也日渐凸显:机械人领域需要可复现的基准(repeatable benchmark)。一个成熟的学科需要能简练、可靠地复现实验效果,这样才气让差别的方法理论获得有效地对比。

与现实世界相比,在模拟情况中实现可复现的基准要容易许多。然而,当前联合物理模拟与机械人任务的模拟情况往往局限于一小类任务,而且仅包罗 clean 和小型场景。包罗家庭和办公室等大型场景的少数模拟情况要么无能力改变场景,仅偏重于导航性能,如 Habitat;要么使用游戏引擎或者简化的交互模式,如 AI2Thor、VirtualHome。

所以,在处置惩罚那些需要与场景举行富厚交互的任务而言,这些模拟器不支持端到端感受运动控制回路的开发,也就难以完成此类任务。此外,简化的交互模式也导致很难将可学得的交互计谋转换为可执行的真实机械人指令。基于如上这些想法,来自斯坦福视觉与学习实验室(SVL)的研究者开发了 iGibson 以用来训练和测试 interactive(可交互的)AI 智能体 iGibson。

那么,iGibson 的特殊点在那里呢?首先我们先来区分一下这两个观点:Physics simulator (物理引擎): 物理引擎可以盘算差别行为对现情况发生的物理影响。好比对一个物体施加一个力的结果,或者对于水流的模拟。

随着盘算机图形学的生长,现在有许多成熟的物理引擎。其中在机械人领域最为突出的是 Bullet, PyBullet, MuJoCo, Nvidia PhysX and Flex, UnrealEngine, DART, Unity, and ODE 等。Simulation environment (模拟情况): 模拟情况是一个整体框架,包罗多个元件:物理引擎、渲染引擎、模型(包罗场景、物体、机械人)等。我们可以用模拟情况模拟一个给定的任务,并用它来研究其解决方案。

那么,对一个研究人员而言,想解决什么任务或想研究什么课题就决议了用什么模拟情况,所谓工欲善其事,必先利其器。对 iGibson 而言,我们想研究的是:基于视觉信号,机械人如何在大型真实场景(如一整间公寓)中解决需要与情况互动的任务。论文链接:https://arxiv.org/pdf/2012.02924.pdf项目地址:https://github.com/StanfordVL/iGibson/releases/tag/1.0.0网站地址:http://svl.stanford.edu/igibson/pip 地址:https://pypi.org/project/gibson2/doc 地址:http://svl.stanford.edu/igibson/docs/英文版 blog 地址:https://ai.stanford.edu/blog/igibson/与现有模拟引擎的对比已有的模拟引擎无法支持我们想研究的任务,即可以真实地在大型场景中举行物理互动。

基于牢固机械臂的模拟情况(如 meta-world, RLBench, RoboSuite, DoorGym)并不包罗真实的场景,从而不支持需要在室内导航的任务。为室内导航开发的模拟情况(包罗我们之前开发的 Gibson v1 和 Habitat)虽然可以解决视觉导航(visual navigation)和视觉语言导航(visual language navigation),但所包罗的场景为三维重建的静止 mesh 模型。

这意味着整个场景被封存在了重建时的位置,物品无法移动,机械人也不能与场景举行交互。除此之外,例如 Sapien, AI2Thor, ThreeDWorld (TDW)的一些模拟情况开始逐渐支持场景级的交互任务。

Sapien 偏重的问题是与铰接(articulated)物体的互动(如门、柜等)。TDW 提供高质量的声音、形变、液体模拟(基于英伟达的 Flex 物理引擎)。但 Sapien 和 TDW 均不提供大型场景模型,从而不支持有关大型场景的任务研究。

AI2Thor 虽包罗了可互动的场景,但互动为剧本化的符号交互,把现实中一连的互动和变化离散化了—当物体满足一个先觉条件,agent 可以发出一个指令,从而这个物体进入其下个状态。例如,一个冰箱的敞开水平本应是一连值,但现在只有 “开” 和“关”两个状态。AI2Thor 之后泛起了 RoboThor,但其只提供简朴的传感器与一种机械人 LoCoBot 的模拟。

受限于 LoCoBot 的技术限制与情况的离散化,机械人无法在模拟情况内学习并解决庞大的交互任务。我们想要研究的任务是庞大的、long-horizon(长线)、 mobile manipulation(移动操作)任务,例如:收拾房间、找寻物品等。为了研究可以落地到现实世界的解决方案,模拟可真实交互的大型场景变得尤为重要。

iGibson 的一些功效iGibson 最重要的功效是 interactivity(可交互性),即构建可以真实交互的大型场景。为此,我们实现了如下关键功效:15 个充实可交互、视觉上传神、依据真实衡宇构建的场景。

其中所有物体可真实交互,包罗了质料与动力学信息;可支持 CubiCasa5K[6]的 8000 余个场景。真实的传感器信号模拟,包罗:RGB (基于物理渲染引擎(Physics-based renderer)),深度图,1 束或 16 束的激光雷达,语义 / 实例 / 质料支解图,光流,场景流等;内置运动计划算法,用于计划机械人底座的移动(在情况中导航)与机械臂的移动(抓取利用物体)。内置域随机化功效,可随机替换 visual textures (视觉图像)、质料与动力学信息、物体实例。

由此,我们可以发生出无穷无尽的随机情况用于训练与测试。人机交互系统,可为机械人提供人工示范。

iGibson 功效的一些应用我们在论文中展示了这些功效的用处,例如:iGibson 的光学雷达模拟可以资助 agent 迁移到真实场景iGibson 场景的充实可交互性可以资助预训练机械人视觉,从而加速机械人学习并完成庞大的交互任务。用 iGibson 解决更庞大的机械人任务上述的 iGibson 功效能资助人们更好的开发大型场景交互任务的解决方案。我们认为,其中一个很重要的问题是 Interactive Navigation (交互导航)。

在这个任务中,agents 不仅需要导航,也需要改变其情况(如开门、移开障碍物)。这种需要改变情况的导航是在现实场景中最常见的。

为了在 iGibson 模拟情况中解决这个任务,我们开发了一套分层强化学习(hierarchical reinforcement learning)算法来决议 agent 的详细行动(当需要交互时用机械臂,当需要移动时用底座,也可同时使用机械臂和底座 [8]。此外我们也提出了一个联合了运动计划算法的解决方案:算法来指定下个交互应该在那边发生,运动计划会基于此盘算一条切合运动学且避障的轨迹 [9]。但我们认为这只是 iGibson 潜力的冰山一角。现在我们实验室 SVL(Stanford Vision and Learning Lab)有许多的项目在使用 iGibson,来提出、攻克种种各样的交互任务。

总结我们认为模拟情况有极大的潜力来资助研究人员解决机械人与 AI 的种种问题。iGibson 是一个完全开源的、面向大型场景交互任务的模拟情况。我们真心希望 iGibson 能为机械人与 AI 的研究做出孝敬。

注:关于 Gibson: iGibson 的名字泉源于心理学、认知科学泰斗 James J. Gibson [1904-1979]。Gibson 生前提出了许多开创性的想法,包罗关于知觉的新观点:知觉是一个生态(ecological)的历程,即本体不应从其所处的生态情况中剥离出去;知觉是一个动态(active)的历程,即知觉需要交互和主观能动性。在其时,主流学说认为知觉是一个被动接受并处置惩罚的历程。Gibson 的看法则相反,认为 agents 是在与情况的交互中主动寻求、而不是被动接受信息。

Gibson 也提出了 “affordance”(负担特质)的观点:情况给予 agent 的行动可能,例如门提供“打开” 的功效,椅子提供 “支撑” 的功效。我们同事是这样归纳综合 Gibson 先生的 research 的:“ask not what’s inside your head, but what your head is inside of” (不要光注重于你脑中的世界,请着眼于你所处的世界)。参考iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes", by Bokui Shen*, Fei Xia*, Chengshu Li*, Roberto Martín-Martín*, Linxi Fan, Guanzhi Wang, Shyamal Buch, Claudia D'Arpino, Sanjana Srivastava, Lyne P. Tchapmi, Micael E. Tchapmi, Kent Vainio, Li Fei-Fei, Silvio Savarese. (*equal contribution)Andrychowicz, OpenAI: Marcin, et al. "Learning dexterous in-hand manipulation." The International Journal of Robotics Research 39.1 (2020): 3-20.Rajeswaran, Aravind, et al. "Learning complex dexterous manipulation with deep reinforcement learning and demonstrations." Robotics: Science and Systems, 2017Peng, Xue Bin, et al. "Sfv: Reinforcement learning of physical skills from videos." ACM Transactions on Graphics (TOG) 37.6 (2018): 1-14.Zhu, Yuke, et al. "robosuite: A modular simulation framework and benchmark for robot learning." arXiv preprint arXiv:2009.12293 (2020).Kalervo, Ahti, et al. "Cubicasa5k: A dataset and an improved multi-task model for floorplan image analysis." Scandinavian Conference on Image Analysis. Springer, Cham, 2019.Fu, Huan, et al. "3D-FRONT: 3D Furnished Rooms with layOuts and semaNTics." arXiv preprint arXiv:2011.09127 (2020).Li, Chengshu, et al. "Hrl4in: Hierarchical reinforcement learning for interactive navigation with mobile manipulators." Conference on Robot Learning. PMLR, 2020.Xia, Fei, et al. "Relmogen: Leveraging motion generation in reinforcement learning for mobile manipulation." arXiv preprint arXiv:2008.07792 (2020).知乎链接:https://zhuanlan.zhihu.com/p/334643909?utm_source=wechat_session&utm_medium=social&utm_oi=75825684676608&utm_content=group3_article&utm_campaign=shareopn。


本文关键词:yb体育官网,15个,可,交互,的,真实,衡宇,场景,李飞飞,李

本文来源:yb体育登录-www.tjwnews.cn

Copyright © 2006-2021 www.tjwnews.cn. yb体育登录科技 版权所有   ICP备83943214号-8   XML地图   yb体育登录-首页