Meta 用一個头显搞定全身動捕,無需手柄和下身傳感器,網友:VR 终于...

admin

還记得你玩 VR 的時辰，彻底看不到本身下半身的模样嗎？

究竟结果，今朝的 VR 装备凡是只有手柄和头显，没有下半身傳感器，體系没法直接果断下半身頭皮按摩治療脫髮,的動作，展望時也轻易出 bug。

如今，Meta 终究迈出了一大步——只凭头显（乃至不消手柄），就可以搞定全身動捕，連雙腿的分歧動作都@展%aW717%望得一%e4m1M%览%e4m1M%無%e4m1M%余@！

新钻研一 po 出就在網上爆火。

有網友讥讽，小扎的元宇宙终究要有腿了，随手還 po 了個 Meta 的股票。

另有 VR 玩家感触欢快：玩遊戲時终究可以在身上少挂點硬件了！

這項钻研到底是若何只用头显做到全身動捕的？

给强化進修 AI 搞個物理束缚

钻研职員設計了一個框架，以头显（HMD）和手柄節制器的位置和标的目的数据作為输入，其他数据端赖 AI 展望。

為此，他们先基于强化進修练習了一個计谋（policy，基于三层 MLP），按照唯一的 HMD 和手柄数据，尽量傳神地還原真实動作捕获的姿式（動捕数据一共 10 小時）。

他们搞了 4000 個身高分歧的仿真人形呆板人，每一個呆板人具备 33 個自由度。

随後，将這些呆板人在英伟达的 Isaac Gym（一個專門用于强化進修钻研的呆板人物理摹拟情况）中同時举行练習，比单個情况下练習一個呆板人要更快。

在物理情况中一共练習了 2 天（约 140 亿步）後，這只框架就可以基于這個强化進修计谋，按照头显和手柄数据直接展望用户全身動作了——

包含慢跑、行走、撤退退却或過渡動作（transition）等。

不但如斯，Isaac Gym 還容许添加其他分歧的摹拟工具，是以還能經由過程练習情况繁杂度以加强動作真实性。

比方，按照虚拟情况中新增的皮球，摹拟出 " 踢 " 的交互動作：

以是，比拟其他模子，為甚麼這個框架展望的结果更好？

（此前固然也有手柄和头显展望全身姿态的 AI，但展望全身動作時常常會呈現身體不天然發抖、走路時脚像是在 " 溜冰 "、接触力不不乱等 bug）

Meta 钻研职員阐發後認為，此前模子难以正确展望下半身姿态的缘由，是展望時上下半身的联系關系度较小。

是以，若是在展望時機車借款免留車，增长必定的物理束缚（人體力學），比方惯性均衡君綺PTT，和地面接触力等，就可以讓展望精度更上一层楼。

△脚上的赤色直条巨细暗示接触力巨细

钻研职員還進一步發明，即便不消手柄節制器，只必要头显的 60 個姿式（包括位置和标的目的数据），就足以重修各類活動姿态，還原出来的结果一样没有物理伪影。

除此以外，因為這個计谋是基于 4000 個身高分歧的仿真人形呆板人练習，是以它也能主動按照用户的分歧身高来调解计谋（具备基于動捕的重定向功效）。

不外，也有網友爱奇他為甚麼要采纳强化進修来展望活動姿态，究竟结果當前监视進修是主流法子。

對此作者回應称，强化進修更便利参加物理束缚（即低落發抖、脚滑等 bug 的關头缘由），但對付监视進修来讲，這凡是是個难點。

但钻研职員也暗示，今朝這個框架另有必定限定，若是用户做的動作不包括在练習数据中（比方快速冲刺）、或是举行了某些過于繁杂的交互，那末虚拟情况中的仿真呆板人便可能就地颠仆、或呈現摹拟失败的环境。

作者先容

三位作者都来自 Meta。

一作 Alexander W. Winkler，今朝是 Meta Reality Lab 的钻研科學家，钻研标的目的长短線性数值優化、高自由度活動计划、基于三维物理的仿真和可视化等。

他本硕结業于德國卡尔斯鲁厄理工學院（KIT），博士结業于瑞士苏黎世联邦理工學院（ETH）。

Jungdam Won，今朝是 Meta AI Lab 的钻研科學家，本科和博士结業于韩國首尔大學计较機科學與工程系，钻研标的目的包含强化進修中智能體的節制和交互，和經由過程呆板進修法子優化動作捕获等。

Yuting Ye，今朝是 Meta Reality Lab 的钻研科學家，介入過 Quest 和 Quest 2 的手柄跟踪功效研發，本科结業于北京大學，并在弗吉尼亚大學得戶外隨身水杯,到硕士學位，博士结業于佐治亚理工學院，钻研标的目的是動作捕获和元宇宙等。