居小桃 ·
青亭网
·
2019-04-20 10:30:27
原标题：Facebookd AI“移花接木”术 能让你把视频中的人变成3D交互对象
4月19日消息，Facebook最新在Arxiv发布了一片名为“Vid2Game: Controllable Characters Extracted from Real-World Videos”-将实拍视频中但各角色变为可交互对象的论文。该论文由Facebook AI研究院提交，描述了一个将视频中虚拟角色变为可交互对象的方法。
Vid2Game: Controllable Characters Extracted from Real-World Videos
论文的作者表示：该方案可从一个不受控制的视频中提取一个角色，然后我们还能够控制他的动作。该模型特点是生成了这个角色的新图像序列，可应用在任意视频背景中，同时有效的捕捉到人的动态和外观。
据悉，该方案依托于两个神经网络，或者以生物神经元为模型的数学函数层Pose2Pose和Pose2Frame。
Pose2Pose：将当前姿态和控制信号映射到下一个框架。
Pose2Frame：将当前姿态和下一个输出姿态合成。
然后我们就可以以简单的动作（例如键盘左右）来控制该合成的对象。
据悉，为了训练该AI系统，研究人员通过三个5-8分钟的视频进行分析，一段户外网球运动员视频、一段室内舞剑的视频、一个人走路的视频。
据了解，这套系统因为可生成逼真的动态虚拟对象，可在游戏领域、VR、AR中有广泛的应用前景。
Photo Wake-Up
实际上，在Facebook之前也有类似的AI模型，例如此前和华盛顿大学合作研发的Photo Wake-Up项目。此外，其它公司也有类似场景，例如Promethean AI就通过AI帮助艺术家为游戏进行艺术创作，NVIDIA展示过生成虚拟环境的模型。
评论
分享
