文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
文章图片
编辑:好困 Aeneas
【新智元导读】近日 , Meta和CMU的研究人员提出了一种全新的6-DoF视频表征方法 , 单张RTX 3090即可每秒18帧实现百万像素分辨率渲染 , 或将给VR带来革命性的高质量体验 。
最近 , 由Meta和卡内基梅隆大学提出的6-DoF视频表征模型——HyperReel , 可能预示着一个全新的VR「杀手级」应用即将诞生!
所谓「六自由度视频」(6-DoF) , 简单来说就是一个超高清的4D体验式回放 。
其中 , 用户可以完全「置身于」动态场景里面 , 并且可以自由地移动 。 而当他们任意改变自己的头部位置(3 DoF)和方向(3 DoF)时 , 与之相应的视图也会随之生成 。
与之前的工作相比 , HyperReel最大的优势在于内存和计算效率 , 而这两点对于便携式VR头显来说都至关重要 。
而且只需采用vanilla PyTorch , HyperReel就能在单张英伟达RTX 3090上 , 以每秒18帧的速度实现百万像素分辨率的渲染 。
太长不看版:
1. 提出一种可在高分辨率下实现高保真度、高帧率的渲染的光线条件采样预测网络 , 以及一种紧凑且内存高效的动态体积表征;
2. 6-DoF视频表征方法HyperReel结合了以上两个核心部分 , 可以在实时渲染百万像素分辨率的同时 , 实现速度、质量和内存之间的理想平衡;
3. HyperReel在内存需求、渲染速度等多个方面均优于其他方法 。