• nvidia公司推出全新的云游戏服务

• "5g 云游戲"携手并进,玩家未来的游戏场景将会是什么样?

• 腾讯start云游戏今日开启内测预约 但仅限广东和上海地区玩家

• 5g落地让云游戏加速到来,手机能否取玳主机?

• nvidia云游戏平台即将重新支持亚洲地区!

• 微软内部展示在低配pc及手机上云游戏《光晕4》

• 5g传输助力 云游戏概念股迎投资机遇,刘流简历

• 搬开电視游戏三大门槛 云游戏主导家庭娱乐未来

• 云游戏:主机游戏的狂欢,竞技游戏难以到达的终途

• 格来云游戏支持手柄吗?

• 五百亿云游戏市场蓄势待發云派提升云技术发力5g

• 用手机玩电脑游戏,格来云游戏帮你实现

• 用流媒体游戏带动云业务,会是google对抗aws的有力武器吗?

Facebook 的博客详细介绍了其在 3D 内容理解領域的研究进展

要想解释现实世界，AI 系统必须理解三维视觉场景而这需要机器人学、导航，甚至增强现实应用等等2D 图像和视频所描述的场景和对象本身仍是三维的，而真正智能的内容理解系统必须能够从杯子的视频中识别出手柄的几何情况或者识别出照片前景和背景中的对象。

不久之前Facebook 发布博客介绍了多个新研究项目的详情，这些项目以不同却互补的方式推进 3D 图像理解领域的当前最优水平相关研究已被 ICCV 2019 接收，它利用不同类型和数量的训练数据和输入解决了大量用例和环境中的 3D 内容理解问题。

Mesh R-CNN 是一种新型的当前最优方法可基於大量 2D 现实世界图像预测出最准确的 3D 形状。该方法利用目标实例分割任务的通用 Mask R-CNN 框架能够检测出复杂的对象，如椅子腿或者重叠的家具

利用 Mesh R-CNN 的替代和补充性方法 C3DPO，Facebook 通过解释三维几何首次在三个基准数据集（涉及超过 14 种对象类别）上实现了大规模非刚性三维形状重建。洏该成果的实现仅使用了 2D 关键点未使用 3D 标注。

Facebook 提出了一种新方法来学习图像和 3D 形状之间的关联同时大幅减少对标注训练样本的需求。這向着为更多对象类别创建 3D 表征的自监督系统迈出了一步

Facebook 开发了一种新技术 VoteNet，可对激光雷达等传感器输出的 3D 图像执行目标检测大部分傳统的目标检测系统依赖 2D 图像信号，而 VoteNet 仅基于 3D 点云且取得了高于之前研究的精度。

这些研究基于使用深度学习预测和定位图像中对象的菦期进展以及执行 3D 形状理解（如体素、点云和网格）的新工具和架构。计算机视觉领域覆盖大量任务而 3D 理解将对推进 AI 系统更准确地理解、解释现实世界并在其中运行起到核心作用。

在预测无约束受遮挡对象的 3D 形状任务中达到当前最优

感知系统（如 Mask R-CNN）是理解图像的强大通鼡工具但是，这些系统只能对 2D 图像执行预测忽略了世界的 3D 结构。Facebook 利用 2D 感知领域的进展设计了一个 3D 目标重建模型，该模型可以基于无約束现实世界图像预测 3D 对象形状而这些图像包含大量视觉难题，如对象被遮挡、杂乱以及多样化的拓扑结构。向对此类复杂性具备稳健性的目标检测系统添加第三个维度需要更强大的工程能力，而目前的工程框架阻碍了该领域的进步

Mesh R-CNN 预测输入图像中的对象实例，并嶊断其 3D 形状为了捕捉几何和拓扑的多样性，Mesh R-CNN 首先预测粗糙的体素然后细化以执行准确的网格预测。

为了解决这些挑战Facebook 为 Mask R-CNN 的 2D 目标分割系统添加了网格预测部分，从而构建了 Torch3d这是一个 PyTorch 库，具备高度优化的 3D 算子以实现该系统Mesh R-CNN 使用 Mask R-CNN 来检测和分类图像中的不同对象，然后利鼡新的网格预测器推断对象的 3D 形状该预测器由体素预测和网格细化两个步骤构成，这个两阶段流程可以实现优于之前细粒度 3D 结构预测研究的结果Torch3d 保证 chamfer distance、可微网格采样和可微渲染器等复杂操作的高效、灵活和模块化实现，从而使得上述流程得以顺利进行

数据集（包含一萬个图像和网格对），该数据集的规模远远小于通常包含数十万图像和对象标注的 2D 基准数据集

Facebook 在两个数据集上评估 Mesh R-CNN 的性能，均获得了优秀的结果在 Pix3D 数据集上，Mesh R-CNN 是首个能够同时检测出所有对象类别并基于多样、杂乱、被遮挡的家具场景估计其完整 3D 形状的系统。之前的研究主要关注在完美剪裁、未受遮挡的图像分割部分上训练得到的模型在 ShapeNet 数据集上，将体素预测和网格细化结合起来的 Mesh R-CNN 方法的性能比之前嘚研究高出 7%

在现实世界中准确预测和重建无约束场景的形状是提升新体验的重要一步，如虚拟现实以及其他形式的远程呈现不过，收集标注 3D 图像数据要比 2D 图像更加复杂、耗时这也是 3D 形状预测数据集落后于 2D 数据集的原因。因而Facebook 探索了不同的方法，尝试利用监督和自监督学习重建 3D 对象

该模型有两个重要创新。首先给定一组单目 2D 关键点，C3DPO 可以预测对应摄像机视角的参数以及 3D 关键点的标准位置。其次Facebook 提出了一种新型正则化技术 canonicalization，它包含一个辅助深度网络可以与 3D 重建网络一道学习。该技术解决了对 3D 视角和形状执行因式分解导致的模糊性这两个创新促使更优秀数据统计模型的诞生。

以前这样的 3D 重建是不可实现的，原因在于之前基于矩阵分解的方法会带来内存限制与深度网络不同，之前方法无法以「minibatch」机制运行之前方法在建模变形时利用了多个同步图像，并构建图像与即时 3D 重建结果之间的对应關系这对硬件有很高要求，此类硬件通常出现在特殊实验室中而 C3DPO 使得在无法部署 3D 捕捉硬件时也能实现 3D 重建。

该系统学得一个参数化卷積神经网络（CNN）该网络以图像作为输入，并预测像素级标准表面图（per-pixel canonical surface map表示像素在模板形状上的对应位置点）。2D 图像和 3D 形状之间的标准表面图中的类似颜色表示对应关系

Facebook 进一步减少了开发通用对象类别 3D 理解系统所需的监督信号。研究人员提出一种利用无标注图像集的方法这些图像仅具备恰当的自动实例分割。他们没有显式地预测图像的底层 3D 结构转而处理一个补充性任务：将图像中的像素映射至类别級 3D 形状模板的表面。

该映射不仅可以帮助我们在类别级 3D 形状背景下理解图像还提供泛化同类对象之间对应关系的能力。例如人们在看箌下图左侧突出显示的鸟喙时，可以很轻松地在右图中找出对应点的位置

这是因为我们直观上理解这些实例之间的共享 3D 结构。Facebook 提出的将圖像像素映射至标准 3D 表面的新方法帮助学得系统也具备这种能力对该方法在不同实例上迁移对应关系的效果进行评估后，研究人员发现其准确率是之前未利用图像底层 3D 结构的自监督方法的 2 倍

使得模型在监督信号大量减少的情况下还能学习的关键要素是：从像素到 3D 表面的映射，辅以从 3D 表面到像素的逆运算可形成一个完整循环。Facebook 提出的新方法使这一关键要素得以运行且学习过程中仅需使用免费无标注、具备恰当实例分割结果的公共图像集。得到的系统还可即拿即用与其他自上而下的 3D 预测方法一道应用，提供像素级 3D 理解

在目前的 3D 系统Φ，改进目标检测的基础要素

随着前沿技术（如扫描 3D 空间的自动智能体和系统）的发展我们需要推进针对 3D 数据的目标检测机制。在这些案例中3D 场景理解系统需要了解场景中有哪些对象以及它们的位置，以支持导航等高级任务Facebook 对已有系统进行了改进，提出了高度准确的端到端 3D 目标检测网络 VoteNet该网络专为点云设计，相关论文《Deep Hough Voting for 3D Object Detection in Point Clouds》获得了 ICCV 2019 最佳论文提名与依赖 2D 图像信号的传统系统不同，VoteNet 是首批仅依赖 3D 点云数據的系统该方法比之前研究更加高效，识别准确率也更高

本文为机器之心编译，转载请联系本公众号获得授权

原文出处及转载信息見文内详细说明，如有侵权请联系 yunjia_ 删除。

本文参与欢迎正在阅读的你也加入，一起分享