编辑：Aeneas【新智元导读】依靠自监督神经网络单眼深度估计，高通头显可以实时3D重建了。高通的增强现实AR头显，可以实时3D重建了！ 最近，高通展示了他们使用自监督神经网络单眼深度估计，在增强现实AR头显和智能手机上实现实时3D重建的过程。 当使用者戴上增强现实AR头显后，就实时生成了房间的3D影像。 增强现实AR头显显示的视角，就是用户所观察到的视角。而这些图像被输送到高通的低延迟深度估计模型中，预测的深度和相机的6自由度被提供给了重建模型。 「自我监督」的意思，是使用重投影损失来监督每个单目深度模型。 而实时生成的3D网格和平面非常准确，使物理世界与数字世界的沉浸式增强现实AR体验得以无缝对接。  办公环境深度图的相对误差最小可达10-20%，而深度估计延迟小于9ms。 Qualcomm 人工智能AI Research：最近的3D感知前沿研究 如此神奇的功能，背后的原理是怎样的呢？ 在7月高通的一篇blog上，我们或许可以找到答案。 让我们来看看这篇博客—— 世界是3D的，作为人类，我们是以3D的方式感知这世界世界。 与2D相比，3D感知具有许多优势，使我们能够更准确地感知和参与我们周围的世界——这就是为什么使机器具有这种能力这么重要。 例如，3D感知有助于在不同的光照条件下获得可靠的结果，为物体和场景识别提供可靠的线索，并且准确地估计尺寸、姿势和运动。 启用和增强关键用例3D感知使得跨设备和行业的许多程序能够改善我们的生活，从扩展现实XR和自动驾驶，到物联网、相机和移动设备。例如，要实现沉浸式 扩展现实XR，在6自由度运动估计、避障、物体放置、逼真渲染、手势估计以及虚拟环境中的交互中，3D感知都至关重要。 3D感知极大地促进了沉浸式扩展现实XR 3D感知为自动驾驶提供极大的助力，自动驾驶利用来自摄像头、LiD增强现实AR和雷达的3D数据流，让更安全的驾驶成为可能。 3D感知还可用于3D地图重建，它可以将车辆定位在道路上，寻找可通行的路面，避开障碍物，估计车辆、行人等物体的轨迹，进行路径规划等等。 3D感知需要克服的新挑战为了更好地理解世界，3D感知依赖于多项任务，其中许多任务在概念上与2D感知很相似。现在，使3D感知的人工智能AI SOTA模型成为现实，并在受功率、热和性能限制的边缘设备上进行大规模的实际部署，一直是很大的挑战。 值得注意的是，有两类挑战很突出——数据和实施挑战。 与像素排列在均匀网格上的2D图像不同，3D点云非常稀疏且不均匀，这就需要在可访谈性与内存之间取得一个平衡。 3D感知面临数据和实施挑战 使大规模3D感知成为现实Qualcomm 人工智能AI Research领导的这项3D感知研究，独特之处在于开发了全新的人工智能AI技术。高通的专家通过全栈人工智能AI研究构建真实世界的部署，并创建了一个节能平台，使3D感知无处不在。 专家使用Qualcomm 人工智能AI Stack工具包和SDK进行了全栈优化，实现了许多3D感知突破。 这其中的四个关键领域——深度估计、目标检测、后估计和场景理解的细节，如下所示。 3D感知研究的四个关键领域 跨不同模式的准确深度估计深度估计和3D重建是从2D图像创建场景和物体的3D模型的感知任务。我们的研究利用输入配置，包括单个图像、立体图像和 3D 点云。研究院已经为单目和立体图像开发了 SOTA 监督和自我监督学习方法，这些方法不仅高效，而且非常准确。 除了模型架构之外，全栈优化还包括使用DONNA（提取最佳神经网络架构）进行神经架构搜索，以及使用人工智能AI 模型效率工具包 (人工智能AIMET)进行量化。 因此，高通在手机了展示了世界上第一个实时单眼深度估计，可以从单个图像创建3D图像。 高效准确的3D物体检测 3D物体检测是指寻找单个物体的位置和区域的感知任务。 例如，目标可能是在用于自动驾驶的 LiD增强现实AR 数据上检测所有车辆和行人的相应 3D 边界框。 专家正在使3D点云中的高效对象检测成为可能。 为此，他们开发了一种基于变换器的高效3D对象检测架构，这个架构利用的是在极地空间中提取的2D伪图像特征。 凭借更小、更快和更低功耗的模型，专家在LiD增强现实AR 3D点云上的车辆、行人和交通标志检测方面取得了最高的准确度分数。 低延迟和准确的3D姿势估计3D姿态估计是指寻找物体方向和关键点的感知任务。对于扩展现实XR应用程序，对于在虚拟环境中与虚拟对象进行直观交互，准确且低延迟的手部和身体姿势估计是至关重要的。 专家开发了一种具有动态改进功能的高效神经网络架构，以减少手部姿势估计的模型大小和延迟。 这个模型可以从2D图像解释3D的人体姿势和手部姿势，计算可扩展架构迭代改进了关键点检测，误差小于5毫米——这就实现了最佳的平均3D误差。 3D场景理解3D场景理解是指将场景分解为其3D和物理组件的感知任务。专家开发了世界上第一个用于场景理解的基于变换器的逆向渲染。 经过端到端训练的管道从室内图像估计基于物理的场景属性，例如房间布局、表面法线、反照率（表面漫反射率）、材料类型、对象类别和照明估计等。 高通的人工智能AI模型可以更好地处理场景组件之间的全局交互，从而更好地消除形状、材料和照明的歧义。 目前，专家在所有3D感知的任务上都取得了SOTA结果，并支持高质量的增强现实AR应用程序，例如将逼真的虚拟对象插入到真实的场景中。 这个方法可以正确地估计光照，以逼真地插入物体，例如兔子 更多3D的感知突破即将到来现在，高通的专家正在3D感知方面进行更多的研究，并且有望在神经辐射场 (NeRF)、3D模仿学习、神经SLAM（同步定位和映射）以及RF (Wi-Fi/5G) 中的3D场景理解方面取得更多突破。此外，随着机器学习研究工作的推进，高通的感知研究会比3D感知广泛得多。 在扩展现实XR、相机、移动、自动驾驶、物联网等领域，会有更多感知设备出现。 我们的日常生活，在前沿会大不相同。 参考资料：https://www.reddit.com/r/MachineLearning/comments/z60wuh/r_qualcomm_demos_3d_reconstruction_on_ar_glasses/ 来源:“新智元” 声明:转载此文章仅供网友阅读了解该主题,出于传递更多信息之目的,并不意味着赞同其观点或证实其描述! |
