ZoeDepth：通过结合相对深度和度量深度实现零样本迁移

Source: Dev.to

Overview

ZoeDepth 能够从单张图像预测深度，准确处理近处和远处的物体。它结合了两种学习策略：一种保持度量尺度，另一种捕捉相对形状。

Method

• 双重学习：模型首先在大规模、多样化的数据集上使用相对深度目标进行训练，然后通过度量深度监督进行微调，以保留真实世界的尺度。
• 动态专家选择：内部选择器为每张输入图像挑选最合适的“小专家”，确保在不同场景下实现最佳性能。

Generalization and Performance

• 在众多数据集上训练后，ZoeDepth 对未见的室内和室外环境具有良好的 泛化 能力。
• 展现出强大的零样本深度估计能力，在无需额外训练的情况下超越了之前的方法。

Applications

• 基于深度线索的照片编辑效果。
• 用于室内设计或建筑的空间测量工具。
• 需要可靠深度感知的机器人和导航系统。

Availability

代码和预训练模型已公开发布，供社区使用。

ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth