MiDaS&DPT

复习完了transformer系列，对照5.21的组会内容再来看midas和dpt两篇论文

ReadPaper

https://readpaper.com/pdf-annotate/note?pdfId=4515292748004876289&noteId=697239164072181760

ReadPaper

https://readpaper.com/pdf-annotate/note?pdfId=4545270060880125953

MiDaS

摘要：单目深度估计的成功有赖于大型和多样化的训练集。由于在不同的环境中获取大规模密集的真实深度(gt)非常困难，因此现有的数据集不可避免地具有不同的特征和偏差。我们开发了一些工具以便在训练中混合多个数据集，即使它们的注释不兼容。特别是，我们提出了一个稳健的训练目标(loss)，该目标不受深度范围和规模变化的影响，提倡使用有原则的多目标学习来结合不同来源的数据，并强调在辅助任务上预训练编码器的重要性。有了这些工具，我们对五个不同的训练数据集进行了实验，包括一个新的、大规模的数据源，3D电影。为了证明我们方法的泛化能力，我们测试了zero-shot的跨数据集迁移，也就是说，我们直接对训练期间没有看到的数据集进行评估。实验证实，混合来自互补源的数据可以大大改善单目深度估计性能。我们的方法在不同的数据集上明显优于其他竞争方法，成为单目深度估计的新SOTA。