论文：利用transformer技术进行鸟瞰摄像机和激光雷达融合的lift-attend-splat方法
请点击链接查看文件：https://arxiv.org/pdf/2312.14919.pdf
对于自动驾驶等安全关键应用来说，结合互补的传感器模态是至关重要的。最近的自动驾驶相机-激光雷达融合方法使用单目深度估计来提高感知能力，但相比直接使用激光雷达的深度信息，这是一项困难的任务。我们的研究发现，这种方法并没有充分利用深度信息，并且证明天真地改进深度估计并不能提高目标检测性能。令人惊讶的是，完全取消深度估计并不会降低目标检测性能
这表明，在相机-激光雷达融合过程中，依赖单目深度可能是一个不必要的架构瓶颈。本研究提出了一种新的融合方法，完全绕过了单目深度估计，而是利用简单的注意力机制在BEV网格中选择和融合相机和激光雷达的特征。研究结果表明，提出的模型能够根据激光雷达特征的可用性来调整其对相机特征的使用，并且在nuScenes数据集上比基于单目深度估计的基线模型有更好的3D检测性能
本研究介绍了一种名为“Lift Attented Splat”的新型相机-激光雷达融合方法。该方法避免了单目深度估计，而是利用简单的transformer在BEV中选择和融合相机和激光雷达的特征。实验证明，与基于单目深度估计的方法相比，本研究方法能更好地利用相机，并提高物体检测性能。本研究的贡献如下：
- 基于Lift Splat范式的相机-激光雷达融合方法并没有像预期的那样利用深度。特别地，我们表明，如果完全去除单目深度预测，它们的性能相当或更好。
- 本文介绍了一种新的相机-激光雷达融合方法，该方法使用简单的注意力机制融合纯BEV中的相机和激光雷达特征。论文证明，与基于Lift Splat范式的模型相比，它可以更好地利用相机，并提高3D检测性能。
主要结构介绍
深度预测的准确度通常较低。通过使用绝对相对误差（Abs.Rel.）和均方根误差（RMSE）来对比BEVFusion预测的深度质量与激光雷达深度图，可以进行定性和定量分析。如图1所示，深度预测不能准确反映场景的结构，并且与激光雷达深度图有明显差异，这表明单目深度没有像预期那样被充分利用。研究还发现，改进深度预测并不能提高物体检测性能！完全取消深度预测不会对物体检测性能产生影响
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
我们提出了一种相机-激光雷达融合方法，该方法完全绕过单目深度估计，而是使用简单的transformer在鸟瞰图中融合相机和激光雷达特征。然而，由于大量的相机和激光雷达特征以及注意力的二次性，transformer架构很难简单地应用于相机-激光雷达融合问题。在BEV中投影相机特征时，可以使用问题的几何形状来大幅限制注意力的范围，因为相机特征应该只对沿其相应光线的位置有贡献。我们将这一想法应用于相机-激光雷达融合的情况，并介绍了一种简单的融合方法，该方法使用相机平面中的柱和激光雷达BEV网格中的极射线之间的交叉注意力！交叉注意力不是预测单目深度，而是在激光雷达特征沿着其光线提供的背景下，学习哪些相机特征是最显著的
我们的模型与基于Lift Splat范式的方法具有相似的总体架构，除了在BEV中投影相机特征。如下图所示，它由相机和激光雷达主干、独立生成每个模态特征的模块、将相机特征嵌入BEV并与激光雷达融合的投影和融合模块以及检测头组成。在考虑目标检测时，模型的最终输出是场景中目标的属性，包括位置、维度、方向、速度和分类信息，以3D边界框的形式表示
Lift Attented Splat相机激光雷达融合架构如下所示。（左）总体架构：相机和激光雷达主干的特征在传递到检测头之前融合在一起。（inset）我们的3D投影的几何结构：“Lift”步骤通过使用双线性采样沿z方向提升激光雷达特征，将激光雷达BEV特征嵌入投影地平线。“splat”步骤对应于逆变换，因为它使用双线性采样将特征从投影的地平线投影回BEV网格，再次沿着z方向！右边是project模块的细节部分。
实验结果
原文链接：https://mp.weixin.qq.com/s/D7xgvrp8633S2SeUfCRFXQ
