本文深入探讨了使用直接线性变换（dlt）算法进行相机标定的过程，重点讲解了如何正确构建观测矩阵a、通过奇异值分解（svd）求解投影矩阵p，以及如何利用rq分解从p中提取相机内参矩阵k和旋转矩阵r。文章详细阐述了常见的实现错误，特别是a矩阵的构建和svd的执行时机，并提供了修正后的python示例代码，旨在帮助读者准确实现dlt相机标定。
1. DLT相机标定原理概述
相机标定是计算机视觉中的基础任务，旨在确定相机的内部参数（内参矩阵K）和外部参数（旋转矩阵R和平移向量t），从而建立三维世界点与二维图像点之间的映射关系。直接线性变换（DLT）是一种广泛使用的线性方法，用于估计相机投影矩阵P。
投影矩阵P是一个3x4的矩阵，它将三维世界坐标点M = [X, Y, Z, 1]^T（齐次坐标）映射到二维图像坐标点m = [u, v, 1]^T（齐次坐标），关系表示为： s * m = P * M 其中，s是一个非零尺度因子。
将上述方程展开，可以得到两个线性方程，每个对应点对（一个3D世界点和一个2D图像点）提供两个约束： u = (P11*X + P12*Y + P13*Z + P14) / (P31*X + P32*Y + P33*Z + P34)v = (P21*X + P22*Y + P23*Z + P24) / (P31*X + P32*Y + P33*Z + P34)
通过交叉乘法消除分母，可以得到： u * (P31*X + P32*Y + P33*Z + P34) - (P11*X + P12*Y + P13*Z + P14) = 0v * (P31*X + P32*Y + P33*Z + P34) - (P21*X + P22*Y + P23*Z + P24) = 0
将投影矩阵P的12个元素扁平化为一个12x1的向量p，上述方程可以重写为A * p = 0的形式，其中A是一个观测矩阵。
2. 构建观测矩阵 A
构建正确的观测矩阵A是DLT算法成功的关键。对于每一对对应的三维世界点(X, Y, Z)和二维图像点(u, v)，我们生成A矩阵的两行。
假设投影矩阵P的元素按行优先顺序排列成向量p = [P11, P12, P13, P14, P21, P22, P23, P24, P31, P32, P33, P34]^T。那么，对应的两行方程可以表示为：
第一行（基于u坐标）： [X, Y, Z, 1, 0, 0, 0, 0, -u*X, -u*Y, -u*Z, -u] * p = 0
第二行（基于v坐标）： [0, 0, 0, 0, X, Y, Z, 1, -v*X, -v*Y, -v*Z, -v] * p = 0
常见错误提示： 原始代码中存在一个常见错误，即在循环内部对A矩阵的行进行不当的切片赋值（A[2 * i:]和A[2 * i + 1:]）。正确的做法是直接对指定行进行赋值，即A[2 * i, :]和A[2 * i + 1, :]。此外，奇异值分解（SVD）必须在所有点对都填充完A矩阵之后，在循环外部执行。
以下是正确构建A矩阵的示例代码：
import numpy as np
from scipy.linalg import rq
def estimate_projection_matrix_dlt(obj_points, img_points):
"""
基于DLT算法计算相机投影矩阵P。
Args:
obj_points (np.array): 3D世界坐标点 (N, 3)。
img_points (np.array): 对应的2D图像坐标点 (N, 2)。
Returns:
np.array: 
