视频预处理需四步：时间对齐（统一时长后均匀抽帧）、空间归一化（短边缩放+中心裁剪）、轻量增强（禁用旋转/尺度变换）、光流补充（tv-l1算法生成双通道）；最终存为hdf5/lmdb格式并校验完整性。
训练动作识别模型前，视频预处理直接影响模型能否学到有效时序和空间特征。关键不是“把视频变小”，而是保留动作关键帧、统一时空结构、适配网络输入要求。
抽帧与时间对齐
动作识别依赖帧间变化，不能简单等间隔采样。需根据视频时长和模型帧数要求做动态调整：
- 先统一视频时长：用插值或裁剪将所有视频缩放到固定秒数（如3秒），避免长短不一导致batch无法堆叠
- 再按目标帧数（如32帧）均匀采样：若原视频有96帧，取第0、3、6…93帧；不足则循环补帧或镜像填充
- 推荐用decord库读帧，比OpenCV快且支持GPU解码；避免用imageio或moviepy，易内存溢出
空间归一化与增强
动作发生在人体局部区域，但模型看到的是整帧图像。需在不失真前提下聚焦主体、抑制干扰：
- 中心裁剪+短边缩放：先将视频帧短边缩放到256，再中心裁剪224×224（适配ResNet等主干）
- 轻量级增强仅限训练阶段：随机水平翻转（对称动作慎用）、亮度/对比度±15%扰动、每帧加少量高斯噪声（σ=0.01）
- 不做尺度缩放或旋转增强——动作方向性敏感（如“挥手向左”≠“向右”），会破坏语义
光流或运动线索补充（可选）
RGB帧隐含运动信息弱，尤其慢速动作。可额外生成双通道光流图作为第二输入模态：
立即学习“Python免费学习笔记（深入）”；
- 用TV-L1算法计算相邻帧光流（比Farneback更鲁棒），输出u/v两通道，归一化到[-1,1]
- 与RGB帧分开预处理：光流不做色彩增强，但需同样裁剪+缩放，并堆叠为（T, 2, H, W）张量
- 若用Two-Stream网络，RGB流和光流流需分别送入两个分支，最后融合logits而非特征图
组织为高效数据格式
频繁IO是训练瓶颈。避免实时解码视频文件，应提前固化为内存友好的格式：
- 训练集转为HDF5或LMDB：每个样本存为（T, C, H, W）数组，带标签字段；支持多进程随机读取
- 验证/测试集可保留原始视频路径+帧索引列表（JSON），按需加载，节省存储
- 务必校验：抽帧后检查首尾帧是否完整、光流方向是否一致、标签索引是否越界
基本上就这些。预处理不复杂但容易忽略细节——比如没做时间对齐导致batch内帧数不一致，PyTorch DataLoader直接报错；或者光流未归一化，梯度爆炸。稳住这四步，模型才能真正学动作，而不是学背景或压缩伪影。
