mediapipe model maker 当前（v0.10.9）不支持通过 api 直接指定如翻转、曝光调整或模糊等细粒度数据增强操作；仅提供全局开关 `do_data_augmentation`，其内置增强逻辑固定且不可配置。如需定制，需继承核心类并重写预处理流程。
MediaPipe Model Maker 的 image_classifier 模块为快速部署轻量级 TFLite 图像分类模型提供了便捷接口，但在数据增强方面设计较为封闭。其 HParams 中的 do_data_augmentation 参数仅为布尔开关，启用后将自动应用一组硬编码的增强操作：包括 tf.image.random_flip_left_right（随机水平翻转）和基于 tf.image.sample_distorted_bounding_box 的非等比随机裁剪（伴随后续 resize，易引入形变）。值得注意的是，曝光调整（exposure）、高斯模糊（blur）、色彩抖动、旋转等常见增强均未被内置支持，也无法通过参数配置开启或关闭其中某一项。
若你明确需要仅保留水平翻转 + 曝光调整 + 模糊（例如模拟光照变化与镜头模糊），标准用法无法满足。可行的技术路径有两条：
-
子类化重写预处理器（推荐）
继承 ImageClassifier 并覆盖 _create_preprocessing_layer() 或 _preprocess_fn 方法，注入自定义 tf.data.Dataset.map() 流程。示例片段如下：
import tensorflow as tf
from mediapipe.model_maker.python.vision.image_classifier import image_classifier
class CustomImageClassifier(image_classifier.ImageClassifier):
@classmethod
def _preprocess_fn(cls, image, label, is_training=True):
# 基础解码与归一化（保持与原逻辑一致）
image = tf.cast(image, tf.float32) / 255.0
if is_training:
# 仅启用水平翻转
image = tf.image.random_flip_left_right(image)
# 自定义曝光调整：随机 gamma 校正（模拟明暗变化）
gamma = tf.random.uniform([], 0.8, 1.2)
image = tf.pow(image, gamma)
# 自定义高斯模糊（需 TensorFlow >= 2.9）
image = tf.expand_dims(image, 0) # 添加 batch 维度
image = tf.nn.depthwise_conv2d(
image,
tf.constant([[[[0.0625]], [[0.125]], [[0.0625]],
[[0.125]], [[0.25]], [[0.125]],
[[0.0625]], [[0.125]], [[0.0625]]]],
dtype=tf.float32),
strides=[1, 1, 1, 1],
padding='SAME'
)
image = tf.squeeze(image, 0)
return image, label-
预处理数据集前置（更灵活）
在调用 ImageClassifier.create() 前，直接对 train_data 和 validation_data（tf.data.Dataset 实例）应用自定义增强链：
def custom_augment(image, label):
image = tf.cast(image, tf.float32) / 255.0
image = tf.image.random_flip_left_right(image)
image = tf.pow(image, tf.random.uniform([], 0.8, 1.2)) # 曝光
image = tf.nn.conv2d(
tf.expand_dims(image, 0),
tf.reshape(tf.constant([0.0625, 0.125, 0.0625, 0.125, 0.25, 0.125, 0.0625, 0.125, 0.0625]), [3, 3, 1, 1]),
strides=[1, 1, 1, 1], padding='SAME'
)[0]
return image, label
train_data = train_data.map(custom_augment, num_parallel_calls=tf.data.AUTOTUNE)⚠️ 注意事项：
- MediaPipe Model Maker 的预处理器在内部封装了 tf.keras.layers.Resizing 和 tf.keras.layers.Rescaling，若手动增强后尺寸/范围不匹配，可能导致训练异常；建议在自定义增强后确保输出为 [H, W, 3] 形状及 [0.0, 1.0] 像素范围。
- 所有自定义增强必须兼容 tf.function（避免 Python 原生函数），否则会显著降低 tf.data 管道性能。
- 此限制已在 MediaPipe 社区被多次提出（如 GitHub Issue #4217），未来版本或开放 augmentation_config 字典参数，但当前 v0.10.9 仍需开发者介入底层实现。
综上，追求可控增强时，不应依赖 do_data_augmentation=True 的黑盒行为，而应主动接管预处理环节——这虽增加少量代码量，却换来模型鲁棒性与实验可复现性的关键保障。
