本文档旨在解决在使用Keras Generator进行流式训练时，出现的Tensor尺寸不匹配错误。该错误通常与模型结构中涉及的下采样和上采样操作有关，特别是当输入图像尺寸不是16的倍数时，可能导致维度不一致。通过调整输入图像尺寸或修改模型结构，可以有效避免此问题。
问题分析
在使用Keras Generator进行训练时，如果模型包含下采样（例如，通过卷积层的stride实现）和上采样（例如，通过转置卷积层实现）操作，且输入图像的尺寸不是特定数值（通常是16或32）的倍数，则在模型的不同层之间进行连接或拼接时，可能会出现Tensor尺寸不匹配的错误。
例如，考虑一个U-Net结构，它包含下采样路径和上采样路径。在下采样路径中，图像尺寸逐渐减小；在上采样路径中，图像尺寸逐渐增大。在某些层，上采样路径的输出需要与下采样路径的输出进行拼接。如果由于图像尺寸不是16的倍数，导致下采样和上采样过程中出现舍入误差，那么拼接操作可能会失败，因为两个Tensor的尺寸不一致。
解决方案
解决Tensor尺寸不匹配问题的方法主要有两种：
-
调整输入图像尺寸： 这是最直接的解决方案。将输入图像的尺寸调整为16（或模型中使用的其他下采样因子的倍数）。例如，如果原始图像尺寸是100x100，可以将其裁剪或缩放到96x96或112x112。
import tensorflow as tf import numpy as np # 假设原始图像尺寸是 (batch_size, 100, 100, channels) def resize_image(image, target_size=(96, 96)): """将图像调整到目标尺寸""" resized_image = tf.image.resize(image, target_size) return resized_image.numpy() # Convert to numpy array class DataGenerator(tf.keras.utils.Sequence): 'Generates data for Keras' def __init__(self, channel, pairs, prediction_size=96, # 修改prediction_size input_normalizing_function_name='standardize', label="", batch_size=1): 'Initialization' self.channel = channel self.prediction_size = prediction_size self.batch_size = batch_size self.pairs = pairs self.id_list = list(self.pairs.keys()) self.input_normalizing_function_name = input_normalizing_function_name self.label = label self.on_epoch_end() def __len__(self): 'Denotes the number of batches per epoch' return int(np.floor(len(self.id_list) / self.batch_size)) def __getitem__(self, index): 'Generate one batch of data' # Generate indexes of the batch indexes = self.indexes[index*self.batch_size:(index+1)*self.batch_size] print("{} Indexes is {}".format(self.label, indexes)) # Find list of IDs subset_pair_id_list = [self.id_list[k] for k in indexes] print("\t{} subset_pair_id_list is {}".format(self.label, subset_pair_id_list)) # Generate data normalized_input_frames, normalized_gt_frames = self.__data_generation(subset_pair_id_list) print("in __getitem, returning data batch") return normalized_input_frames, normalized_gt_frames def on_epoch_end(self): 'Updates indexes after each epoch' self.indexes = list(range(len(self.id_list))) def __data_generation(self, subset_pair_id_list): 'subdivides each image into an array of multiple images' # Initialization normalized_input_frames, normalized_gt_frames = get_normalized_input_and_gt_dataframes( channel = self.channel, pairs_for_training = self.pairs, pair_ids=subset_pair_id_list, input_normalizing_function_name = self.input_normalizing_function_name, prediction_size=self.prediction_size ) # Resize the image before returning normalized_input_frames = resize_image(normalized_input_frames, (self.prediction_size, self.prediction_size)) normalized_gt_frames = resize_image(normalized_gt_frames, (self.prediction_size, self.prediction_size)) print("\t\t\t~~~In data generation: input shape: {}, gt shape: {}".format(normalized_input_frames.shape, normalized_gt_frames.shape)) return normalized_input_frames, normalized_gt_frames -
修改模型结构： 如果无法调整输入图像尺寸，可以考虑修改模型结构，例如：
- 使用Cropping2D层： 在拼接层之前，使用Cropping2D层裁剪掉多余的像素，使两个Tensor的尺寸一致。
- 使用padding='same'： 在卷积层中使用padding='same'，可以确保输出图像的尺寸与输入图像的尺寸相同（或接近），从而减少尺寸不匹配的可能性。
- 调整卷积核大小和步长： 仔细调整卷积核大小和步长，以确保下采样和上采样过程中的尺寸变化是可预测的，并且最终的拼接操作是可行的。
注意事项
- 在调整输入图像尺寸时，需要注意保持图像的宽高比，避免图像失真。
- 在修改模型结构时，需要仔细评估修改对模型性能的影响。
- 使用model.summary()可以帮助您了解模型的每一层的输出尺寸，从而更好地诊断尺寸不匹配问题。
总结
Tensor尺寸不匹配是使用Keras Generator进行训练时常见的错误。通过调整输入图像尺寸或修改模型结构，可以有效解决此问题。在解决问题时，需要仔细分析模型的结构和每一层的输出尺寸，并根据具体情况选择合适的解决方案。
