解决NumPy大型数组内存溢出：分批加载与训练策略

import numpy as np
import tensorflow as tf
import random
import os
from PIL import Image # 如果处理原始图片文件

# 定义数据路径
cats_dir = "E:\Unity\!!neuro\datasets\catsAndDogs100\finishedCats1\"
dogs_dir = "E:\Unity\!!neuro\datasets\catsAndDogs100\finishedDogs1\"

# 收集文件路径和标签
# 假设猫的标签为0，狗的标签为1
cat_file_paths = [(0, os.path.join(cats_dir, filename)) for filename in os.listdir(cats_dir)]
dog_file_paths = [(1, os.path.join(dogs_dir, filename)) for filename in os.listdir(dogs_dir)]

# 合并并打乱所有文件路径列表
file_set = cat_file_paths + dog_file_paths
random.shuffle(file_set)

# 定义训练参数
batch_size = 32  # 根据系统内存和GPU显存调整
epochs = 5

# 示例Keras模型（根据您的实际模型进行调整）
# 假设输入图像尺寸为224x224x3
model = tf.keras.models.Sequential([
  tf.keras.layers.Flatten(input_shape=(224, 224, 3)),
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(2) # 假设是二分类问题，输出2个 logits
])

# 定义损失函数和优化器
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
model.compile(optimizer='adam', loss=loss_fn, metrics=['accuracy'])

# 计算总批次数量
total_batches = int(np.ceil(len(file_set) / batch_size))

print(f"开始训练，共 {epochs} 轮，每轮 {total_batches} 批次。")

for epochnum in range(epochs):
    print(f"
--- Epoch {epochnum + 1}/{epochs} ---")
    # 每次 epoch 重新打乱文件顺序，增加泛化性（可选，如果数据量大且已充分打乱可省略）
    random.shuffle(file_set)

    for batchnum in range(total_batches):
        # 获取当前批次的文件路径和标签
        bslice = file_set[batchnum * batch_size: (batchnum + 1) * batch_size]

        # 动态加载当前批次的数据
        current_batch_data = []
        current_batch_labels = []

        for label, filepath in bslice:
            # 根据文件类型选择加载方式
            if filepath.endswith('.npy'):
                img_array = np.load(filepath)
            else: # 假设是图片文件，如 .jpg, .png
                img = Image.open(filepath)
                img_array = np.array(img)

            # 对图像进行必要的预处理，例如归一化
            # 注意：原始问题中的数据已经是 .npy，可能已经归一化
            # 如果是原始图片，这里可能需要 img_array = img_array / 255.0 等操作

            current_batch_data.append(img_array)
            current_batch_labels.append(label)

        # 将列表转换为NumPy数组
        train_data_batch = np.array(current_batch_data, dtype=np.float32) # 使用float32节省内存
        train_labels_batch = np.array(current_batch_labels)

        # 训练模型
        print(f"  Batch {batchnum + 1}/{total_batches} - 训练中...")
        model.fit(train_data_batch, train_labels_batch, epochs=1, verbose=0) # verbose=0 不打印每个批次的详细日志

        # 可选：打印每个批次的进度和指标
        # loss, accuracy = model.evaluate(train_data_batch, train_labels_batch, verbose=0)
        # print(f"  Batch {batchnum + 1}/{total_batches} - Loss: {loss:.4f}, Accuracy: {accuracy:.4f}")

print("
训练完成！")
# 可以在训练结束后评估模型
# model.evaluate(test_data, test_labels, verbose=2)