解决NumPy大型数组拼接内存错误：深度学习分批数据处理策略

train_data = np.concatenate((cats_train_data, dogs_train_data), axis=0)

import os
import numpy as np
import random
import tensorflow as tf
from PIL import Image # 即使是.npy文件，如果需要可视化或进一步处理，PIL仍有用

# --- 配置参数 ---
batch_size = 32 # 示例值，请根据您的系统内存和GPU显存调整
epochs = 5      # 训练轮次

# --- 数据路径和标签准备 ---
cats_dir = "E:\Unity\!!neuro\datasets\catsAndDogs100\finishedCats1\"
dogs_dir = "E:\Unity\!!neuro\datasets\catsAndDogs100\finishedDogs1\"

# 构建文件路径和标签列表
# (0, filepath) 代表猫，(1, filepath) 代表狗
# 假设文件已转换为 .npy 格式
cat_file_set = [(0, os.path.join(cats_dir, filename)) for filename in os.listdir(cats_dir) if filename.endswith('.npy')]
dog_file_set = [(1, os.path.join(dogs_dir, filename)) for filename in os.listdir(dogs_dir) if filename.endswith('.npy')]

# 合并并打乱所有文件路径和标签
file_set = cat_file_set + dog_file_set
random.shuffle(file_set)

total_samples = len(file_set)
total_batches = int(np.ceil(total_samples / batch_size))

print(f"总样本数: {total_samples}, 批次大小: {batch_size}, 总批次: {total_batches}, 训练轮次: {epochs}")

# --- 模型定义 (示例，根据你的实际模型调整) ---
# 输入形状应与你的图像尺寸匹配 (例如 224x224x3)
input_shape = (224, 224, 3) # 假设图像尺寸为 224x224，3通道 (RGB)
num_classes = 2 # 猫和狗是二分类问题

model = tf.keras.models.Sequential([
  tf.keras.layers.InputLayer(input_shape=input_shape), # 明确指定输入层
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dropout(0.2),
  tf.keras.layers.Dense(num_classes) # 输出层应匹配类别数
])

# 定义损失函数和优化器
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
model.compile(optimizer='adam', loss=loss_fn, metrics=['accuracy'])

# --- 训练循环 ---
for epochnum in range(epochs):
    print(f"
--- 训练轮次 {epochnum + 1}/{epochs} ---")
    # 每次 epoch 重新打乱数据，确保每个 epoch 的批次顺序不同
    random.shuffle(file_set)

    for batchnum in range(total_batches):
        # 获取当前批次的文件路径和标签
        batch_slice = file_set[batchnum * batch_size: (batchnum + 1) * batch_size]

        # 动态加载当前批次的图像数据
        current_batch_data = []
        current_batch_labels = []
        for label, filepath in batch_slice:
            # 假设文件已是 .npy 格式，直接使用 np.load
            img_array = np.load(filepath)

            # 确保数据类型为 float32 并归一化（如果尚未处理）
            # 原始问题提到数据已归一化，这里假设加载后已经是合适范围
            # 如果加载的是原始像素值 (0-255)，通常需要除以 255.0 进行归一化
            # 并且确保数据类型是 float32 以节省内存
            if img_array.dtype != np.float32:
                img_array = img_array.astype(np.float32)
            # 如果尚未归一化，且像素值在0-255，可以添加以下代码：
            # if np.max(img_array) > 1.0:
            #     img_array = img_array / 255.0

            current_batch_data.append(img_array)
            current_batch_labels.append(label)

        train_data_batch = np.array(current_batch_data)
        train_labels_batch = np.array(current_batch_labels)

        # 确保标签是整数类型
        train_labels_batch = train_labels_batch.astype(int)

        # 拟合模型到当前批次数据
        # verbose=0 避免重复输出每个epoch的fit信息
        print(f"  批次 {batchnum + 1}/{total_batches} 训练中...")
        model.fit(train_data_batch, train_labels_batch, epochs=1, verbose=0)

    # 可以在每个 epoch 结束时评估模型或打印进度
    # 注意：这里仅用最后加载的批次进行评估，实际应用中应使用独立的验证集
    loss, accuracy = model.evaluate(train_data_batch, train_labels_batch, verbose=0)
    print(f"  Epoch {epochnum + 1} 结束：最后批次损失: {loss:.4f}, 准确率: {accuracy:.4f}")

print("
训练完成！")