高效处理海量文件合并：避免高层级工具的性能瓶颈

import os

def concatenate_files_directly(list_of_filenames: list, output_filename: str, is_binary: bool = False, skip_headers: bool = False):
    """
    直接将多个文件的内容合并到一个新文件中。

    参数:
    list_of_filenames (list): 包含所有待合并文件路径的列表。
    output_filename (str): 合并后输出文件的路径。
    is_binary (bool): 如果为True，则以二进制模式读写；否则以文本模式。
    skip_headers (bool): 如果为True，则跳过除第一个文件外的所有文件的第一行（假定为标题行）。
                          此选项仅在is_binary为False（文本模式）时有效。
    """
    mode_write = "wb" if is_binary else "w"
    mode_read = "rb" if is_binary else "r"

    print(f"开始合并 {len(list_of_filenames)} 个文件到 '{output_filename}'...")

    try:
        with open(output_filename, mode_write) as outfile:
            for i, filename in enumerate(list_of_filenames):
                if not os.path.exists(filename):
                    print(f"警告: 文件 '{filename}' 不存在，已跳过。")
                    continue

                print(f"正在处理文件: {filename} ({i+1}/{len(list_of_filenames)})")
                with open(filename, mode_read) as infile:
                    if not is_binary and skip_headers and i > 0:
                        # 对于文本文件且非第一个文件，跳过第一行
                        infile.readline() # 读取并丢弃第一行

                    # 逐块读取并写入，避免一次性加载大文件到内存
                    while True:
                        chunk = infile.read(65536) # 读取64KB块
                        if not chunk:
                            break
                        outfile.write(chunk)
        print(f"文件合并完成，输出到 '{output_filename}'。")
    except IOError as e:
        print(f"文件操作错误: {e}")
    except Exception as e:
        print(f"发生未知错误: {e}")

# 示例用法：
if __name__ == "__main__":
    # 创建一些示例文件
    if not os.path.exists("temp_files"):
        os.makedirs("temp_files")

    file_names = []
    for j in range(5):
        fname = f"temp_files/data_{j}.txt"
        file_names.append(fname)
        with open(fname, "w") as f:
            f.write(f"header_col1,header_col2\n")
            for k in range(100):
                f.write(f"file{j}_data{k}_val1,file{j}_data{k}_val2\n")

    # 合并文本文件，跳过后续文件的头部
    concatenate_files_directly(file_names, "concatenated_output.txt", is_binary=False, skip_headers=True)

    # 假设有二进制文件列表
    # binary_files = ["path/to/binary_file1.bin", "path/to/binary_file2.bin"]
    # concatenate_files_directly(binary_files, "concatenated_binary.bin", is_binary=True)

    # 清理示例文件
    import shutil
    shutil.rmtree("temp_files")