Python中Unix子进程的CPU时间与内存使用精确监控指南

import sys
import os
import subprocess
import resource
import psutil
import time

def get_system_memory_info():
    """
    获取当前系统的内存使用信息（GB为单位）。
    """
    mem = psutil.virtual_memory()
    return {
        "total_memory": mem.total / (1024.0 ** 3),
        "available_memory": mem.available / (1024.0 ** 3),
        "used_memory": mem.used / (1024.0 ** 3),
        "memory_percentage": mem.percent
    }

def get_process_memory_info(pid):
    """
    获取指定PID进程的内存使用信息（MB为单位）。
    """
    try:
        process = psutil.Process(pid)
        mem_info = process.memory_info()
        return {
            "rss_mb": mem_info.rss / (1024.0 ** 2), # 常驻内存集大小
            "vms_mb": mem_info.vms / (1024.0 ** 2)  # 虚拟内存大小
        }
    except psutil.NoSuchProcess:
        return None # 进程可能已终止

def monitor_subprocess_performance(bioinformatics_tool, setups, resultdir, inputs, tbl_rep_file):
    """
    监控子进程的CPU时间与内存使用。
    """
    # 示例变量，实际应用中请替换为您的具体值
    # bioinformatics_tool = "your_bio_tool"
    # setups = "--some-setup-args"
    # resultdir = "/path/to/results"
    # inputs = "/path/to/input.fasta"
    # tbl_rep_file = "report_file.txt"

    print(f"开始监控工具: {bioinformatics_tool}")

    # 打开报告文件
    try:
        outrepfp = open(tbl_rep_file, "w")
    except IOError as e:
        sys.exit(f"错误: 无法打开报告文件 {tbl_rep_file}: {e}")

    SLICE_IN_SECONDS = 1 # 内存采样间隔

    # 1. 在子进程启动前记录资源使用
    usage_start = resource.getrusage(resource.RUSAGE_CHILDREN)

    # 2. 构建并执行子进程命令
    cmd = '{0} {1} --tblout {2} {3}'.format(bioinformatics_tool, setups, resultdir, inputs)
    print(f"执行命令: {cmd}")

    # 使用subprocess.Popen执行命令
    # 注意: stdout=subprocess.DEVNULL 将标准输出重定向到空设备
    # stderr=subprocess.PIPE 将标准错误捕获到管道中，以便后续检查
    try:
        r = subprocess.Popen(cmd.split(), stdout=subprocess.DEVNULL, stderr=subprocess.PIPE, encoding='utf-8')
    except FileNotFoundError:
        sys.exit(f"错误: 命令 '{bioinformatics_tool}' 未找到。请检查路径或环境变量。")
    except Exception as e:
        sys.exit(f"错误: 执行子进程失败: {e}")

    # 3. 实时监控内存使用，直到子进程结束
    system_memory_snapshots = []
    process_memory_snapshots = []

    # 获取子进程的PID，用于进程级内存监控
    child_pid = r.pid 
    print(f"子进程PID: {child_pid}")

    while r.poll() is None: # 检查子进程是否仍在运行
        system_memory_snapshots.append(get_system_memory_info())

        # 也可以同时监控子进程自身的内存
        proc_mem = get_process_memory_info(child_pid)
        if proc_mem:
            process_memory_snapshots.append(proc_mem)

        time.sleep(SLICE_IN_SECONDS)

    # 确保在子进程终止后，再进行一次资源使用记录
    # 4. 子进程终止后记录资源使用，以获取准确的CPU时间
    usage_end = resource.getrusage(resource.RUSAGE_CHILDREN) 

    # 5. 检查子进程返回码，处理潜在错误
    if r.returncode != 0:
        error_output = r.stderr.strip()
        sys.exit(f'FAILED: 命令 "{cmd}" 失败，返回码 {r.returncode}\n错误输出:\n{error_output}')

    # 6. 提取并计算性能指标
    # 提取系统已用内存的最大值（从采样数据中）
    max_system_used_memory_gb = 0
    if system_memory_snapshots:
        max_system_used_memory_gb = max(m['used_memory'] for m in system_memory_snapshots)

    # 提取子进程峰值RSS内存（如果进行了进程级监控）
    max_process_rss_mb = 0
    if process_memory_snapshots:
        max_process_rss_mb = max(m['rss_mb'] for m in process_memory_snapshots)

    # 计算CPU时间
    cpu_time_user = usage_end.ru_utime - usage_start.ru_utime
    cpu_time_system = usage_end.ru_stime - usage_start.ru_stime
    total_cpu_time = cpu_time_user + cpu_time_system

    # 7. 将测量结果写入报告文件
    report_line = (
        f"{bioinformatics_tool} "
        f"用户CPU时间: {cpu_time_user:.4f}s "
        f"系统CPU时间: {cpu_time_system:.4f}s "
        f"总CPU时间: {total_cpu_time:.4f}s "
        f"峰值系统已用内存: {max_system_used_memory_gb:.2f}GB "
        f"峰值进程RSS内存: {max_process_rss_mb:.2f}MB\n"
    )
    outrepfp.write(report_line)
    outrepfp.close()

    print(f"性能报告已写入: {tbl_rep_file}")
    print(report_line.strip())

# 示例调用 (请根据您的实际情况修改参数)
if __name__ == "__main__":
    # 假设的参数
    tool_name = "example_tool"
    tool_setups = "-i input.txt -o output.txt"
    results_dir = "./results"
    input_data = "data.csv"
    report_file_name = "performance_report.txt"

    # 创建一个模拟的外部工具脚本
    # 在实际环境中，这会是您的真实生物信息学工具
    with open("example_tool", "w") as f:
        f.write("#!/bin/bash\n")
        f.write("echo 'Running example tool...' >&2\n")
        f.write("sleep 3 # 模拟工作3秒\n")
        f.write("echo 'Example tool finished.' >&2\n")
        f.write("exit 0\n")
    os.chmod("example_tool", 0o755) # 赋予执行权限

    # 创建模拟的results目录
    os.makedirs(results_dir, exist_ok=True)

    monitor_subprocess_performance(
        tool_name,
        tool_setups,
        results_dir,
        input_data,
        report_file_name
    )

    # 清理模拟文件
    os.remove("example_tool")
    os.rmdir(results_dir)