使用 Python 识别 YAML 文件中指定键值对的重复项

pip install pyyaml

import yaml
from collections import defaultdict

def find_duplicate_ip_types(yaml_file_path):
    """
    查找 YAML 文件中 IP 地址和类型都相同的重复条目。

    Args:
        yaml_file_path (str): YAML 文件的路径。

    Returns:
        list: 包含重复 IP 和类型的字符串列表。
    """
    try:
        with open(yaml_file_path, 'r', encoding='utf-8') as file:
            data = yaml.safe_load(file)
    except FileNotFoundError:
        print(f"错误：文件 '{yaml_file_path}' 未找到。")
        return []
    except yaml.YAMLError as e:
        print(f"错误：解析 YAML 文件时发生错误：{e}")
        return []

    # 确保 YAML 文件的根节点是一个列表，否则可能无法按预期处理
    if not isinstance(data, list):
        print("警告：YAML 文件根节点不是列表，可能无法按预期处理。")
        return []

    # 使用 defaultdict 存储每个 IP 出现过的类型及其计数
    # key: ip, value: {type: count}
    ip_type_counts = defaultdict(lambda: defaultdict(int))
    # 存储已识别的重复项，避免重复报告相同的 IP-Type 组合
    reported_duplicates = set()

    duplicate_entries = []

    for entry in data:
        # 验证每个条目是否为字典类型
        if not isinstance(entry, dict):
            print(f"警告：YAML 条目格式不正确，跳过：{entry}")
            continue

        ip = entry.get('ip')
        entry_type = entry.get('type')

        # 检查 'ip' 或 'type' 键是否存在
        if ip is None or entry_type is None:
            print(f"警告：条目缺少 'ip' 或 'type' 键，跳过：{entry}")
            continue

        # 增加当前 IP-Type 组合的计数
        ip_type_counts[ip][entry_type] += 1

        # 如果某个 IP-Type 组合的计数大于 1，则表示有重复
        # 并且该重复项尚未被报告过，则添加到结果列表
        if ip_type_counts[ip][entry_type] > 1:
            duplicate_key = f"IP {ip}, {entry_type}"
            if duplicate_key not in reported_duplicates:
                duplicate_entries.append(f"{duplicate_key} duplicate")
                reported_duplicates.add(duplicate_key)

    return duplicate_entries

# 示例用法：
if __name__ == "__main__":
    # 创建一个示例 YAML 文件用于测试
    sample_yaml_content = """
-
    ip: 1.1.1.1
    status: Active
    type: 'typeA'
-
    ip: 1.1.1.1
    status: Disabled
    type: 'typeA'
-
    ip: 2.2.2.2
    status: Active
    type: 'typeC'
-
    ip: 3.3.3.3
    status: Active
    type: 'typeB'
-
    ip: 3.3.3.3
    status: Active
    type: 'typeC'
-
    ip: 2.2.2.2
    status: Active
    type: 'typeC'
-
    ip: 4.4.4.4
    status: Active
    type: 'typeD'
-
    ip: 4.4.4.4
    status: Inactive
    type: 'typeD'
-
    """
    yaml_filename = 'myyaml.yaml'
    with open(yaml_filename, 'w', encoding='utf-8') as f:
        f.write(sample_yaml_content)

    print(f"正在分析文件: {yaml_filename}")
    duplicates = find_duplicate_ip_types(yaml_filename)

    if duplicates:
        print("\n发现的符合条件的重复项:")
        for dup in duplicates:
            print(dup)
    else:
        print("\n未发现符合条件的重复项。")