企业名称高精度匹配：N-gram方法在结构相似性分析中的应用

import re
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def preprocess_name(name):
    """
    对企业名称进行预处理：转小写，移除标点和多余空格，并标准化常见后缀。
    """
    if not isinstance(name, str):
        return "" # 确保输入是字符串

    name = name.lower()
    name = re.sub(r'[^\w\s]', '', name) # 移除所有非字母数字和非空格字符
    name = re.sub(r'\s+', ' ', name).strip() # 替换多余空格为单个空格，并去除首尾空格

    # 进一步标准化常见后缀，可根据实际需求扩展
    name = name.replace("ltd", "limited")
    name = name.replace("inc", "incorporated")
    name = name.replace("co", "company")
    name = name.replace("corp", "corporation")
    return name

def calculate_ngram_similarity(name1, name2, n_range=(2, 3)):
    """
    使用字符N-gram和余弦相似度计算两个企业名称的相似度。

    Args:
        name1 (str): 第一个企业名称。
        name2 (str): 第二个企业名称。
        n_range (tuple): N-gram的范围，例如(2, 3)表示使用2-gram和3-gram。

    Returns:
        float: 两个名称之间的余弦相似度，范围0到1。
    """
    processed_name1 = preprocess_name(name1)
    processed_name2 = preprocess_name(name2)

    # 如果任一名称预处理后为空，则相似度为0
    if not processed_name1 or not processed_name2:
        return 0.0

    # TfidfVectorizer可以生成字符N-grams，并计算TF-IDF权重
    # analyzer='char' 表示按字符生成N-gram
    vectorizer = TfidfVectorizer(analyzer='char', ngram_range=n_range)

    # 训练并转换两个名称。fit_transform需要一个可迭代对象。
    # 这里我们将两个名称放在一个列表中，以便vectorizer学习所有可能的N-gram
    tfidf_matrix = vectorizer.fit_transform([processed_name1, processed_name2])

    # 计算余弦相似度。tfidf_matrix[0:1]和tfidf_matrix[1:2]分别代表两个名称的TF-IDF向量。
    similarity = cosine_similarity(tfidf_matrix[0:1], tfidf_matrix[1:2])[0][0]
    return similarity

# 示例企业名称列表
company_names_examples = [
    "abc informatics",
    "ABC Informatics Inc.",
    "xyz communications",
    "X.Y.Z. Communications Ltd.",
    "intra soft",
    "IntraSoft Solutions",
    "gigabyte",
    "Gigabyte Technology Co. Ltd.",
    "Plants Ltd",
    "Trees Ltd",
    "Abc Information Systems"
]

print("企业名称相似度计算示例:")
print("-" * 40)

# 示例1: 同一公司不同格式 (期望高相似度)
sim1 = calculate_ngram_similarity(company_names_examples[0], company_names_examples[1])
print(f"'{company_names_examples[0]}' vs '{company_names_examples[1]}': {sim1:.4f}")

# 示例2: 同一公司不同格式 (期望高相似度)
sim2 = calculate_ngram_similarity(company_names_examples[2], company_names_examples[3])
print(f"'{company_names_examples[2]}' vs '{company_names_examples[3]}': {sim2:.4f}")

# 示例3: 存在部分差异的名称 (期望中等偏高相似度)
sim3 = calculate_ngram_similarity(company_names_examples[4], company_names_examples[5])
print(f"'{company_names_examples[4]}' vs '{company_names_examples[5]}': {sim3:.4f}")

# 示例4: 语义相似但结构不同的公司 (期望低相似度，N-gram的优势体现)
sim4 = calculate_ngram_similarity(company_names_examples[8], company_names_examples[9])
print(f"'{company_names_examples[8]}' vs '{company_names_examples[9]}': {sim4:.4f}")

# 示例5: 完全不同的公司 (期望低相似度)
sim5 = calculate_ngram_similarity(company_names_examples[0], company_names_examples[2])
print(f"'{company_names_examples[0]}' vs '{company_names_examples[2]}': {sim5:.4f}")

# 示例6: 拼写略有不同的公司
sim6 = calculate_ngram_similarity(company_names_examples[0], company_names_examples[10])
print(f"'{company_names_examples[0]}' vs '{company_names_examples[10]}': {sim6:.4f}")

# 应用相似度阈值进行判断
threshold = 0.8
if sim1 >= threshold:
    print(f"\n'{company_names_examples[0]}'与'{company_names_examples[1]}'相似度 ({sim1:.4f}) 达到或超过阈值 ({threshold:.2f})，可能指代同一实体。")
else:
    print(f"\n'{company_names_examples[0]}'与'{company_names_examples[1]}'相似度 ({sim1:.4f}) 未达到阈值 ({threshold:.2f})。")

if sim4 >= threshold:
    print(f"'{company_names_examples[8]}'与'{company_names_examples[9]}'相似度 ({sim4:.4f}) 达到或超过阈值 ({threshold:.2f})，可能指代同一实体。")
else:
    print(f"'{company_names_examples[8]}'与'{company_names_examples[9]}'相似度 ({sim4:.4f}) 未达到阈值 ({