Python利器fuzzywuzzy：搞定字符串“近似匹配”的终极方案

pip install fuzzywuzzy

pip install python-levenshtein

from fuzzywuzzy import fuzz

s1 = "小米科技有限责任公司"
s2 = "小米科技有限责任公司 (北京)" # 存在冗余信息
print(f"简单比率: {fuzz.ratio(s1, s2)}") # 80

s3 = "小木科技有限责任公司" # 存在一个错别字
print(f"简单比率: {fuzz.ratio(s1, s3)}") # 90

s_long = "四川省 成都市 武侯区 天府大道中段 99号"
s_short = "天府大道中段"

# 简单比率较低，因为它比较的是整个字符串
print(f"简单比率: {fuzz.ratio(s_long, s_short)}") # 43
# 部分比率较高，因为它找到了精确匹配的子串
print(f"部分比率: {fuzz.partial_ratio(s_long, s_short)}") # 100

s_a = "张三 李四 王五" # 名字顺序
s_b = "王五 李四 张三" # 顺序被打乱

print(f"简单比率: {fuzz.ratio(s_a, s_b)}") # 50
print(f"排序比率: {fuzz.token_sort_ratio(s_a, s_b)}") # 100

from fuzzywuzzy import process
import pandas as pd

# 1. 定义标准的公司名列表 (这是你的“标准答案”)
STANDARD_NAMES = [
    "华为技术有限公司",
    "阿里巴巴（中国）有限公司",
    "腾讯科技（深圳）有限公司",
    "字节跳动有限公司"
]

# 2. 定义待清洗的“脏数据”
dirty_data = [
    "华微技术有限公斯",      # 拼写错误
    "阿里 巴巴（中国）",     # 简写和空格问题
    "深圳腾迅科技",          # 顺序颠倒 + 拼写错误
    "字节跳動",              # 繁体字
    "网易公司"               # 无法匹配项
]

def clean_company_name(name, choices, threshold=50):
    """
    清洗函数：从标准列表中找到最佳匹配项。
    如果相似度低于阈值，则返回原始名称或标记为“待审核”。
    """
    # 使用 extractOne 找到得分最高的匹配
    best_match, score = process.extractOne(name, choices)

    if score >= threshold:
        # 相似度达标，返回标准名称
        return best_match
    else:
        # 相似度太低，保留原始数据，等待人工审核
        return f"【待审核】{name}"

# 3. 执行清洗操作并打印结果
print("--- 批量清洗结果 ---")
print("{:<20} | {}".format("原始名称", "清洗后名称/标记"))
print("-" * 40)

for dirty_name in dirty_data:
    # 调用清洗函数，阈值设置为 80 分
    clean_name = clean_company_name(dirty_name, STANDARD_NAMES)

    # 使用格式化打印，让结果对齐
    print("{:<20} | {}".format(dirty_name, clean_name))

原始名称                 | 清洗后名称/标记
----------------------------------------
华微技术有限公斯             | 华为技术有限公司
阿里 巴巴（中国）            | 阿里巴巴（中国）有限公司
深圳腾迅科技               | 腾讯科技（深圳）有限公司
字节跳動                 | 字节跳动有限公司
网易公司                 | 【待审核】网易公司