大模型微调实战：三条规避灾难性遗忘的铁律

# 实验参数对比
--lora_r 8      # 通用能力保持最好，领域适配略弱
--lora_r 16     # 综合效果最优
--lora_r 64     # 领域适配提升不到3%，通用能力下降15%+

--lora_r 8
--lora_alpha 16
--target_modules q_proj,v_proj
--learning_rate 2e-5
--lr_scheduler_type cosine

def clean_dataset(data):
    # 1. 去重：相同或高度相似的样本只保留一条
    data = remove_near_duplicates(data, threshold=0.85)
    
    # 2. 长度过滤：过短无信息量，过长超出上下文窗口
    data = filter_by_length(data, min_tokens=50, max_tokens=2048)
    
    # 3. 格式校验：确保输入输出对符合模板规范
    data = validate_template(data, required_keys=["instruction", "output"])
    
    # 4. 人工抽检：每批数据随机抽10%人工复核
    return data

def evaluate_model(test_set, sample_size=100):
    # 第一轨：自动化指标做初筛
    rouge_score = calculate_rouge(test_set)
    bleu_score = calculate_bleu(test_set)
    
    # 第二轨：抽样人工复核做终审
    if rouge_score > 0.4:
        # 随机抽取20条做人工评估
        samples = random.sample(test_set, 20)
        human_score = human_evaluate(samples)  # 打分维度：准确性、流畅度、完整性
    
    return {
        "auto_pass": rouge_score > 0.4,
        "human_pass": human_score > 4.0,  # 5分制
        "final_decision": rouge_score > 0.4 and human_score > 4.0
    }