大语言模型对齐技术 - RLHF训练方法

"abliteration"技术，通过识别LLM中的"拒绝方向"并正交化权重，解除模型审查机制。实验显示该方法会降低模型性能，但后续DPO微调可恢复表现，最终得到高性能无审查的8B模型NeuralDaredevil。

核心要点：

1. 技术原理：对比有害/无害指令的残差流激活差异，定位"拒绝方向"（如Llama 3的审查机制）
2. 关键操作：通过权重正交化永久消除该方向，使模型不再拒绝敏感请求
3. 性能影响：直接应用会导致MMLU等指标下降（如Daredevil-8B分数降低）
4. 修复方案：采用DPO偏好对齐微调（使用orpo-dpo-mix-40k数据集），恢复模型能力
5. 伦理争议：暴露安全微调的脆弱性，需谨慎使用该技术