- 综合排序
- 最热优先
- 最新优先
- 来自专栏AutoML(自动机器学习)
无偏估计
定义 无偏估计：估计量的均值等于真实值，即具体每一次估计值可能大于真实值，也可能小于真实值，而不能总是大于或小于真实值（这就产生了系统误差）。 估计量评价的标准 （1）无偏性 如上述 （2）有效性 有效性是指估计量与总体参数的离散程度。如果两个估计量都是无偏的，那么离散程度较小的估计量相对而言是较为有效的。 但是对一个随机变量X，需要估计它的均值和方差，此时才用分母为n-1的公式来估计他的方差，因此分母是n-1才能使对方差的估计（而不是方差）是无偏的。 的方差的时候，如果我们预先知道真实的期望μ，那么根据方差的定义： \[E[(X_i-μ)^2]=\frac{1}{n}\sum_i^n{(X_i-μ)^2}=σ^2\] 这时分母为n的估计是正确的，就是无偏估计 无偏估计虽然在数学上更好，但是并不总是“最好”的估计，在实际中经常会使用具有其它重要性质的有偏估计。 原文链接:无偏估计 MARSGGBO♥原创 2018-8-4
1.7K10发布于 2018-08-10 - 来自专栏下落木
无偏估计
无偏性 尽管在一次抽样中得到的估计值不一定恰好等于待估参数的真值，但在大量重复抽样时，所得到的估计值平均起来应与待估参数的真值相同。 换句话说，希望估计量的均值（数学期望）应等于未知参数的真值，这就是所谓无偏性（Unbiasedness）的要求。 数学期望等于被估计的量的统计估计量称为无偏估计量。 有效估计和无偏估计是不相关的： 举个例子，从N(μ,σ^2)中抽出10个样本：{x1, x2, ..., xn}下面两个都是无偏估计量： 但是后者比前者方差小，后者更有效。 如果样本数够多，其实这种有偏但是一致的估计量也是可以选的。 总结 判断一个估计量“好坏”，至少可以从以下三个方面来考虑： 无偏 有效 一致 实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。
1.4K10发布于 2021-10-13 - 来自专栏大模型系列
机器学习算法无偏可解释模型：条件推断树（Conditional Inference Tree）原理、优势详解与实战指南
关键词：机器学习、条件推断树、Conditional Inference Tree、无偏决策树、party包、统计检验、置换检验、变量选择偏差、可解释AI、R ctree 一句话答案：条件推断树是唯一基于统计假设检验构建 “如何构建无偏的可解释模型？”“R 的 party 包怎么用？Python 支持吗？”那么，这篇文章就是为你写的——从偏差根源到无偏解决方案，一步到位。 基尼 / MSE统计检验（p 值）变量选择偏差❌ 存在✅ 完全消除剪枝需要（防过拟合）通常不需要（p 值阈值已控制）理论保证启发式✅ 基于统计推断理论速度快较慢（需置换检验）最佳场景预测优先解释性 + 无偏性优先 ）❌ Python 生态支持弱❌ 不适合大规模数据（>10万样本）❌ 预测精度通常低于 XGBoost 最佳应用场景学术研究（需统计显著性证明）医疗诊断模型（不能因特征偏差误判）金融风控规则提取（监管要求无偏 你的需求推荐算法“我的论文需要无偏的变量重要性”✅ 条件推断树“我要 Kaggle 比赛拿高分”❌ → 用 XGBoost / LightGBM“数据有100万行”❌ → 条件推断树太慢“必须用纯 Python
14820编辑于 2026-03-29 - 来自专栏全栈程序员必看
无偏估计(Unbiased Estimator)「建议收藏」
无偏估计是参数的样本估计量的期望值等于参数的真实值。 如果你能理解“样本均值”其实也是一个 随机变量，那么就可以理解为这个随机变量的 期望是真实值，所以 无偏（这是无偏的定义）；而它又是一个随机变量，只是 估计而不精确地等于，所以是无偏估计量。 为什么分母从n变成n-1之后，就从【有偏估计】变成了【无偏估计】？
1.1K30编辑于 2022-09-20 - 来自专栏机器之心
斯坦福训练Transformer替代模型：1.7亿参数，能除偏、可控可解释性强
在这篇论文中，斯坦福大学的研究者提出了可干预的 Backpac k 语言模型，通过调控意义向量来干预语言模型行为，引导语言模型输出想要的结果。 针对这一问题，斯坦福大学几位研究者提出了一种新型神经架构 Backpack，宣称能够调控意义向量来干预语言模型的行为，引导语言模型输出想要的结果。该项目的代码和模型都已发布。 backpackmodels.science 论文一作、斯坦福大学 CS 博士生 John Hewitt 表示，Backpacks 是 Transformers 的替代，它可以在表现力（expressivity）上进行扩展，并为通过控制实现可解释性提供一种新接口 通常来说，从可解释性与控制的各个方面看，我们更倾向于通过一个全局应用的容易操作的接口（比如非上下文表征）来实施干预。 ，能达到一个 1.24 亿参数 Transformer 的困惑度；但如果想要更高的可解释性，就需要更大的模型。
51560编辑于 2023-08-07 - 来自专栏机器之心
不影响输出质量还能追踪溯源，「大模型无偏水印」入选ICLR 2024 Spotlight
对于没有私钥的观察者来说，含水印模型的期望输出与原始模型完全一致，从而保证了无偏性。但对于拥有私钥的人来说，相应水印分布与原始分布之间的差异可以很大，从而实现可靠的水印检测。 无偏水印方法主要包括两个关键组件：无偏重赋权（Unbiased Reweight）和独立水印码（Independent Watermark Codes）。 理论分析表明，这两种方法都满足无偏性要求。 δ-reweight和γ-reweight方法示例 为了保证整个序列的无偏性，水印码在每一步生成过程中都必须是独立的。 此外，研究者还测试了无偏水印方法对多种可能的文本变化的鲁棒性，包括温度改变，Top-k采样，输入扰动，模型扰动，随机替换攻击。 实验表明无偏水印方法具有较强的鲁棒性，能够应对一定程度的文本修改攻击。 在实际应用中，人们应当谨慎、合乎伦理地应用无偏水印方法，并向用户明确说明其存在，工作原理和意义。
40610编辑于 2024-06-04 - 来自专栏AI
模型可解释性
模型可解释性：LIME与SHAP等可解释工具随着深度学习和复杂机器学习模型的普及，模型的可解释性（Model Interpretability）成为了一个日益重要的议题。 本文将重点介绍两个广泛应用的模型可解释性工具：LIME（局部可解释模型-无关解释）和SHAP（Shapley Additive Explanations），并通过具体的例子来分析它们的原理与应用。 模型可解释性的背景模型可解释性主要是指能够清晰地理解和解释机器学习模型的预测依据。传统的机器学习模型，如线性回归、决策树等，相对易于理解，用户可以直观地看到模型是如何做出预测的。 LIME与SHAP的比较LIME和SHAP都是强大的模型可解释工具，但它们的侧重点和工作原理有所不同：LIME：侧重于局部可解释性，适用于任何黑箱模型。 模型可解释性的实际意义模型可解释性不仅仅是一个学术问题，它在实际应用中具有重要意义：增加模型的信任度：特别是在高风险行业，如医疗、金融等，理解模型的预测依据对于增强用户和监管机构的信任至关重要。
1.2K10编辑于 2025-02-02 - 来自专栏秋枫学习笔记
SIGIR22「谷歌」BISER：双边无偏学习对有偏隐式反馈进行纠偏
尽管现有研究已经开发出使用逆倾向加权 (IPW) 或因果推理的无偏学习方法，但它们只专注于消除商品的流行度偏差。本文提出了一种新颖的无偏推荐学习模型BISER，以消除推荐模型引起的商品曝光偏差。 BISER 由两个关键组成部分组成： (i) 自逆倾向加权（SIPW），以逐渐减轻商品的偏差，而不会产生高计算成本； (ii) 双边无偏学习 (BU) 以弥合模型预测中两个互补模型之间的差距，即基于用户和商品的自动编码器 P(y_{ui}=1)=P(o_{ui}=1)\cdot P(r_{ui}=1)=\omega_{ui}\cdot \rho_{ui} 3.2 无偏推荐 本文的目标是从隐式反馈中学习一个无偏的排序函数 首先，使用交互数据引入了一个理想的无偏推荐模型。 最后，使用两个模型的预测值构建双边无偏学习的损失函数，公式如下，其中r为两个模型的预测值， \mathcal{L}_{B U}\left(\hat{\mathbf{R}} ; \theta_{U}^{(
98030编辑于 2022-09-19 - 来自专栏机器学习与推荐算法
WSDM2023 | 面向推荐场景的无偏知识蒸馏
TLDR：常规推荐系统算法中的知识蒸馏往往会引入严重的偏差问题，在从教师模型蒸馏给学生模型过程中，流行度偏差会被继承甚至放大。 基于这种观察，作者提出了一种分层蒸馏策略，将物品按照物品流行度进行分组，从而在每个组内进行采样，计算BPR损失，从而实现无偏。 基于此，作者提出了一种分层蒸馏策略，将物品按照物品流行分组，从而在每个组内进行采样，计算BPR损失，从而实现无偏。 2 Method 作者所提模型如图3（b）所示，其中（a）为传统知识蒸馏。 随着K逐渐增大，不流行物品的性能先增加，原因：一个较大的K暗示了更加精细的流行度划分，每个组内物品的流行度更加相似，从而更能保证推荐的无偏性。 为了降低流行度偏差所带来的影响，作者提出了一个无偏教师无关的知识蒸馏模型，从教师模型中提出流行度感知的排序知识，从而指导学生模型学习。
1.8K20编辑于 2023-01-10 - 来自专栏人工智能与演化计算成长与进阶
序列模型2.10词嵌入除偏
2.10 词嵌入除偏 Debiasing word embeddings “Bolukbasi T, Chang K W, Zou J, et al. 因此，根据训练模型时使用的文本，词嵌入能够反映出性别，种族，年龄，性取向等其他方面的偏见。由于机器学习人工智能正对人们的生活发挥着越来越重要的作用 所以修改这种 误差 至关重要。 ?
1.1K10发布于 2020-08-14 - 来自专栏秋枫学习笔记
KDD22「Salesforce」基于向量化的无偏排序学习
导读 无偏的排序学习（ULTR）是从有偏的用户点击日志中训练一个无偏的排序模型。 ，但是点击日志往往是有偏的。 widetilde{\mathbf{o}_{q}}, \quad i \in[n] 3.3 找到基向量 假设已经得到函数 \mathbf{r(·)} 和 \mathbf{o(·) } ，目标是在无监督的情况下找到基向量 方差表示模型的不确定性，它可以根据不确定性综合考虑基向量，这有助于提高鲁棒性。 4. 模型实现 image.png 4.1 训练阶段 step1：首先学习两个模型：相关模型r和观察模型o。 第 2-7 行，通过基于向量的 EH 联合训练相关性模型和观察模型。第 8-12 行，训练基础模型，让分布估计接近观察embedding分布。
95920编辑于 2022-09-19 - 来自专栏机器学习与推荐算法
WWW2022 | 基于交叉成对排序的无偏推荐算法
因此，对损失进行优化的模型仍然会存在数据偏差，甚至会放大数据偏差。例如，少数受欢迎的商品占据了越来越多的曝光机会，严重损害了小众物品的推荐质量。 对IPS有利的是，所提出的CPR确保每个训练实例的无偏学习，而不需要设置倾向分数。实验结果表明，该方法在模型泛化和训练效率方面均优于最新的去偏方法。 因此，针对这类损失进行优化的模型将继承数据偏差，甚至会放大偏差。因此，作者设计了一种新的学习范式命名为，从而在不知道曝光机制的同时实现无偏推荐。 CPR损失鼓励两个正样本的预测分数之和高于两个负样本的预测分数之和，即： 作者基于曝光概率可以分解为用户倾向，物品倾向和用户-物品相关性这一假设，证明了CPR损失的无偏性。 这一假设可形式化的表述为 基于这一假设，期望的排序可以改写为： 因此， 通过对上述四项的组合得到 因此CPR损失是无偏的。
64120编辑于 2022-05-24 - 来自专栏曲奇的博客
机器学习模型的可解释性
通过模型可解释方法，可以直观地传递关于模型行为的解释，比如为什么这个样本被预测为这个标签，某个特征对预测结果起到了什么样的作用。 1.1 可解释的重要性 模型改进 通过可解释分析，可以指导特征工程。 可解释性的范围 全局可解释 这个层级的可解释性指的是，模型如何基于整个特征空间和模型结构、参数等作出决策的。什么特征是重要的，特征交互会发生什么。 1.3 可解释的模型 最简单的机器学习可解释性就是直接使用可解释模型，比如逻辑回归、线性模型、决策树。 预测目标平均值为0.5，在这个例子中，对增加预测概率起到最大作用的特征是偏度（skew），表示当前值与历史依赖数据的偏度。在这个异常点中，偏度取值为1.572。 目前大多数时间序列特征已经相对抽象，像变异系数、偏度等，用户得知此特征对预测异常有较大帮助之后，是否有真正的帮助？并且，依然存在理解门槛的问题，所以目前的技术，好像比较难真正帮助用户理解模型。
2.4K20编辑于 2021-12-14 - 来自专栏CSDN小华
机器学习模型的可解释性
机器学习模型的可解释性 机器学习模型的可解释性是指人类能够理解并理解决策原因的程度，这在业务应用中尤为重要。高可解释性的模型不仅有助于开发人员在建模阶段理解模型，还能在必要时进行优化调整。 可解释性的重要性体现在多个方面： 辅助决策：可解释性使人们更容易理解为什么模型做出了某些决定或预测，从而提高对模型的信任度和接受度。 最新的机器学习模型可解释性技术和方法有哪些？ 最新的机器学习模型可解释性技术和方法主要包括以下几种： 局部可解释性工具：这类工具旨在解释模型在特定输入上的行为。 此外，还有Tree-SHAP和Fast-IG等基于近似算法的方法，这些方法通过将不可解释的深度模型近似为可解释的模型来实现快速解释。 解释性工具的应用：利用各种解释性工具和技术，如局部可解释模型不可解释性（LIME）、集成梯度（IG）等，帮助理解模型的预测过程和结果。
81210编辑于 2024-10-16 - 来自专栏用户5637037的专栏
可解释机器学习中无基本事实的解释评价
原文题目：Evaluating Explanation Without Ground Truth in Interpretable Machine Learning 摘要：可解释机器学习(IML)在许多应用中变得越来越重要
73840发布于 2019-07-18 - 来自专栏腾讯云TI平台
【技术分享】机器学习模型可解释性
机器学习模型的可解释性越高，人们就越容易理解为什么做出某些决定或预测。模型可解释性指对模型内部机制的理解以及对模型结果的理解。 可解释性特质： 重要性：了解“为什么”可以帮助更深入地了解问题，数据以及模型可能失败的原因。 分类：建模前数据的可解释性、建模阶段模型可解释性、运行阶段结果可解释性。 动机 在工业界中，数据科学或机器学习的主要焦点是更偏“应用”的解决复杂的现实世界至关重要的问题，而不是理论上有效地应用这些模型于正确的数据。 内在可解释性就是利用机器学习模型，该模型本质上是可解释的（如线性模型，参数模型或基于树的模型）。 事后可解释性意味着选择和训练黑匣子模型（集合方法或神经网络）并在训练后应用可解释性方法（特征重要性，部分依赖性图）。我们将更多地关注我们系列文章中的事后模型可解释方法。 模型特定或模型不可知？
4.3K54编辑于 2021-12-22 可解释AI技术解析与模型监控实践
可解释AI：破解机器学习黑箱难题当企业使用AI系统进行分类欺诈、评估信用风险或预测客户流失时，他们面临着模型不可解释的挑战。 传统的线性模型权重可读，而当今的机器学习和深度学习模型由于结构复杂，变得难以人为解读。可解释AI的技术实现交互式特征分析：系统可可视化展示各预测特征对结果的影响程度。 模型生产环境的四大挑战黑箱问题：模型复杂度增加导致信任缺失，需要确保AI解决方案的公平性。模型性能波动：模型漂移现象在疫情期间尤为明显，用户行为变化导致基于疫情前数据训练的模型性能下降。 机器学习运维与监控解决方案预生产模型验证：在模型部署前，从可解释性、偏差、数据不平衡等角度深入理解模型工作原理。银行业的客户使用该技术进行模型验证，评估部署前的风险。 生产后模型监控：部署后持续监控模型行为，设置异常警报。当出现模型漂移或数据质量问题时，机器学习工程师可及时诊断并修复。
20110编辑于 2025-10-11可解释集成模型提升产品检索效果
可解释集成模型改进产品检索机器学习领域正在快速发展，新模型层出不穷。然而，为特定用例评估新模型是一个耗时且资源密集的过程。 我们不使用单一模型（或一对模型，即语言模型和图神经网络）来处理客户查询，而是提出使用模型集成，其输出通过梯度提升决策树（GBDT）进行聚合。 通过使用Shapley值确定每个模型对GBDT最终决策的贡献程度，我们可以按效用对模型进行排序。然后，根据可用的计算资源，我们只保留在并行运行时最实用的最有用的模型。 方法实现尚未针对特定用例进行彻底评估的新模型可以在可用数据上进行训练，并添加到集成中，与现有模型一起参与评估。Shapley值分析可能会将其从集成中移除，或者可能确定新模型使现有模型过时。 当然，运行模型集成比运行单个模型（或一对模型，一个语言模型和一个GNN）在计算上更昂贵。
14610编辑于 2025-11-04- 来自专栏ATYUN订阅号
深入探索Catboost模型可解释性（下）
数值越大，计算越精确，速度越慢 AllPoints:最慢最准确的方法 例如，下面的值将方法设置为TopKLeaves，并将叶子的数量限制为3: TopKLeaves:top=3 模型分析情节 CatBoost 然后，该模型根据该特性的新值预测目标，并取一个容器中预测的平均值（由红点给出）。 希望下次您能够使用这些工具更好地开发您的模型。 End
1.9K12发布于 2019-07-22 - 来自专栏ATYUN订阅号
深入探索Catboost模型可解释性（上）
作为数据科学家，我们可以很容易地训练模型并做出预测，但是，我们往往无法理解这些花哨的算法中发生了什么。这也是我们看到模型性能在离线评估和最终生产之间存在巨大差异的原因之一。 我们应该停止将ML作为一个“黑匣子”，在提高模型精度的同时重视模型解释。这也将帮助我们识别数据偏差。在这一部分中，我们将看到catboost如何通过以下功能帮助我们分析模型并提高可视性: ? 选择一个特性比选择另一个特性有优缺点，但最终，您需要决定您是想知道模型在多大程度上依赖于每个特性来进行预测（使用训练数据），还是该特性对模型在未知数据（使用测试数据）上的性能有多大贡献。 失去功能改变 为了获得这一特性的重要性，CatBoost简单地利用了在正常情况下（当我们包括特性时）使用模型获得的度量（损失函数）与不使用该特性的模型(模型建立大约与此功能从所有的树在合奏)。 在今天的内容中，我们看到catboost如何通过以上功能帮助我们分析模型，明天我们将继续更新，希望能帮助你更好地使用这些工具去开发模型。 ? End
4.4K21发布于 2019-07-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号