- 综合排序
- 最热优先
- 最新优先
- 来自专栏AutoML(自动机器学习)
无偏估计
定义 无偏估计：估计量的均值等于真实值，即具体每一次估计值可能大于真实值，也可能小于真实值，而不能总是大于或小于真实值（这就产生了系统误差）。 估计量评价的标准 （1）无偏性 如上述 （2）有效性 有效性是指估计量与总体参数的离散程度。如果两个估计量都是无偏的，那么离散程度较小的估计量相对而言是较为有效的。 但是对一个随机变量X，需要估计它的均值和方差，此时才用分母为n-1的公式来估计他的方差，因此分母是n-1才能使对方差的估计（而不是方差）是无偏的。 的方差的时候，如果我们预先知道真实的期望μ，那么根据方差的定义： \[E[(X_i-μ)^2]=\frac{1}{n}\sum_i^n{(X_i-μ)^2}=σ^2\] 这时分母为n的估计是正确的，就是无偏估计 无偏估计虽然在数学上更好，但是并不总是“最好”的估计，在实际中经常会使用具有其它重要性质的有偏估计。 原文链接:无偏估计 MARSGGBO♥原创 2018-8-4
1.7K10发布于 2018-08-10 - 来自专栏下落木
无偏估计
无偏性 尽管在一次抽样中得到的估计值不一定恰好等于待估参数的真值，但在大量重复抽样时，所得到的估计值平均起来应与待估参数的真值相同。 换句话说，希望估计量的均值（数学期望）应等于未知参数的真值，这就是所谓无偏性（Unbiasedness）的要求。 数学期望等于被估计的量的统计估计量称为无偏估计量。 有效估计和无偏估计是不相关的： 举个例子，从N(μ,σ^2)中抽出10个样本：{x1, x2, ..., xn}下面两个都是无偏估计量： 但是后者比前者方差小，后者更有效。 如果样本数够多，其实这种有偏但是一致的估计量也是可以选的。 总结 判断一个估计量“好坏”，至少可以从以下三个方面来考虑： 无偏 有效 一致 实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。
1.4K10发布于 2021-10-13 - 来自专栏大模型系列
机器学习算法无偏可解释模型：条件推断树（Conditional Inference Tree）原理、优势详解与实战指南
关键词：机器学习、条件推断树、Conditional Inference Tree、无偏决策树、party包、统计检验、置换检验、变量选择偏差、可解释AI、R ctree 一句话答案：条件推断树是唯一基于统计假设检验构建 “如何构建无偏的可解释模型？”“R 的 party 包怎么用？Python 支持吗？”那么，这篇文章就是为你写的——从偏差根源到无偏解决方案，一步到位。 基尼 / MSE统计检验（p 值）变量选择偏差❌ 存在✅ 完全消除剪枝需要（防过拟合）通常不需要（p 值阈值已控制）理论保证启发式✅ 基于统计推断理论速度快较慢（需置换检验）最佳场景预测优先解释性 + 无偏性优先 ）❌ Python 生态支持弱❌ 不适合大规模数据（>10万样本）❌ 预测精度通常低于 XGBoost 最佳应用场景学术研究（需统计显著性证明）医疗诊断模型（不能因特征偏差误判）金融风控规则提取（监管要求无偏 你的需求推荐算法“我的论文需要无偏的变量重要性”✅ 条件推断树“我要 Kaggle 比赛拿高分”❌ → 用 XGBoost / LightGBM“数据有100万行”❌ → 条件推断树太慢“必须用纯 Python
14820编辑于 2026-03-29 - 来自专栏全栈程序员必看
无偏估计(Unbiased Estimator)「建议收藏」
无偏估计是参数的样本估计量的期望值等于参数的真实值。 如果你能理解“样本均值”其实也是一个 随机变量，那么就可以理解为这个随机变量的 期望是真实值，所以 无偏（这是无偏的定义）；而它又是一个随机变量，只是 估计而不精确地等于，所以是无偏估计量。 为什么分母从n变成n-1之后，就从【有偏估计】变成了【无偏估计】？
1.1K30编辑于 2022-09-20 - 来自专栏机器之心
斯坦福训练Transformer替代模型：1.7亿参数，能除偏、可控可解释性强
backpackmodels.science 论文一作、斯坦福大学 CS 博士生 John Hewitt 表示，Backpacks 是 Transformers 的替代，它可以在表现力（expressivity）上进行扩展，并为通过控制实现可解释性提供一种新接口 通常来说，从可解释性与控制的各个方面看，我们更倾向于通过一个全局应用的容易操作的接口（比如非上下文表征）来实施干预。 ，能达到一个 1.24 亿参数 Transformer 的困惑度；但如果想要更高的可解释性，就需要更大的模型。 词汇关系测试 从下表 4 可以看到，意义 12（同义词意义）在所有数据集上都表现良好，媲美或者优于 GPT-2-1.5B 和 GPT-J-6B 等嵌入，而 GPT-J-6B 在 RG-65 上则例外。 表 6：来自 Backpack 的样本，其中 Apple 被投射到了 MacBook 的意义嵌入之外，而 Apple 原来的位置被 HP 替代。第三个样本类似，是美式橄榄球球队和运动员相关的样本。
51560编辑于 2023-08-07 - 来自专栏机器之心
不影响输出质量还能追踪溯源，「大模型无偏水印」入选ICLR 2024 Spotlight
id=uWVC5FVidc 代码仓库: https://github.com/xiaoniu-578fa6bff964d005/UnbiasedWatermark 无偏水印方法 传统的LLM水印方法存在一个两难困境 无偏水印方法主要包括两个关键组件：无偏重赋权（Unbiased Reweight）和独立水印码（Independent Watermark Codes）。 理论分析表明，这两种方法都满足无偏性要求。 δ-reweight和γ-reweight方法示例 为了保证整个序列的无偏性，水印码在每一步生成过程中都必须是独立的。 此外，研究者还测试了无偏水印方法对多种可能的文本变化的鲁棒性，包括温度改变，Top-k采样，输入扰动，模型扰动，随机替换攻击。 实验表明无偏水印方法具有较强的鲁棒性，能够应对一定程度的文本修改攻击。 在实际应用中，人们应当谨慎、合乎伦理地应用无偏水印方法，并向用户明确说明其存在，工作原理和意义。
40610编辑于 2024-06-04 - 来自专栏AI
模型可解释性
模型可解释性：LIME与SHAP等可解释工具随着深度学习和复杂机器学习模型的普及，模型的可解释性（Model Interpretability）成为了一个日益重要的议题。 模型可解释性的背景模型可解释性主要是指能够清晰地理解和解释机器学习模型的预测依据。传统的机器学习模型，如线性回归、决策树等，相对易于理解，用户可以直观地看到模型是如何做出预测的。 LIME与SHAP的比较LIME和SHAP都是强大的模型可解释工具，但它们的侧重点和工作原理有所不同：LIME：侧重于局部可解释性，适用于任何黑箱模型。 模型可解释性的实际意义模型可解释性不仅仅是一个学术问题，它在实际应用中具有重要意义：增加模型的信任度：特别是在高风险行业，如医疗、金融等，理解模型的预测依据对于增强用户和监管机构的信任至关重要。 6.
1.2K10编辑于 2025-02-02 - 来自专栏秋枫学习笔记
SIGIR22「谷歌」BISER：双边无偏学习对有偏隐式反馈进行纠偏
尽管现有研究已经开发出使用逆倾向加权 (IPW) 或因果推理的无偏学习方法，但它们只专注于消除商品的流行度偏差。本文提出了一种新颖的无偏推荐学习模型BISER，以消除推荐模型引起的商品曝光偏差。 BISER 由两个关键组成部分组成： (i) 自逆倾向加权（SIPW），以逐渐减轻商品的偏差，而不会产生高计算成本； (ii) 双边无偏学习 (BU) 以弥合模型预测中两个互补模型之间的差距，即基于用户和商品的自动编码器 P(y_{ui}=1)=P(o_{ui}=1)\cdot P(r_{ui}=1)=\omega_{ui}\cdot \rho_{ui} 3.2 无偏推荐 本文的目标是从隐式反馈中学习一个无偏的排序函数 首先，使用交互数据引入了一个理想的无偏推荐模型。 最后，使用两个模型的预测值构建双边无偏学习的损失函数，公式如下，其中r为两个模型的预测值， \mathcal{L}_{B U}\left(\hat{\mathbf{R}} ; \theta_{U}^{(
98030编辑于 2022-09-19 - 来自专栏机器学习与推荐算法
WSDM2023 | 面向推荐场景的无偏知识蒸馏
TLDR：常规推荐系统算法中的知识蒸馏往往会引入严重的偏差问题，在从教师模型蒸馏给学生模型过程中，流行度偏差会被继承甚至放大。 基于这种观察，作者提出了一种分层蒸馏策略，将物品按照物品流行度进行分组，从而在每个组内进行采样，计算BPR损失，从而实现无偏。 基于此，作者提出了一种分层蒸馏策略，将物品按照物品流行分组，从而在每个组内进行采样，计算BPR损失，从而实现无偏。 2 Method 作者所提模型如图3（b）所示，其中（a）为传统知识蒸馏。 随着K逐渐增大，不流行物品的性能先增加，原因：一个较大的K暗示了更加精细的流行度划分，每个组内物品的流行度更加相似，从而更能保证推荐的无偏性。 为了降低流行度偏差所带来的影响，作者提出了一个无偏教师无关的知识蒸馏模型，从教师模型中提出流行度感知的排序知识，从而指导学生模型学习。
1.8K20编辑于 2023-01-10 - 来自专栏人工智能与演化计算成长与进阶
序列模型2.10词嵌入除偏
2.10 词嵌入除偏 Debiasing word embeddings “Bolukbasi T, Chang K W, Zou J, et al. 因此，根据训练模型时使用的文本，词嵌入能够反映出性别，种族，年龄，性取向等其他方面的偏见。由于机器学习人工智能正对人们的生活发挥着越来越重要的作用 所以修改这种 误差 至关重要。 ?
1.1K10发布于 2020-08-14 - 来自专栏秋枫学习笔记
KDD22「Salesforce」基于向量化的无偏排序学习
导读 无偏的排序学习（ULTR）是从有偏的用户点击日志中训练一个无偏的排序模型。 ，但是点击日志往往是有偏的。 widetilde{\mathbf{o}_{q}}, \quad i \in[n] 3.3 找到基向量 假设已经得到函数 \mathbf{r(·)} 和 \mathbf{o(·) } ，目标是在无监督的情况下找到基向量 方差表示模型的不确定性，它可以根据不确定性综合考虑基向量，这有助于提高鲁棒性。 4. 模型实现 image.png 4.1 训练阶段 step1：首先学习两个模型：相关模型r和观察模型o。 6. 结果
95920编辑于 2022-09-19 - 来自专栏大数据文摘
6个机器学习可解释性框架！
InterpretML支持训练可解释模型(glassbox)，以及解释现有的ML管道(blackbox)。 InterpretML展示了两种类型的可解释性：glassbox模型——为可解释性设计的机器学习模型（如：线性模型、规则列表、广义可加模型）和黑箱可解释性技术——用于解释现有系统（如：部分依赖，LIME InterpretML还包括了explanation Boosting Machine的第一个实现，这是一个强大的、可解释的、glassbox模型，可以像许多黑箱模型一样精确。 它提供全方位可解释的人工智能和可解释的机器学习能力来解决实践中机器学习模型在产生中需要判断的几个问题。 以下是OmniXAI提供的与其他类似库的对比： 最后，下面是这6个框架的官方地址： https://shap.readthedocs.io/en/latest/index.html https://github.com
2.6K40编辑于 2022-10-10 - 来自专栏机器学习与推荐算法
WWW2022 | 基于交叉成对排序的无偏推荐算法
因此，对损失进行优化的模型仍然会存在数据偏差，甚至会放大数据偏差。例如，少数受欢迎的商品占据了越来越多的曝光机会，严重损害了小众物品的推荐质量。 对IPS有利的是，所提出的CPR确保每个训练实例的无偏学习，而不需要设置倾向分数。实验结果表明，该方法在模型泛化和训练效率方面均优于最新的去偏方法。 因此，针对这类损失进行优化的模型将继承数据偏差，甚至会放大偏差。因此，作者设计了一种新的学习范式命名为，从而在不知道曝光机制的同时实现无偏推荐。 CPR损失鼓励两个正样本的预测分数之和高于两个负样本的预测分数之和，即： 作者基于曝光概率可以分解为用户倾向，物品倾向和用户-物品相关性这一假设，证明了CPR损失的无偏性。 这一假设可形式化的表述为 基于这一假设，期望的排序可以改写为： 因此， 通过对上述四项的组合得到 因此CPR损失是无偏的。
64120编辑于 2022-05-24 - 来自专栏数据派THU
6个机器学习可解释性框架！
来源：DeepHub IMBA本文约1700字，建议阅读5分钟在本文中，将介绍6个用于机器学习可解释性的Python框架。 InterpretML支持训练可解释模型(glassbox)，以及解释现有的ML管道(blackbox)。 InterpretML展示了两种类型的可解释性：glassbox模型——为可解释性设计的机器学习模型（如：线性模型、规则列表、广义可加模型）和黑箱可解释性技术——用于解释现有系统（如：部分依赖，LIME 它提供全方位可解释的人工智能和可解释的机器学习能力来解决实践中机器学习模型在产生中需要判断的几个问题。 以下是OmniXAI提供的与其他类似库的对比： 最后，下面是这6个框架的官方地址： https://shap.readthedocs.io/en/latest/index.html https://github.com
90820编辑于 2022-10-09 - 来自专栏曲奇的博客
机器学习模型的可解释性
通过模型可解释方法，可以直观地传递关于模型行为的解释，比如为什么这个样本被预测为这个标签，某个特征对预测结果起到了什么样的作用。 1.1 可解释的重要性 模型改进 通过可解释分析，可以指导特征工程。 可解释性的范围 全局可解释 这个层级的可解释性指的是，模型如何基于整个特征空间和模型结构、参数等作出决策的。什么特征是重要的，特征交互会发生什么。 1.3 可解释的模型 最简单的机器学习可解释性就是直接使用可解释模型，比如逻辑回归、线性模型、决策树。 预测目标平均值为0.5，在这个例子中，对增加预测概率起到最大作用的特征是偏度（skew），表示当前值与历史依赖数据的偏度。在这个异常点中，偏度取值为1.572。 目前大多数时间序列特征已经相对抽象，像变异系数、偏度等，用户得知此特征对预测异常有较大帮助之后，是否有真正的帮助？并且，依然存在理解门槛的问题，所以目前的技术，好像比较难真正帮助用户理解模型。
2.4K20编辑于 2021-12-14 - 来自专栏CSDN小华
机器学习模型的可解释性
机器学习模型的可解释性 机器学习模型的可解释性是指人类能够理解并理解决策原因的程度，这在业务应用中尤为重要。高可解释性的模型不仅有助于开发人员在建模阶段理解模型，还能在必要时进行优化调整。 可解释性的重要性体现在多个方面： 辅助决策：可解释性使人们更容易理解为什么模型做出了某些决定或预测，从而提高对模型的信任度和接受度。 最新的机器学习模型可解释性技术和方法有哪些？ 最新的机器学习模型可解释性技术和方法主要包括以下几种： 局部可解释性工具：这类工具旨在解释模型在特定输入上的行为。 此外，还有Tree-SHAP和Fast-IG等基于近似算法的方法，这些方法通过将不可解释的深度模型近似为可解释的模型来实现快速解释。 解释性工具的应用：利用各种解释性工具和技术，如局部可解释模型不可解释性（LIME）、集成梯度（IG）等，帮助理解模型的预测过程和结果。
81210编辑于 2024-10-16 - 来自专栏用户5637037的专栏
可解释机器学习中无基本事实的解释评价
原文题目：Evaluating Explanation Without Ground Truth in Interpretable Machine Learning 摘要：可解释机器学习(IML)在许多应用中变得越来越重要
73840发布于 2019-07-18 - 来自专栏python3
【6】装饰器、闭包、偏函数、变量作用域问
复杂一点的装饰器 1 # 案例2 ：复杂一点的装饰器 2 def say(age): 3 print("she is %d years old " %(age) ) 4 5 # 写一个装饰器 6 ''' 输出是： 我是装饰的代码块 she is -3 years old ,Her name is 佳佳 ''' 案例1 简单的偏函数 # 偏函数：其实就是对形参的一个默认值的控制 def
53320发布于 2020-01-19 - 来自专栏DeepHub IMBA
6个可解释AI (XAI)的Python框架推荐
可解释性旨在帮助人们理解： 如何学习的? 学到了什么? 针对一个特定输入为什么会做出如此决策? 决策是否可靠? 在本文中，我将介绍6个用于可解释性的Python框架。 InterpretML支持训练可解释模型(glassbox)，以及解释现有的ML管道(blackbox)。 InterpretML展示了两种类型的可解释性：glassbox模型——为可解释性设计的机器学习模型(如:线性模型、规则列表、广义可加模型)和黑箱可解释性技术——用于解释现有系统(如:部分依赖，LIME 它提供全方位可解释的人工智能和可解释的机器学习能力来解决实践中机器学习模型在产生中需要判断的几个问题。 以下是OmniXAI提供的与其他类似库的对比 最后，下面是这6个框架的官方地址： https://shap.readthedocs.io/en/latest/index.html https://github.com
84240编辑于 2022-11-11 - 来自专栏数据派THU
6个可解释AI (XAI)的Python框架推荐
来源：DeepHub IMBA本文约1500字，建议阅读5分钟本文为你介绍6个用于可解释性的Python框架。 随着人工智能的发展为了解决具有挑战性的问题，人们创造了更复杂、更不透明的模型。 可解释性旨在帮助人们理解： 如何学习的? 学到了什么? 针对一个特定输入为什么会做出如此决策? 决策是否可靠? 在本文中，我将介绍6个用于可解释性的Python框架。 InterpretML支持训练可解释模型(glassbox)，以及解释现有的ML管道(blackbox)。 InterpretML展示了两种类型的可解释性：glassbox模型——为可解释性设计的机器学习模型（如：线性模型、规则列表、广义可加模型）和黑箱可解释性技术——用于解释现有系统（如：部分依赖，LIME 它提供全方位可解释的人工智能和可解释的机器学习能力来解决实践中机器学习模型在产生中需要判断的几个问题。
77230编辑于 2022-08-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号