- 综合排序
- 最热优先
- 最新优先
- 来自专栏AutoML(自动机器学习)
无偏估计
定义 无偏估计：估计量的均值等于真实值，即具体每一次估计值可能大于真实值，也可能小于真实值，而不能总是大于或小于真实值（这就产生了系统误差）。 估计量评价的标准 （1）无偏性 如上述 （2）有效性 有效性是指估计量与总体参数的离散程度。如果两个估计量都是无偏的，那么离散程度较小的估计量相对而言是较为有效的。 ^n{(X_i-μ)^2}=σ^2\] 这时分母为n的估计是正确的，就是无偏估计！ 至于为什么是n-1,而不是n-2,n-3,...,有严格的数学证明。 无偏估计虽然在数学上更好，但是并不总是“最好”的估计，在实际中经常会使用具有其它重要性质的有偏估计。 原文链接:无偏估计 MARSGGBO♥原创 2018-8-4
1.7K10发布于 2018-08-10 - 来自专栏下落木
无偏估计
无偏性 尽管在一次抽样中得到的估计值不一定恰好等于待估参数的真值，但在大量重复抽样时，所得到的估计值平均起来应与待估参数的真值相同。 换句话说，希望估计量的均值（数学期望）应等于未知参数的真值，这就是所谓无偏性（Unbiasedness）的要求。 数学期望等于被估计的量的统计估计量称为无偏估计量。 有效估计和无偏估计是不相关的： 举个例子，从N(μ,σ^2)中抽出10个样本：{x1, x2, ..., xn}下面两个都是无偏估计量： 但是后者比前者方差小，后者更有效。 一致性 之前说了，如果用以下式子去估计方差σ^2： 会有一个偏差：σ^2/n。 可以看到，随着采样个数n的增加，这个偏差会越来越小。那么这个估计就是“一致”的。 总结 判断一个估计量“好坏”，至少可以从以下三个方面来考虑： 无偏 有效 一致 实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。
1.4K10发布于 2021-10-13 - 来自专栏大模型系列
机器学习算法无偏可解释模型：条件推断树（Conditional Inference Tree）原理、优势详解与实战指南
关键词：机器学习、条件推断树、Conditional Inference Tree、无偏决策树、party包、统计检验、置换检验、变量选择偏差、可解释AI、R ctree 一句话答案：条件推断树是唯一基于统计假设检验构建 “如何构建无偏的可解释模型？”“R 的 party 包怎么用？Python 支持吗？”那么，这篇文章就是为你写的——从偏差根源到无偏解决方案，一步到位。 基尼 / MSE统计检验（p 值）变量选择偏差❌ 存在✅ 完全消除剪枝需要（防过拟合）通常不需要（p 值阈值已控制）理论保证启发式✅ 基于统计推断理论速度快较慢（需置换检验）最佳场景预测优先解释性 + 无偏性优先 六、Python 实现方案Python 无官方支持，但可通过以下方式实现：方案1：调用 R（推荐）import rpy2.robjects as rofrom rpy2.robjects import ）❌ Python 生态支持弱❌ 不适合大规模数据（>10万样本）❌ 预测精度通常低于 XGBoost 最佳应用场景学术研究（需统计显著性证明）医疗诊断模型（不能因特征偏差误判）金融风控规则提取（监管要求无偏
14820编辑于 2026-03-29 - 来自专栏全栈程序员必看
无偏估计(Unbiased Estimator)「建议收藏」
无偏估计是参数的样本估计量的期望值等于参数的真实值。 如果你能理解“样本均值”其实也是一个 随机变量，那么就可以理解为这个随机变量的 期望是真实值，所以 无偏（这是无偏的定义）；而它又是一个随机变量，只是 估计而不精确地等于，所以是无偏估计量。 为什么分母从n变成n-1之后，就从【有偏估计】变成了【无偏估计】？
1.1K30编辑于 2022-09-20 - 来自专栏机器之心
斯坦福训练Transformer替代模型：1.7亿参数，能除偏、可控可解释性强
通常来说，从可解释性与控制的各个方面看，我们更倾向于通过一个全局应用的容易操作的接口（比如非上下文表征）来实施干预。 ，能达到一个 1.24 亿参数 Transformer 的困惑度；但如果想要更高的可解释性，就需要更大的模型。 意义向量是一种多向量，类似于 word2vec 或 GloVe 等经典的非上下文词表征。 加权和。 表 2：语言建模性能，所有模型都训练了 10 万步，token 批大小为 50 万，是在 OWT 上。对于 PPL 指标，越低越好；对于准确度指标，越高越好。 生成限定主题的内容 下图 2 中，通过 Backpack 中的意义干预来控制生成主题，对比了 Transformer 的 PPLM。
51560编辑于 2023-08-07 - 来自专栏机器之心
不影响输出质量还能追踪溯源，「大模型无偏水印」入选ICLR 2024 Spotlight
对于没有私钥的观察者来说，含水印模型的期望输出与原始模型完全一致，从而保证了无偏性。但对于拥有私钥的人来说，相应水印分布与原始分布之间的差异可以很大，从而实现可靠的水印检测。 无偏水印方法主要包括两个关键组件：无偏重赋权（Unbiased Reweight）和独立水印码（Independent Watermark Codes）。 理论分析表明，这两种方法都满足无偏性要求。 δ-reweight和γ-reweight方法示例 为了保证整个序列的无偏性，水印码在每一步生成过程中都必须是独立的。 此外，研究者还测试了无偏水印方法对多种可能的文本变化的鲁棒性，包括温度改变，Top-k采样，输入扰动，模型扰动，随机替换攻击。 实验表明无偏水印方法具有较强的鲁棒性，能够应对一定程度的文本修改攻击。 在实际应用中，人们应当谨慎、合乎伦理地应用无偏水印方法，并向用户明确说明其存在，工作原理和意义。
40610编辑于 2024-06-04 - 来自专栏AI
模型可解释性
模型可解释性：LIME与SHAP等可解释工具随着深度学习和复杂机器学习模型的普及，模型的可解释性（Model Interpretability）成为了一个日益重要的议题。 模型可解释性的背景模型可解释性主要是指能够清晰地理解和解释机器学习模型的预测依据。传统的机器学习模型，如线性回归、决策树等，相对易于理解，用户可以直观地看到模型是如何做出预测的。 因此，模型可解释性成为了研究人员和实践者必须解决的核心问题。2. LIME与SHAP的比较LIME和SHAP都是强大的模型可解释工具，但它们的侧重点和工作原理有所不同：LIME：侧重于局部可解释性，适用于任何黑箱模型。 模型可解释性的实际意义模型可解释性不仅仅是一个学术问题，它在实际应用中具有重要意义：增加模型的信任度：特别是在高风险行业，如医疗、金融等，理解模型的预测依据对于增强用户和监管机构的信任至关重要。
1.2K10编辑于 2025-02-02 - 来自专栏秋枫学习笔记
SIGIR22「谷歌」BISER：双边无偏学习对有偏隐式反馈进行纠偏
尽管现有研究已经开发出使用逆倾向加权 (IPW) 或因果推理的无偏学习方法，但它们只专注于消除商品的流行度偏差。本文提出了一种新颖的无偏推荐学习模型BISER，以消除推荐模型引起的商品曝光偏差。 BISER 由两个关键组成部分组成： (i) 自逆倾向加权（SIPW），以逐渐减轻商品的偏差，而不会产生高计算成本； (ii) 双边无偏学习 (BU) 以弥合模型预测中两个互补模型之间的差距，即基于用户和商品的自动编码器 P(y_{ui}=1)=P(o_{ui}=1)\cdot P(r_{ui}=1)=\omega_{ui}\cdot \rho_{ui} 3.2 无偏推荐 本文的目标是从隐式反馈中学习一个无偏的排序函数 首先，使用交互数据引入了一个理想的无偏推荐模型。 最后，使用两个模型的预测值构建双边无偏学习的损失函数，公式如下，其中r为两个模型的预测值， \mathcal{L}_{B U}\left(\hat{\mathbf{R}} ; \theta_{U}^{(
98030编辑于 2022-09-19 - 来自专栏机器学习与推荐算法
WSDM2023 | 面向推荐场景的无偏知识蒸馏
基于这种观察，作者提出了一种分层蒸馏策略，将物品按照物品流行度进行分组，从而在每个组内进行采样，计算BPR损失，从而实现无偏。 基于此，作者提出了一种分层蒸馏策略，将物品按照物品流行分组，从而在每个组内进行采样，计算BPR损失，从而实现无偏。 2 Method 作者所提模型如图3（b）所示，其中（a）为传统知识蒸馏。 （2）Group-wise Sampling 图片 （3）Group-wise Learning 按照（2）得到的训练样例训练学生模型 最终，模型损失为 图片 （原论文给出了因果解释，更多细节参考原文 随着K逐渐增大，不流行物品的性能先增加，原因：一个较大的K暗示了更加精细的流行度划分，每个组内物品的流行度更加相似，从而更能保证推荐的无偏性。 为了降低流行度偏差所带来的影响，作者提出了一个无偏教师无关的知识蒸馏模型，从教师模型中提出流行度感知的排序知识，从而指导学生模型学习。
1.8K20编辑于 2023-01-10 - 来自专栏人工智能与演化计算成长与进阶
序列模型2.10词嵌入除偏
2.10 词嵌入除偏 Debiasing word embeddings “Bolukbasi T, Chang K W, Zou J, et al. 因此，根据训练模型时使用的文本，词嵌入能够反映出性别，种族，年龄，性取向等其他方面的偏见。由于机器学习人工智能正对人们的生活发挥着越来越重要的作用 所以修改这种 误差 至关重要。 ?
1.1K10发布于 2020-08-14 - 来自专栏秋枫学习笔记
KDD22「Salesforce」基于向量化的无偏排序学习
导读 无偏的排序学习（ULTR）是从有偏的用户点击日志中训练一个无偏的排序模型。 在此基础上，提出 Vectorization 模型，通过将embedding投影到基向量上来自适应地学习相关embedding并对文档进行排序。 2. ，但是点击日志往往是有偏的。 }^{2} 4.2 预测阶段 在推理阶段，使用相关性模型r和模型v来估计相关性标量以进行排序。 第 2-7 行，通过基于向量的 EH 联合训练相关性模型和观察模型。第 8-12 行，训练基础模型，让分布估计接近观察embedding分布。
95920编辑于 2022-09-19 - 来自专栏机器学习与推荐算法
WWW2022 | 基于交叉成对排序的无偏推荐算法
对IPS有利的是，所提出的CPR确保每个训练实例的无偏学习，而不需要设置倾向分数。实验结果表明，该方法在模型泛化和训练效率方面均优于最新的去偏方法。 因此，针对这类损失进行优化的模型将继承数据偏差，甚至会放大偏差。因此，作者设计了一种新的学习范式命名为，从而在不知道曝光机制的同时实现无偏推荐。 2 Preliminaries 2.1 Biasedness of Pointwise and Pairwise Loss 作者指出了现有的pointwise损失和pairwise损失都是有偏的。 CPR损失鼓励两个正样本的预测分数之和高于两个负样本的预测分数之和，即： 作者基于曝光概率可以分解为用户倾向，物品倾向和用户-物品相关性这一假设，证明了CPR损失的无偏性。 这一假设可形式化的表述为 基于这一假设，期望的排序可以改写为： 因此， 通过对上述四项的组合得到 因此CPR损失是无偏的。
64120编辑于 2022-05-24 - 来自专栏曲奇的博客
机器学习模型的可解释性
通过模型可解释方法，可以直观地传递关于模型行为的解释，比如为什么这个样本被预测为这个标签，某个特征对预测结果起到了什么样的作用。 1.1 可解释的重要性 模型改进 通过可解释分析，可以指导特征工程。 1.3 可解释的模型 最简单的机器学习可解释性就是直接使用可解释模型，比如逻辑回归、线性模型、决策树。 20170315_training_shap 1.5.2 实践2 20200420_prediction 如上图，选择17点左右被模型预测出来的异常点，计算各个特征的Shapley value。 预测目标平均值为0.5，在这个例子中，对增加预测概率起到最大作用的特征是偏度（skew），表示当前值与历史依赖数据的偏度。在这个异常点中，偏度取值为1.572。 目前大多数时间序列特征已经相对抽象，像变异系数、偏度等，用户得知此特征对预测异常有较大帮助之后，是否有真正的帮助？并且，依然存在理解门槛的问题，所以目前的技术，好像比较难真正帮助用户理解模型。
2.4K20编辑于 2021-12-14 - 来自专栏CSDN小华
机器学习模型的可解释性
机器学习模型的可解释性 机器学习模型的可解释性是指人类能够理解并理解决策原因的程度，这在业务应用中尤为重要。高可解释性的模型不仅有助于开发人员在建模阶段理解模型，还能在必要时进行优化调整。 可解释性的重要性体现在多个方面： 辅助决策：可解释性使人们更容易理解为什么模型做出了某些决定或预测，从而提高对模型的信任度和接受度。 最新的机器学习模型可解释性技术和方法有哪些？ 最新的机器学习模型可解释性技术和方法主要包括以下几种： 局部可解释性工具：这类工具旨在解释模型在特定输入上的行为。 此外，还有Tree-SHAP和Fast-IG等基于近似算法的方法，这些方法通过将不可解释的深度模型近似为可解释的模型来实现快速解释。 解释性工具的应用：利用各种解释性工具和技术，如局部可解释模型不可解释性（LIME）、集成梯度（IG）等，帮助理解模型的预测过程和结果。
81210编辑于 2024-10-16 - 来自专栏用户5637037的专栏
可解释机器学习中无基本事实的解释评价
原文题目：Evaluating Explanation Without Ground Truth in Interpretable Machine Learning 摘要：可解释机器学习(IML)在许多应用中变得越来越重要
73840发布于 2019-07-18 - 来自专栏分布式研究小院
Paxos扩展: 偏序rnd = Paxos + 2PC
实际上 rnd 的定义从整数推广到任意的 偏序关系[2] 的值, 也同样能满足 Paxos 的正确性, 因为 Paxos 中主要只用到了 rnd 的大小关系的性质. 使用偏序 rnd 的 Paxos, 可以选择强制的冲突互斥(类似2PC[3]) 或是非强制的冲突互斥(类似Paxos的活锁)来实现一致性协议的安全性要求. 例如选择 整除 的偏序关系实现 Paxos, 定义 rnd 为正整数, 大小关系定义: 为如果 a 整除 b, 那么 a 才小于 b: 这时有: 1 < 2 < 6, 1 < 3 < 6, 但是 2 ≮ 所以, 偏序 Paxos 可以提供 2PC 的事务互斥性, 也提供了 Paxos 的故障容忍, 可以将分布式DB(例如spanner) 中的 2PC + Paxos 的两层架构简化成一层. 引用链接 [1] Paxos: https://en.wikipedia.org/wiki/Paxos_(computer_science) [2] 偏序关系: https://en.wikipedia.org
45130编辑于 2022-12-23 - 来自专栏腾讯云TI平台
【技术分享】机器学习模型可解释性
机器学习模型的可解释性越高，人们就越容易理解为什么做出某些决定或预测。模型可解释性指对模型内部机制的理解以及对模型结果的理解。 可解释性特质： 重要性：了解“为什么”可以帮助更深入地了解问题，数据以及模型可能失败的原因。 分类：建模前数据的可解释性、建模阶段模型可解释性、运行阶段结果可解释性。 动机 在工业界中，数据科学或机器学习的主要焦点是更偏“应用”的解决复杂的现实世界至关重要的问题，而不是理论上有效地应用这些模型于正确的数据。 内在可解释性就是利用机器学习模型，该模型本质上是可解释的（如线性模型，参数模型或基于树的模型）。 一些有用的方面可以是模型的透明度，公平性和责任性。全局和局部模型解释是定义模型解释范围的明确方法。 2.png 全局可解释：就是试图理解“模型如何进行预测？”和“模型的子集如何影响模型决策？”。
4.3K54编辑于 2021-12-22 可解释AI技术解析与模型监控实践
可解释AI：破解机器学习黑箱难题当企业使用AI系统进行分类欺诈、评估信用风险或预测客户流失时，他们面临着模型不可解释的挑战。 传统的线性模型权重可读，而当今的机器学习和深度学习模型由于结构复杂，变得难以人为解读。可解释AI的技术实现交互式特征分析：系统可可视化展示各预测特征对结果的影响程度。 模型生产环境的四大挑战黑箱问题：模型复杂度增加导致信任缺失，需要确保AI解决方案的公平性。模型性能波动：模型漂移现象在疫情期间尤为明显，用户行为变化导致基于疫情前数据训练的模型性能下降。 机器学习运维与监控解决方案预生产模型验证：在模型部署前，从可解释性、偏差、数据不平衡等角度深入理解模型工作原理。银行业的客户使用该技术进行模型验证，评估部署前的风险。 生产后模型监控：部署后持续监控模型行为，设置异常警报。当出现模型漂移或数据质量问题时，机器学习工程师可及时诊断并修复。
20210编辑于 2025-10-11可解释集成模型提升产品检索效果
可解释集成模型改进产品检索机器学习领域正在快速发展，新模型层出不穷。然而，为特定用例评估新模型是一个耗时且资源密集的过程。 我们不使用单一模型（或一对模型，即语言模型和图神经网络）来处理客户查询，而是提出使用模型集成，其输出通过梯度提升决策树（GBDT）进行聚合。 通过使用Shapley值确定每个模型对GBDT最终决策的贡献程度，我们可以按效用对模型进行排序。然后，根据可用的计算资源，我们只保留在并行运行时最实用的最有用的模型。 方法实现尚未针对特定用例进行彻底评估的新模型可以在可用数据上进行训练，并添加到集成中，与现有模型一起参与评估。Shapley值分析可能会将其从集成中移除，或者可能确定新模型使现有模型过时。 当然，运行模型集成比运行单个模型（或一对模型，一个语言模型和一个GNN）在计算上更昂贵。
14610编辑于 2025-11-04- 来自专栏ATYUN订阅号
深入探索Catboost模型可解释性（下）
数值越大，计算越精确，速度越慢 AllPoints:最慢最准确的方法 例如，下面的值将方法设置为TopKLeaves，并将叶子的数量限制为3: TopKLeaves:top=3 模型分析情节 CatBoost 然后，该模型根据该特性的新值预测目标，并取一个容器中预测的平均值（由红点给出）。 希望下次您能够使用这些工具更好地开发您的模型。 End
1.9K12发布于 2019-07-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号