在深度学习中，几乎每个分类模型的最后一层都会做这样一件事：

logits = model(x)          # 比如 [2.1, -0.5, 1.3]
probs  = softmax(logits)   # 变成 [0.68, 0.05, 0.27]

 看似简单，却常引发一个根本性疑问：

今天，我们就来回答这个关键问题： 

Softmax 转换，为什么是“意义等效”的？它真的没有失真吗？

一、logits 是什么？它承载了什么信息？

logits 不是随便的数字，而是模型对每个类别的“未归一化置信度”

这些值可以为正、为负、大小不一，但

关键信息藏在它们的相对大小中

任何后续处理，只要不破坏这种相对关系，就不算“失真”。

二、Softmax 如何做到“意义等效”？

它之所以能实现“无损转换”，源于以下四个关键性质：

因为指数函数 e^x 是单调递增的，所以：

模型的预测类别（argmax）完全不变

给定概率 p_i，可通过取对数还原 logits（差一个全局常数 

在已知“高分项应更可能”的约束下，Softmax 给出的是

它不武断地压制低分项，也不盲目放大高分项，而是

忠实地反映原始打分的相对结构

梯度语义清晰，训练信号无歧义

配合交叉熵损失，Softmax 的梯度为： 

三、既然意义等效，为什么还要转换？

如果 logits 和概率“说的是一回事”，干嘛多此一举？

虽然语义等效，但“用途不同”——logits 是内部语言，概率是通用接口。

分类的本质不仅是选标签，更是

才能回答。 logits 无法直接提供置信度解释。

在真实 AI 系统中，模型输出常被下游使用：

logits 尺度不统一，无法安全复用；概率则是通用“货币”。

你不能告诉医生：“logit 是 3.2”； 但你可以说：“恶性概率是 92%”。

四、结语：无损封装，而非信息转换

Softmax 的本质，不是“把 A 变成 B”，而是：

从 Logits 到概率：Softmax 是如何做到语义无损的？

把一组 logits 通过 Softmax 变成概率，看似只是归一化，实则是一次精妙的“语义保全”操作。

人工智能

后端

算法

深度学习分类模型中，Softmax将logits转换为概率时保持信息无损，严格保留类别间的相对偏好顺序与强度。这种转换既满足概率公理要求，又确保训练信号精准传递，实现内部表示到标准化概率的无损封装，为模型输出提供可解释性。

深度学习

强化学习

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

从 Logits 到概率：Softmax 是如何做到语义无损的？

从 Logits 到概率：Softmax 是如何做到语义无损的？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐