- 综合排序
- 最热优先
- 最新优先
- 来自专栏TechBlog
信息论绪论
1、通信的统计理论研究 2、信源的统计特性 3、编码理论与技术的研究 4、提高信息传输效率的研究 5、抗干扰理论与技术的研究 6、噪声中信号检测理论与技术的研究 三、信息论发展历程&香农 一、信息的基本概念 信息论 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科，被称为“通信的数学理论”。 3、编码理论与技术的研究 有效性编码: 提高信息传输的有效率，主要针对信源的统计特性进行编码，也称信源编码。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。香农因此成为信息论的奠基人。 香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。 他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。
52850编辑于 2023-02-24 - 来自专栏Soul Joy Hub
《deep learning》学习笔记（3）——概率与信息论
概率论是用来描述不确定性的数学工具，很多机器学习算都是通过描述样本的概率相关信息或推断来构建模型；信息论最初是用来描述一个信号中包含信息的多少进行量化，在机器学习中通常利用信息论中的一些概念和结论来描述不同概率分布之间的关系 3.13 信息论 ? 3.14 结构化概率模型 概率图模型: 通过图的概念来表示随机变量之间的概率依赖关系： ?
1.2K40发布于 2019-02-13 - 来自专栏架构师成长之路
信息论的熵
在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。 N＝3种可能性时，信息量H＝㏒（3）/㏒（2）＝1.585。只要有函数型计算器，我们就可以进行以下简单实例的验算。 我们现在不是讨论事物本身的信息量，而是讨论描述事物的文字符号包含的信息量。 其熵为3/2。 因此熵实际是对随机变量的比特量和顺次发生概率相乘再总和的数学期望。 熵在信息论中的定义推导过程如下： 信源的不确定性：信源发出的消息不肯定性越大，收信者获取的信息量就越大。 如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。 所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。 4.
1.5K20编辑于 2022-04-15 - 来自专栏CreateAMind
复值概率测度及其在信息论中的应用
Complex-Valued Probability Measures and Their Applications in Information Theory 复值概率测度及其在信息论中的应用 https ://arxiv.org/abs/2603.12297 摘要 本文介绍了用于复值概率测度的一个综合框架，并探讨了它们在信息论和统计分析中的新颖应用。 KL 散度最常用的推广是 Bregman 散度 [2] 和 f-散度 [3]。Rényi [8] 引入了以香农熵为特例的一族熵，其在密码学、生态学和多重分形分析中找到应用。 随着大数据和人工智能的发展，现有的信息论框架在理论和应用上似乎都显得有些不足。我们引入了新的熵和散度概念，希望在某些特定问题上取得比传统方法更好的结果。 为展示实际相关性，我们呈现了复度量在非参数双样本假设检验中的详细应用。 本文结构如下。第 2 节提供了关于复测度的必要背景。第 3 节正式定义了复概率测度和随机变量。
13710编辑于 2026-04-03 - 来自专栏算法之名
信息论整理
信息论研究的目的和范畴 通信系统模型 古人近距离用语言来传递信息，远距离用手势、烽火来传递信息；现代人用各种通讯工具(电话、互联网)来传递信息。 基本信息论 信源及信源的不确定性 实际有用的信源应具有不确定性(也称为不肯定性)。
53510编辑于 2022-09-08 - 来自专栏老齐教室
用信息论剖析深度学习
作者：Lilian Weng 翻译：老齐 与本文相关书籍推荐：《数据准备和特征工程》 ---- 最近，我聆听了Naftali Tishby教授的演讲“深度学习中的信息论”，感觉很有意思。 他在演讲中说明了如何将信息论用于研究深度神经网络的增长和转换，他利用IB（Information Bottleneck）方法，为深度神经网络（DNN）开创了一个新的领域，由于参数的数量成指数增长，导致传统的学习理论在该领域均行不通 图3：这是图2的汇总视图。在泛化误差变得非常小之后进行了压缩。 两个优化阶段 对各层权重的均值和标准差的及时跟踪还显示了训练过程的两个优化阶段。 图4：各层权重梯度的均值和标准差的范数作为训练函数。
1.1K30发布于 2020-05-15 - 来自专栏YoungGy
信息论中的各种熵
本文简单介绍了信息论中的各种熵，包括自信息、熵；联合熵、条件熵、互信息；KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归，得到了和最大似然法相同的结果。
1.7K50发布于 2018-01-02 - 来自专栏ShowMeAI研究中心
图解AI数学基础 | 信息论
、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论中包含的知识和概念在机器学习中也有应用，典型的例子是其核心思想『熵』的应用。 例如，决策树模型ID3、C4.5中是利用信息增益来确定划分特征而逐步生长和构建决策树的；其中，信息增益就是基于信息论中的熵。 3.条件熵（Conditional Entropy） Y的条件熵是指『在随机变量X发生的前提下，随机变量Y发生新带来的熵』，用H(Y | X)表示： H\left(Y|X \right) =-\sum_ , y} p(x, y) \log \frac{p(x, y)}{p(x)} \ =-\sum_{x, y} p(x, y) \log p(y \mid x) \ =H(Y \mid X) 3）
1.1K81编辑于 2022-02-25 - 来自专栏又见苍岚
信息论 - 交叉熵
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 定义 在信息论中，交叉熵（Cross Entropy）是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。。 示例 交叉熵在深度学习的损失函数中得到广泛应用 真实数据分布（标签）为Y，预测分布为P 事实上我们用的交叉熵为H(Y,P)，即使用Y的分布，用P的编码方式度量信息熵大小 二分类时 L=\frac{
64310编辑于 2022-08-05 - 来自专栏小锋学长生活大爆炸
基于信息论的编码技术
摘 要 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。 关键词 信息论 编码 综述 正 文 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科（如图1[[1]]所示）。 在Viterbi译码算法提出之后，卷积码在通信系统中得到了极为广泛的应用，如GSM、 IS-95 CDMA、3G、商业卫星通信系统等。 结 论 信道编码技术广泛应用于数字通信系统中，有的已经被应用于某些无线通信标准中。相信随着信道编码技术会随着 信道编码理论的发展在通信领域得到更深入的应用。 John Wiley & Sons, 2012. [[2]] 刘东华.Turbo码原理与应用技术[M].北京:电子工业出版社,2004. [[3]] 卢彦民.纠错码ASIC设计及低功耗设计研究[M],2007
1.9K30发布于 2020-08-13 - 来自专栏又见苍岚
信息论 - 基础概念
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。 * 信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。 发生可能性较大的事件包含较少的信息。 发生可能性较小的事件包含较多的信息。 独立事件包含额外的信息 。 85779990 http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html https://baike.baidu.com/item/信息论
91410编辑于 2022-08-05 - 来自专栏人工智能之数学基础
人工智能之数学基础 信息论：第四章 应用延伸
人工智能之数学基础信息论第四章应用延伸前言信息论不仅是通信工程的基石，更在人工智能、深度学习、大数据处理中扮演关键角色。 从神经网络中的嵌入表示到大模型的Token压缩，从变分自编码器（VAE）到信息瓶颈理论，信息论提供了统一的数学语言。 ：DNN训练过程=最小化I(X;T)I(X;T)I(X;T)（压缩输入），同时最大化I(T;Y)I(T;Y)I(T;Y)（保留标签信息）三、AI中的信息编码实践应用信息论原理实例Tokenization MSE)')#plt.title('率失真权衡曲线');plt.show()解释：k↑k\uparrowk↑→R↑R\uparrowR↑,D↓D\downarrowD↓曲线凸性体现边际收益递减五、总结：信息论在 AI时代的角色概念传统应用AI/现代应用信道容量通信速率极限神经网络层间信息流分析无损压缩ZIP,PNGTokenization(BPE,WordPiece)率失真理论JPEG,MP3表示学习、模型量化
21510编辑于 2025-12-27 - 来自专栏又见苍岚
信息论 - KL散度
根据 shannon 的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。 应用场景 在同样的字符集上，假设存在另一个概率分布Q(X)。
1.7K20编辑于 2022-08-05 - 来自专栏全栈程序员必看
信息论-Turbo码学习
在信噪比较低的高噪声环境下性能优越（信道条件差的移动通信系统中有很大的应用潜力），而且具有很强的抗衰落、抗干扰能力 Turbo码引起超乎寻常的优异译码性能，可以纠正高速率数据传输时发生的误码 交织：在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。 3.Turbo码的编码结构： 三种：并行级联卷积码PCCC，串行级联卷积码SCCC，混合级联卷积码结构HCCC。 递归系统卷积码：BER性能在高信噪比好，高码率（R≥2/3）的情况下，对任何信噪比，它的性能均比等效的高码率（R≥2/3）的情况下，对任何信噪比它的性能均比等效的非系统卷积码NSC要好， 递归系统卷积码 对于约束长度为M 1的 卷积码，其运算量为每比特6×3^M次乘法和5×2^M次加法。
1.9K20发布于 2021-04-07 - 来自专栏PPV课数据科学社区
“数学之美”系列七：信息论在信息处理中的应用
我们已经介绍了信息熵，它是信息论的基础，我们这次谈谈信息论在自然语言处理中的应用。 先看看信息熵和语言模型的关系。 信息论中仅次于熵的另外两个重要的概念是“互信息”（Mutual Information) 和“相对熵”（Kullback-Leibler Divergence)。 信息论中另外一个重要的概念是“相对熵”，在有些文献中它被称为成“交叉熵”。在英语中是 Kullback-Leibler Divergence，是以它的两个提出者库尔贝克和莱伯勒的名字命名的。 对信息论有兴趣又有一定数学基础的读者，可以阅读斯坦福大学托马斯.科弗 (Thomas Cover) 教授的专著 "信息论基础"(Elements of Information Theory)： http viBookCode=17909 科弗教授是当今最权威的信息论专家。
1.5K90发布于 2018-04-20 - 来自专栏数据派THU
【干货书】信息论与编码
https://link.springer.com/book/10.1007/978-3-319-49370-1
25510编辑于 2022-07-25 - 来自专栏caoqi95的记录日志
PRML读书笔记(3) - 深度理解机器学习之信息论(Information Theory)
- 摘自维基百科 相对熵有以下 3 个性质： ? ? ? 第一条和第三条性质可以很直观的得出来，下面具体证明第二条性质。 此处会应用 Convex 函数的性质来推导出上面 KL 散度的第二条性质。 假设 xλ 在 [a, b] 范围之内。现有 0 ≤ λ ≤1 ，所以有： ? 依据图中的所示，可以得出： ? ?
91130发布于 2019-03-28 人工智能数学基础（九）—— 信息论
信息论是一门研究信息的度量、存储、传输和处理的学科，它在人工智能领域尤其是机器学习、自然语言处理和计算机视觉等方面有着广泛的应用。 今天，我将带大家深入浅出地探索信息论的核心概念，并结合 Python 实例，让大家能够直观地理解和应用这些知识。 9.1 概述 9.1.1 信息论的形成和发展 信息论由克劳德·香农在 1948 年创立，最初用于解决通信中的信息传输问题。 随着时间的推移，信息论的应用范围不断扩大，逐渐渗透到人工智能、数据科学、生物信息学等多个领域。 9.1.2 信息论对人工智能的影响 在人工智能中，信息论提供了度量数据信息量、评估模型复杂度、优化算法性能的工具。
26910编辑于 2026-01-21- 来自专栏CreateAMind
互信息论文笔记
https://github.com/topics/mutual-information
1.5K50发布于 2018-09-27 - 来自专栏zingpLiu
信息论中的基本概念
X可能出现三种状态 1) 晴天2) 雨天 3)阴天。 每种状态的出现概率均为P(i) = 1/3，那么根据熵的公式，可以计算得到：\(H(X) = - 1/3 * log(1/3) - 1/3 * log(1/3) - 1/3 * log(1/3) = 0.47712 3 条件熵 在一个条件下，随机变量的不确定性。 \(H(X|Y) = -\sum_{x=0,1,2;y=0,1}^{x,y}p(x,y)\log{p(x|y)}\)。 具有先后性。 信息增益的应用: 我们在利用进行分类的时候，常常选用信息增益更大的特征，信息增益大的特征对分类来说更加重要。决策树就是通过信息增益来构造的，信息增益大的特征往往被构造成底层的节点。 思考： 根据上面的叙述，我们了解到：信息论中，对于孤立的一个随机变量我们可以用熵来量化；对于两个随机变量有依赖关系，我们可以用互信息来量化。那么:对于两个随机变量之间相差多少?
1.2K30发布于 2019-02-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号