- 综合排序
- 最热优先
- 最新优先
- 来自专栏TechBlog
信息论绪论
1、通信的统计理论研究 2、信源的统计特性 3、编码理论与技术的研究 4、提高信息传输效率的研究 5、抗干扰理论与技术的研究 6、噪声中信号检测理论与技术的研究 三、信息论发展历程&香农 一、信息的基本概念 信息论 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科，被称为“通信的数学理论”。 2、信源的统计特性 文字(如汉字)、字母(如英文)的统计特性; 语音的参数分析和统计特件; 图片及活动图像(电视)的统计特性; 其他信源的统计特性。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。香农因此成为信息论的奠基人。 香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。 他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。
52850编辑于 2023-02-24 - 来自专栏架构师成长之路
信息论的熵
在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。 如果可能性数目有2的n次方（N=2^n）:那就是n比特，即信息量等于可能性数目N的‘以2为底的对数’：H=㏒2（N）＝㏒（N）/㏒（2）。 其熵为3/2。 因此熵实际是对随机变量的比特量和顺次发生概率相乘再总和的数学期望。 熵在信息论中的定义推导过程如下： 信源的不确定性：信源发出的消息不肯定性越大，收信者获取的信息量就越大。 如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。 所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。 4.
1.5K20编辑于 2022-04-15 - 来自专栏CreateAMind
复值概率测度及其在信息论中的应用
Complex-Valued Probability Measures and Their Applications in Information Theory 复值概率测度及其在信息论中的应用 https ://arxiv.org/abs/2603.12297 摘要 本文介绍了用于复值概率测度的一个综合框架，并探讨了它们在信息论和统计分析中的新颖应用。 KL 散度最常用的推广是 Bregman 散度 [2] 和 f-散度 [3]。Rényi [8] 引入了以香农熵为特例的一族熵，其在密码学、生态学和多重分形分析中找到应用。 随着大数据和人工智能的发展，现有的信息论框架在理论和应用上似乎都显得有些不足。我们引入了新的熵和散度概念，希望在某些特定问题上取得比传统方法更好的结果。 为展示实际相关性，我们呈现了复度量在非参数双样本假设检验中的详细应用。 本文结构如下。第 2 节提供了关于复测度的必要背景。第 3 节正式定义了复概率测度和随机变量。
13710编辑于 2026-04-03 - 来自专栏算法之名
信息论整理
信息论研究的目的和范畴 通信系统模型 古人近距离用语言来传递信息，远距离用手势、烽火来传递信息；现代人用各种通讯工具(电话、互联网)来传递信息。 基本信息论 信源及信源的不确定性 实际有用的信源应具有不确定性(也称为不肯定性)。
53510编辑于 2022-09-08 - 来自专栏ShowMeAI研究中心
图解AI数学基础 | 信息论
、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论中包含的知识和概念在机器学习中也有应用，典型的例子是其核心思想『熵』的应用。 例如，决策树模型ID3、C4.5中是利用信息增益来确定划分特征而逐步生长和构建决策树的；其中，信息增益就是基于信息论中的熵。 [熵 Entropy] 随机变量X可能的取值为 {x{1},x{2} ,\dots ,x_{n}} 其概率分布为P\left( X=x_{i} \right) =p_{i}，i = 1, 2, \dots 4.相对熵（Kullback–Leibler divergence） 相对熵在信息论中用来描述两个概率分布差异的熵，叫作KL散度、相对熵、互熵、交叉熵、信息增益。
1.1K81编辑于 2022-02-25 - 来自专栏老齐教室
用信息论剖析深度学习
作者：Lilian Weng 翻译：老齐 与本文相关书籍推荐：《数据准备和特征工程》 ---- 最近，我聆听了Naftali Tishby教授的演讲“深度学习中的信息论”，感觉很有意思。 他在演讲中说明了如何将信息论用于研究深度神经网络的增长和转换，他利用IB（Information Bottleneck）方法，为深度神经网络（DNN）开创了一个新的领域，由于参数的数量成指数增长，导致传统的学习理论在该领域均行不通 图2：50个DNN隐藏层的编码器和解码器的交互信息。不同层有不同色彩的编码器，绿色是紧挨着输入的一层，橙色是离输入最远的一层。有三个快照，分别是初始阶段、400个阶段和9000个阶段。 图2中的每个点表示一个隐含层的编码器或解码器的互信息(不采用正则化;没有权重衰减，没有丢失，等等)。它们按照预期的那样向上移动，因为关于真实标签的知识在增加(准确性在提高)。 图3：这是图2的汇总视图。在泛化误差变得非常小之后进行了压缩。 两个优化阶段 对各层权重的均值和标准差的及时跟踪还显示了训练过程的两个优化阶段。 图4：各层权重梯度的均值和标准差的范数作为训练函数。
1.1K30发布于 2020-05-15 - 来自专栏YoungGy
信息论中的各种熵
本文简单介绍了信息论中的各种熵，包括自信息、熵；联合熵、条件熵、互信息；KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归，得到了和最大似然法相同的结果。 针对随机变量XX，其信息熵的定义如下： H(X)=E[log2(X)]=∑−p(x)log2(p(x)) H(X) = E[\log_2 (X)] = \sum -p(x) \log_2 (p(x) H(X)=E[log2(X)]=∑−p(x)log2(p(x)) H(X) = E[\log_2 (X)] = \sum -p(x) \log_2 (p(x)) 互信息 两个随机变量的互信息，是变量间相互依赖性的量度
1.7K50发布于 2018-01-02 - 来自专栏又见苍岚
信息论 - 交叉熵
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 定义 在信息论中，交叉熵（Cross Entropy）是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。。 示例 交叉熵在深度学习的损失函数中得到广泛应用 真实数据分布（标签）为Y，预测分布为P 事实上我们用的交叉熵为H(Y,P)，即使用Y的分布，用P的编码方式度量信息熵大小 二分类时 L=\frac{ 至于为什么不用H(P,Y)，可能是因为y的值很容易取到0，超出了log运算的变量取值范围无法计算吧（个人猜测） 参考资料 http://www.huaxiaozhuan.com/数学基础/chapters/2_
64310编辑于 2022-08-05 - 来自专栏小锋学长生活大爆炸
基于信息论的编码技术
摘 要 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。 关键词 信息论 编码 综述 正 文 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科（如图1[[1]]所示）。 从图2可知，当信源、信道、信宿确定后，编码与译码部分对信号的传输将起至关作用。因此，自信息论发展以来，许多科学家对编码的研究也是从未止步。 ? 结 论 信道编码技术广泛应用于数字通信系统中，有的已经被应用于某些无线通信标准中。相信随着信道编码技术会随着 信道编码理论的发展在通信领域得到更深入的应用。 John Wiley & Sons, 2012. [[2]] 刘东华.Turbo码原理与应用技术[M].北京:电子工业出版社,2004. [[3]] 卢彦民.纠错码ASIC设计及低功耗设计研究[M],2007
1.9K30发布于 2020-08-13 - 来自专栏又见苍岚
信息论 - 基础概念
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。 * 信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。 发生可能性较大的事件包含较少的信息。 发生可能性较小的事件包含较多的信息。 独立事件包含额外的信息 。 如：含有4个字母 (A, B, C, D) 的样本集中，真实分布 P=\left(\frac{1}{2}, \frac{1}{2}, 0,0\right) , 则只需要1位编码即可识别样本。 解方程组： 有： \frac{\partial L}{\partial P_{i}}=\log P_{i}+1+\lambda=0 \log P_{i}=-1-\lambda P_{i}=2^ https://baike.baidu.com/item/信息论/302185?
91410编辑于 2022-08-05 - 来自专栏人工智能之数学基础
人工智能之数学基础 信息论：第四章 应用延伸
人工智能之数学基础信息论第四章应用延伸前言信息论不仅是通信工程的基石，更在人工智能、深度学习、大数据处理中扮演关键角色。 从神经网络中的嵌入表示到大模型的Token压缩，从变分自编码器（VAE）到信息瓶颈理论，信息论提供了统一的数学语言。 −(1−p)log2(1−p)H_b(p)=-p\log_2p-(1-p)\log_2(1-p)Hb(p)=−plog2p−(1−p)log2(1−p)是二元熵函数。 ：DNN训练过程=最小化I(X;T)I(X;T)I(X;T)（压缩输入），同时最大化I(T;Y)I(T;Y)I(T;Y)（保留标签信息）三、AI中的信息编码实践应用信息论原理实例Tokenization AI时代的角色概念传统应用AI/现代应用信道容量通信速率极限神经网络层间信息流分析无损压缩ZIP,PNGTokenization(BPE,WordPiece)率失真理论JPEG,MP3表示学习、模型量化
21510编辑于 2025-12-27 - 来自专栏又见苍岚
信息论 - KL散度
根据 shannon 的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。 应用场景 在同样的字符集上，假设存在另一个概率分布Q(X)。 如果选择 Q_{2}^{*} , 则: 当 P(x) 较小的时候, Q(x) 必须较小。 因此 Q_{2}^{} 会贴近 P(x) 的谷值。最终结果就是 Q_{2}^{} 会贴合 P(x) 峰值的任何一个。 参考资料 http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html https://www.cnblogs.com/hxsyl/p
1.7K20编辑于 2022-08-05 - 来自专栏全栈程序员必看
信息论-Turbo码学习
在信噪比较低的高噪声环境下性能优越（信道条件差的移动通信系统中有很大的应用潜力），而且具有很强的抗衰落、抗干扰能力 Turbo码引起超乎寻常的优异译码性能，可以纠正高速率数据传输时发生的误码 交织：在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。 长度为N的信息序列u一方面直接进入第1个分量编码器RSC1，另一方面经过随机交织器处理后送入第2个分量编码器RSC2。 如果定义一个集合A ， A={1，2，…，N}。 总的运算量成为6×2^M次加法，5×2^M次求最大运算和5×2^M次查表。
1.9K20发布于 2021-04-07 - 来自专栏PPV课数据科学社区
“数学之美”系列七：信息论在信息处理中的应用
我们已经介绍了信息熵，它是信息论的基础，我们这次谈谈信息论在自然语言处理中的应用。 先看看信息熵和语言模型的关系。 信息论中仅次于熵的另外两个重要的概念是“互信息”（Mutual Information) 和“相对熵”（Kullback-Leibler Divergence)。 信息论中另外一个重要的概念是“相对熵”，在有些文献中它被称为成“交叉熵”。在英语中是 Kullback-Leibler Divergence，是以它的两个提出者库尔贝克和莱伯勒的名字命名的。 对信息论有兴趣又有一定数学基础的读者，可以阅读斯坦福大学托马斯.科弗 (Thomas Cover) 教授的专著 "信息论基础"(Elements of Information Theory)： http viBookCode=17909 科弗教授是当今最权威的信息论专家。
1.5K90发布于 2018-04-20 - 来自专栏数据派THU
【干货书】信息论与编码
来源：专知本文为书籍介绍，建议阅读5分钟这本书是提供信息理论和错误控制编码的全面概述。 这本书是提供信息理论和错误控制编码的全面概述，使用一个不同的方法然后在现有的文献。章节根据香农系统模型组织，其中一个区块影响其他区块。在每一章的开始提供一个相对简短的理论介绍，包括一些额外的例子和解释，但没有任何证明。并在相应章节的末尾对抽象代数的一些方面作了简要的概述。带有大量插图和表格的典型复杂例子被选择来提供对问题本质的详细见解。给出了一些极限情况来说明与理论界的联系。仔细选择数值，以提供所描述的算法的深入解释。
25510编辑于 2022-07-25 人工智能数学基础（九）—— 信息论
信息论是一门研究信息的度量、存储、传输和处理的学科，它在人工智能领域尤其是机器学习、自然语言处理和计算机视觉等方面有着广泛的应用。 今天，我将带大家深入浅出地探索信息论的核心概念，并结合 Python 实例，让大家能够直观地理解和应用这些知识。 9.1 概述 9.1.1 信息论的形成和发展 信息论由克劳德·香农在 1948 年创立，最初用于解决通信中的信息传输问题。 随着时间的推移，信息论的应用范围不断扩大，逐渐渗透到人工智能、数据科学、生物信息学等多个领域。 9.1.2 信息论对人工智能的影响 在人工智能中，信息论提供了度量数据信息量、评估模型复杂度、优化算法性能的工具。
26910编辑于 2026-01-21- 来自专栏CreateAMind
互信息论文笔记
https://github.com/topics/mutual-information
1.5K50发布于 2018-09-27 - 来自专栏zingpLiu
信息论中的基本概念
为什么底数是2? 2 信息熵 定义：用来度量信息的不确定程度。 解释: 熵越大，信息量越大。 X可能出现三种状态 1) 晴天2) 雨天 3)阴天。 如果log以2为底得到的结果是1.58496。 关于“熵”不同的教材会有所区别，例如2、10、e为底，事实上影响的是“单位”，为了统一单位，使用换底公式进行调换。 信息增益的应用: 我们在利用进行分类的时候，常常选用信息增益更大的特征，信息增益大的特征对分类来说更加重要。决策树就是通过信息增益来构造的，信息增益大的特征往往被构造成底层的节点。 思考： 根据上面的叙述，我们了解到：信息论中，对于孤立的一个随机变量我们可以用熵来量化；对于两个随机变量有依赖关系，我们可以用互信息来量化。那么:对于两个随机变量之间相差多少?
1.2K30发布于 2019-02-25 - 来自专栏MatheMagician
编码通信与魔术初步（二）——信息论基础
如果是bit数，那log要以2为底，其他底也可以有类似XX数的其他单位，他们只有倍数关系。 其实，并非所有分布都能够恰好达到，比如二进制编码下，要求所有的p都能够形如1 / 2 ^ n，n是正整数才能得以恰好编码完成。 今天给大家介绍了信息论中关于信息部分的核心理解，其中以熵为核心还有一大堆信息论应用的重要思想和概念，我们下期见！ 后面要分享的魔术，抢先看！ 视频2 傅氏幻术——心灵感应 我们是谁： MatheMagician，中文“数学魔术师”，原指用数学设计魔术的魔术师和数学家。既取其用数学来变魔术的本义，也取像魔术一样玩数学的意思。 文章内容涵盖互联网，计算机，统计，算法，NLP等前沿的数学及应用领域；也包括魔术思想，流程鉴赏等魔术内容；以及结合二者的数学魔术分享，还有一些思辨性的谈天说地的随笔。
45930编辑于 2023-01-30 - 来自专栏TechBlog
信息论与编码：信道的定义和分类
信道是任何一种通信系统中必不可少的组成部分。任何一个通信系统都可以视为由发送，信道与接收三部分组成。信道通常指以传输媒介为基础的信号通道。
1.2K20编辑于 2022-12-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号