- 综合排序
- 最热优先
- 最新优先
- 来自专栏TechBlog
信息论绪论
1、通信的统计理论研究 2、信源的统计特性 3、编码理论与技术的研究 4、提高信息传输效率的研究 5、抗干扰理论与技术的研究 6、噪声中信号检测理论与技术的研究 三、信息论发展历程&香农 一、信息的基本概念 信息论 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科，被称为“通信的数学理论”。 5、抗干扰理论与技术的研究 各种调制制式的抗干扰性; 理想接收机的实现 6、噪声中信号检测理论与技术的研究 信号检测的最佳准则; 信号最佳检测的实现。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。香农因此成为信息论的奠基人。 香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。 他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。
52850编辑于 2023-02-24 - 来自专栏架构师成长之路
信息论的熵
在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。 熵在信息论中的定义推导过程如下： 信源的不确定性：信源发出的消息不肯定性越大，收信者获取的信息量就越大。如果信源发送的消息是确切的，则对收信者来说没有任何价值（没有信息量）。 如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。 所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。 4. 5. 抛硬币的熵 抛硬币的熵H(X)（即期望自信息），以比特度量，与之相对的是硬币的公正度 Pr(X=1).
1.5K20编辑于 2022-04-15 - 来自专栏CreateAMind
复值概率测度及其在信息论中的应用
Complex-Valued Probability Measures and Their Applications in Information Theory 复值概率测度及其在信息论中的应用 https ://arxiv.org/abs/2603.12297 摘要 本文介绍了用于复值概率测度的一个综合框架，并探讨了它们在信息论和统计分析中的新颖应用。 随着大数据和人工智能的发展，现有的信息论框架在理论和应用上似乎都显得有些不足。我们引入了新的熵和散度概念，希望在某些特定问题上取得比传统方法更好的结果。 第 5 节定义了复散度和复度量，建立了它们的性质，将其与 KL 散度及其他散度进行比较，并阐述了与路径积分的深刻联系。第 6 节展示了在统计检验中的一个充实应用。 5 复散度与复度量：分布比较 除了分析单个分布之外，我们还开发了用于比较两个分布的工具，从而引出了复散度和复度量的概念。
13710编辑于 2026-04-03 - 来自专栏算法之名
信息论整理
信息论研究的目的和范畴 通信系统模型 古人近距离用语言来传递信息，远距离用手势、烽火来传递信息；现代人用各种通讯工具(电话、互联网)来传递信息。 基本信息论 信源及信源的不确定性 实际有用的信源应具有不确定性(也称为不肯定性)。
53510编辑于 2022-09-08 - 来自专栏老齐教室
用信息论剖析深度学习
作者：Lilian Weng 翻译：老齐 与本文相关书籍推荐：《数据准备和特征工程》 ---- 最近，我聆听了Naftali Tishby教授的演讲“深度学习中的信息论”，感觉很有意思。 他在演讲中说明了如何将信息论用于研究深度神经网络的增长和转换，他利用IB（Information Bottleneck）方法，为深度神经网络（DNN）开创了一个新的领域，由于参数的数量成指数增长，导致传统的学习理论在该领域均行不通 那么，输入压缩范围就成了: 图5：黑线是可实现的最佳IB极限。在一个有限的样本集上训练时，红线对应样本外IB失真的上限。ΔC是复杂性的差距和ΔG是泛化的差距。
1.1K30发布于 2020-05-15 - 来自专栏YoungGy
信息论中的各种熵
本文简单介绍了信息论中的各种熵，包括自信息、熵；联合熵、条件熵、互信息；KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归，得到了和最大似然法相同的结果。
1.7K50发布于 2018-01-02 - 来自专栏ShowMeAI研究中心
图解AI数学基础 | 信息论
[e637f63e07251a10f5e71fbd022f3473.png] 作者：韩信子@ShowMeAI 教程地址：http://www.showmeai.tech/tutorials/83 本文地址 、密码学、数据压缩等问题的应用数学学科。 信息论中包含的知识和概念在机器学习中也有应用，典型的例子是其核心思想『熵』的应用。 例如，决策树模型ID3、C4.5中是利用信息增益来确定划分特征而逐步生长和构建决策树的；其中，信息增益就是基于信息论中的熵。 5.互信息（Mutual Information） 互信息是信息论里一种有用的信息度量方式，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性
1.1K81编辑于 2022-02-25 - 来自专栏又见苍岚
信息论 - 交叉熵
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 定义 在信息论中，交叉熵（Cross Entropy）是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。。 示例 交叉熵在深度学习的损失函数中得到广泛应用 真实数据分布（标签）为Y，预测分布为P 事实上我们用的交叉熵为H(Y,P)，即使用Y的分布，用P的编码方式度量信息熵大小 二分类时 L=\frac{
64310编辑于 2022-08-05 - 来自专栏小锋学长生活大爆炸
基于信息论的编码技术
摘 要 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。 关键词 信息论 编码 综述 正 文 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科（如图1[[1]]所示）。 图 5 LDPC码系统框图 2007年，土耳其比尔肯大学教授E.Arikan基于信道极化理论提出的一种线性信道编码方法，即Polar码。 该码字是迄今发现的唯一一类能够达到香农限的编码方法，并且具有较低的编译码复杂度，当编码长度为N时，复杂度大小为 O ( NlogN) [[5]]。 Polar码比Turbo码和LDPC码更接近信道容量，Polar码可以保证5G任何场景的高性能通信。 结 论 信道编码技术广泛应用于数字通信系统中，有的已经被应用于某些无线通信标准中。
1.9K30发布于 2020-08-13 - 来自专栏又见苍岚
信息论 - 基础概念
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。 * 信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。 发生可能性较大的事件包含较少的信息。 发生可能性较小的事件包含较多的信息。 独立事件包含额外的信息 。 85779990 http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html https://baike.baidu.com/item/信息论
91410编辑于 2022-08-05 - 来自专栏人工智能之数学基础
人工智能之数学基础 信息论：第四章 应用延伸
人工智能之数学基础信息论第四章应用延伸前言信息论不仅是通信工程的基石，更在人工智能、深度学习、大数据处理中扮演关键角色。 从神经网络中的嵌入表示到大模型的Token压缩，从变分自编码器（VAE）到信息瓶颈理论，信息论提供了统一的数学语言。 ：DNN训练过程=最小化I(X;T)I(X;T)I(X;T)（压缩输入），同时最大化I(T;Y)I(T;Y)I(T;Y)（保留标签信息）三、AI中的信息编码实践应用信息论原理实例Tokenization ;plt.grid(True)plt.show()#打印典型值forpin[0.01,0.1,0.2]:print(f"p={p:.2f}→C={bsc_capacity(p):.4f}比特/符号")5. AI时代的角色概念传统应用AI/现代应用信道容量通信速率极限神经网络层间信息流分析无损压缩ZIP,PNGTokenization(BPE,WordPiece)率失真理论JPEG,MP3表示学习、模型量化
21510编辑于 2025-12-27 - 来自专栏又见苍岚
信息论 - KL散度
根据 shannon 的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。 应用场景 在同样的字符集上，假设存在另一个概率分布Q(X)。
1.7K20编辑于 2022-08-05 - 来自专栏全栈程序员必看
信息论-Turbo码学习
在信噪比较低的高噪声环境下性能优越（信道条件差的移动通信系统中有很大的应用潜力），而且具有很强的抗衰落、抗干扰能力 Turbo码引起超乎寻常的优异译码性能，可以纠正高速率数据传输时发生的误码 交织：在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。 5.译码原理 Turbo码的译码算法采用了最大后验概率算法：译码时首先对接收信息进行处理，两个成员译码器之间外部信息的传递就形成了一个循环迭代的结构。 对于约束长度为M 1的 卷积码，其运算量为每比特6×3^M次乘法和5×2^M次加法。 总的运算量成为6×2^M次加法，5×2^M次求最大运算和5×2^M次查表。
1.9K20发布于 2021-04-07 - 来自专栏PPV课数据科学社区
“数学之美”系列七：信息论在信息处理中的应用
我们已经介绍了信息熵，它是信息论的基础，我们这次谈谈信息论在自然语言处理中的应用。 先看看信息熵和语言模型的关系。 信息论中仅次于熵的另外两个重要的概念是“互信息”（Mutual Information) 和“相对熵”（Kullback-Leibler Divergence)。 信息论中另外一个重要的概念是“相对熵”，在有些文献中它被称为成“交叉熵”。在英语中是 Kullback-Leibler Divergence，是以它的两个提出者库尔贝克和莱伯勒的名字命名的。 对信息论有兴趣又有一定数学基础的读者，可以阅读斯坦福大学托马斯.科弗 (Thomas Cover) 教授的专著 "信息论基础"(Elements of Information Theory)： http viBookCode=17909 科弗教授是当今最权威的信息论专家。
1.5K90发布于 2018-04-20 - 来自专栏数据派THU
【干货书】信息论与编码
来源：专知本文为书籍介绍，建议阅读5分钟这本书是提供信息理论和错误控制编码的全面概述。 这本书是提供信息理论和错误控制编码的全面概述，使用一个不同的方法然后在现有的文献。
25510编辑于 2022-07-25 人工智能数学基础（九）—— 信息论
信息论是一门研究信息的度量、存储、传输和处理的学科，它在人工智能领域尤其是机器学习、自然语言处理和计算机视觉等方面有着广泛的应用。 今天，我将带大家深入浅出地探索信息论的核心概念，并结合 Python 实例，让大家能够直观地理解和应用这些知识。 9.1 概述 9.1.1 信息论的形成和发展 信息论由克劳德·香农在 1948 年创立，最初用于解决通信中的信息传输问题。 随着时间的推移，信息论的应用范围不断扩大，逐渐渗透到人工智能、数据科学、生物信息学等多个领域。 9.1.2 信息论对人工智能的影响 在人工智能中，信息论提供了度量数据信息量、评估模型复杂度、优化算法性能的工具。
26910编辑于 2026-01-21- 来自专栏CreateAMind
互信息论文笔记
https://github.com/topics/mutual-information
1.5K50发布于 2018-09-27 - 来自专栏NetCore 从壹开始
5-5 各个服务应用启动
5、修改域名解析映射 添加解析这块，如果是泛域名或者通用域名解析就很简单的， 但是我这边毕竟是免费的，动动手，十分钟就能解决了的。 等待十分钟，就表示迁移完成了。
28920编辑于 2023-01-09 - 来自专栏zingpLiu
信息论中的基本概念
信息增益的应用: 我们在利用进行分类的时候，常常选用信息增益更大的特征，信息增益大的特征对分类来说更加重要。决策树就是通过信息增益来构造的，信息增益大的特征往往被构造成底层的节点。 5 互信息 定义：指两个随机变量之间的相关程度。 思考： 根据上面的叙述，我们了解到：信息论中，对于孤立的一个随机变量我们可以用熵来量化；对于两个随机变量有依赖关系，我们可以用互信息来量化。那么:对于两个随机变量之间相差多少?
1.2K30发布于 2019-02-25 - 来自专栏MatheMagician
编码通信与魔术初步（二）——信息论基础
信息论信息和日常信息有什么区别？ 这里大家也可以看到信息论中的信息，和我们日常生活中说的信息，有什么区别。 至于这条信息有什么意义，是不是你关心的，接下来会产生什么影响，这些信息论统统都不考虑，但这些才是我们日常生活中所说的“有用信息”，“重要信息”，“关键信息”等等的含义，而信息论中的信息量，仅仅是个参考罢了 这一点是一开始学习和理解信息论非常重要的一个全新认知，如果你老是拿生活中理解的信息去套信息论中的信息，总是会感觉有些别扭和奇怪。 今天给大家介绍了信息论中关于信息部分的核心理解，其中以熵为核心还有一大堆信息论应用的重要思想和概念，我们下期见！ 后面要分享的魔术，抢先看！ 文章内容涵盖互联网，计算机，统计，算法，NLP等前沿的数学及应用领域；也包括魔术思想，流程鉴赏等魔术内容；以及结合二者的数学魔术分享，还有一些思辨性的谈天说地的随笔。
45930编辑于 2023-01-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号