- 综合排序
- 最热优先
- 最新优先
- 来自专栏TechBlog
信息论绪论
文章目录 一、信息的基本概念 什么是信息（information) 信息、消息和信号 信息 消息 信号 信息的特征 信息论 二、信息论研究的内容 狭义信息论 一般信息论 广义信息论 信息论研究的内容 信息论 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理系统中一般规律的学科，被称为“通信的数学理论”。 二、信息论研究的内容 狭义信息论 主要研究信息的测度、信道容量以及信源和信道编码理论等问题。 香农应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。香农因此成为信息论的奠基人。 香农，1816年生于美国密执安州的加洛德。在大学中他就表现出了对数理问题的高度敏感。 他的硕士论文就是关于布尔代数在逻辑开关理论中的应用。
52150编辑于 2023-02-24 - 来自专栏架构师成长之路
信息论的熵
在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。 熵在信息论中的定义推导过程如下： 信源的不确定性：信源发出的消息不肯定性越大，收信者获取的信息量就越大。如果信源发送的消息是确切的，则对收信者来说没有任何价值（没有信息量）。 如果两个系统具有同样大的消息量，如一篇用不同文字写的同一文章，由于是所有元素消息量的加和，那么中文文章应用的汉字就比英文文章使用的字母要少。 所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。 4.
1.4K20编辑于 2022-04-15 - 来自专栏算法之名
信息论整理
信息论研究的目的和范畴 通信系统模型 古人近距离用语言来传递信息，远距离用手势、烽火来传递信息；现代人用各种通讯工具(电话、互联网)来传递信息。 基本信息论 信源及信源的不确定性 实际有用的信源应具有不确定性(也称为不肯定性)。
52310编辑于 2022-09-08 - 来自专栏又见苍岚
信息论 - 交叉熵
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。 定义 在信息论中，交叉熵（Cross Entropy）是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。。 示例 交叉熵在深度学习的损失函数中得到广泛应用 真实数据分布（标签）为Y，预测分布为P 事实上我们用的交叉熵为H(Y,P)，即使用Y的分布，用P的编码方式度量信息熵大小 二分类时 L=\frac{
63810编辑于 2022-08-05 - 来自专栏老齐教室
用信息论剖析深度学习
作者：Lilian Weng 翻译：老齐 与本文相关书籍推荐：《数据准备和特征工程》 ---- 最近，我聆听了Naftali Tishby教授的演讲“深度学习中的信息论”，感觉很有意思。 他在演讲中说明了如何将信息论用于研究深度神经网络的增长和转换，他利用IB（Information Bottleneck）方法，为深度神经网络（DNN）开创了一个新的领域，由于参数的数量成指数增长，导致传统的学习理论在该领域均行不通
1.1K30发布于 2020-05-15 - 来自专栏YoungGy
信息论中的各种熵
本文简单介绍了信息论中的各种熵，包括自信息、熵；联合熵、条件熵、互信息；KL散度、交叉熵。并在最后用信息论中的交叉熵推导了逻辑回归，得到了和最大似然法相同的结果。
1.7K50发布于 2018-01-02 - 来自专栏ShowMeAI研究中心
图解AI数学基础 | 信息论
、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。 信息论中包含的知识和概念在机器学习中也有应用，典型的例子是其核心思想『熵』的应用。 例如，决策树模型ID3、C4.5中是利用信息增益来确定划分特征而逐步生长和构建决策树的；其中，信息增益就是基于信息论中的熵。 4.相对熵（Kullback–Leibler divergence） 相对熵在信息论中用来描述两个概率分布差异的熵，叫作KL散度、相对熵、互熵、交叉熵、信息增益。 5.互信息（Mutual Information） 互信息是信息论里一种有用的信息度量方式，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性
1.1K81编辑于 2022-02-25 - 来自专栏又见苍岚
信息论 - 基础概念
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。本文介绍基本概念。 * 信息论背后的原理是：从不太可能发生的事件中能学到更多的有用信息。 发生可能性较大的事件包含较少的信息。 发生可能性较小的事件包含较多的信息。 独立事件包含额外的信息 。 85779990 http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html https://baike.baidu.com/item/信息论
90710编辑于 2022-08-05 - 来自专栏小锋学长生活大爆炸
基于信息论的编码技术
摘 要 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。 关键词 信息论 编码 综述 正 文 信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科（如图1[[1]]所示）。 信息论在统计物理（热力学）计算机科学（科尔莫戈罗夫复杂度）、推断统计（奥卡姆剃刀）等学科方向中都有奠基性的贡献。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。 信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 ? 图 1 信息论研究领域 1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。 结 论 信道编码技术广泛应用于数字通信系统中，有的已经被应用于某些无线通信标准中。相信随着信道编码技术会随着 信道编码理论的发展在通信领域得到更深入的应用。
1.9K30发布于 2020-08-13 - 来自专栏人工智能之数学基础
人工智能之数学基础 信息论：第四章 应用延伸
人工智能之数学基础信息论第四章应用延伸前言信息论不仅是通信工程的基石，更在人工智能、深度学习、大数据处理中扮演关键角色。 从神经网络中的嵌入表示到大模型的Token压缩，从变分自编码器（VAE）到信息瓶颈理论，信息论提供了统一的数学语言。 ：DNN训练过程=最小化I(X;T)I(X;T)I(X;T)（压缩输入），同时最大化I(T;Y)I(T;Y)I(T;Y)（保留标签信息）三、AI中的信息编码实践应用信息论原理实例Tokenization MSE)')#plt.title('率失真权衡曲线');plt.show()解释：k↑k\uparrowk↑→R↑R\uparrowR↑,D↓D\downarrowD↓曲线凸性体现边际收益递减五、总结：信息论在 AI时代的角色概念传统应用AI/现代应用信道容量通信速率极限神经网络层间信息流分析无损压缩ZIP,PNGTokenization(BPE,WordPiece)率失真理论JPEG,MP3表示学习、模型量化
20310编辑于 2025-12-27 - 来自专栏全栈程序员必看
信息论-Turbo码学习
在信噪比较低的高噪声环境下性能优越（信道条件差的移动通信系统中有很大的应用潜力），而且具有很强的抗衰落、抗干扰能力 Turbo码引起超乎寻常的优异译码性能，可以纠正高速率数据传输时发生的误码 交织：在实际应用中，比特差错经常成串发生，这是由于持续时间较长的衰落谷点会影响到几个连续的比特，而信道编码仅在检测和校正单个差错和不太长的差错串时才最有效（如RS只能纠正8个字节的错误）。
1.9K20发布于 2021-04-07 - 来自专栏又见苍岚
信息论 - KL散度
根据 shannon 的信息论，给定一个字符集的概率分布，我们可以设计一种编码，使得表示该字符集组成的字符串平均需要的比特数最少。 应用场景 在同样的字符集上，假设存在另一个概率分布Q(X)。
1.6K20编辑于 2022-08-05 - 来自专栏PPV课数据科学社区
“数学之美”系列七：信息论在信息处理中的应用
我们已经介绍了信息熵，它是信息论的基础，我们这次谈谈信息论在自然语言处理中的应用。 先看看信息熵和语言模型的关系。 信息论中仅次于熵的另外两个重要的概念是“互信息”（Mutual Information) 和“相对熵”（Kullback-Leibler Divergence)。 信息论中另外一个重要的概念是“相对熵”，在有些文献中它被称为成“交叉熵”。在英语中是 Kullback-Leibler Divergence，是以它的两个提出者库尔贝克和莱伯勒的名字命名的。 对信息论有兴趣又有一定数学基础的读者，可以阅读斯坦福大学托马斯.科弗 (Thomas Cover) 教授的专著 "信息论基础"(Elements of Information Theory)： http viBookCode=17909 科弗教授是当今最权威的信息论专家。
1.5K90发布于 2018-04-20 - 来自专栏数据派THU
【干货书】信息论与编码
来源：专知本文为书籍介绍，建议阅读5分钟这本书是提供信息理论和错误控制编码的全面概述。 这本书是提供信息理论和错误控制编码的全面概述，使用一个不同的方法然后在现有的文献。章节根据香农系统模型组织，其中一个区块影响其他区块。在每一章的开始提供一个相对简短的理论介绍，包括一些额外的例子和解释，但没有任何证明。并在相应章节的末尾对抽象代数的一些方面作了简要的概述。带有大量插图和表格的典型复杂例子被选择来提供对问题本质的详细见解。给出了一些极限情况来说明与理论界的联系。仔细选择数值，以提供所描述的算法的深入解释。
25410编辑于 2022-07-25 人工智能数学基础（九）—— 信息论
信息论是一门研究信息的度量、存储、传输和处理的学科，它在人工智能领域尤其是机器学习、自然语言处理和计算机视觉等方面有着广泛的应用。 今天，我将带大家深入浅出地探索信息论的核心概念，并结合 Python 实例，让大家能够直观地理解和应用这些知识。 9.1 概述 9.1.1 信息论的形成和发展 信息论由克劳德·香农在 1948 年创立，最初用于解决通信中的信息传输问题。 随着时间的推移，信息论的应用范围不断扩大，逐渐渗透到人工智能、数据科学、生物信息学等多个领域。 9.1.2 信息论对人工智能的影响 在人工智能中，信息论提供了度量数据信息量、评估模型复杂度、优化算法性能的工具。
24010编辑于 2026-01-21- 来自专栏CreateAMind
互信息论文笔记
https://github.com/topics/mutual-information
1.5K50发布于 2018-09-27 - 来自专栏zingpLiu
信息论中的基本概念
信息增益的应用: 我们在利用进行分类的时候，常常选用信息增益更大的特征，信息增益大的特征对分类来说更加重要。决策树就是通过信息增益来构造的，信息增益大的特征往往被构造成底层的节点。 思考： 根据上面的叙述，我们了解到：信息论中，对于孤立的一个随机变量我们可以用熵来量化；对于两个随机变量有依赖关系，我们可以用互信息来量化。那么:对于两个随机变量之间相差多少?
1.2K30发布于 2019-02-25 - 来自专栏MatheMagician
编码通信与魔术初步（二）——信息论基础
信息论信息和日常信息有什么区别？ 这里大家也可以看到信息论中的信息，和我们日常生活中说的信息，有什么区别。 至于这条信息有什么意义，是不是你关心的，接下来会产生什么影响，这些信息论统统都不考虑，但这些才是我们日常生活中所说的“有用信息”，“重要信息”，“关键信息”等等的含义，而信息论中的信息量，仅仅是个参考罢了 这一点是一开始学习和理解信息论非常重要的一个全新认知，如果你老是拿生活中理解的信息去套信息论中的信息，总是会感觉有些别扭和奇怪。 今天给大家介绍了信息论中关于信息部分的核心理解，其中以熵为核心还有一大堆信息论应用的重要思想和概念，我们下期见！ 后面要分享的魔术，抢先看！ 文章内容涵盖互联网，计算机，统计，算法，NLP等前沿的数学及应用领域；也包括魔术思想，流程鉴赏等魔术内容；以及结合二者的数学魔术分享，还有一些思辨性的谈天说地的随笔。
45230编辑于 2023-01-30 - 来自专栏TechBlog
信息论与编码：信道的定义和分类
信道是任何一种通信系统中必不可少的组成部分。任何一个通信系统都可以视为由发送，信道与接收三部分组成。信道通常指以传输媒介为基础的信号通道。
1.2K20编辑于 2022-12-02 - 来自专栏企鹅号快讯
信息论与逻辑回归代价函数
本公众号文章：第4节 认知过程与逻辑回归描述了逻辑回归的原理，并且从数学上推导了逻辑回归代价函数的公式，但为什么采用这个公式需要从信息论的角度去说明。 信息论研究的是信息的度量，存储和传输。 信息论在信号处理，数据压缩，机器学习等领域有广泛应用。 信息论的核心是熵的概念，它是一种对信息不确定性的度量。信息的不确定性越大，则熵越大。 要理解信息论的概念，需要具有概率分布，条件概率等基本的数学基础。如果没有这方面基础，理解起来很困难。 我在网上发现一篇很好的文章，它从概率可视化的角度出发，从基本的概率分布和条件概率概念讲起，由浅入深，逐渐过渡到信息论和熵的概念。理解起来相对来说比较容易。
71750发布于 2018-01-08
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号