- 综合排序
- 最热优先
- 最新优先
- 来自专栏联远智维
高熵合金及相关思考
近期，香港城市大学实验中合成了高熵合金，其微观结构表征为无序界面纳米层(DINL)包裹有序超晶格颗粒(OSG)材料，避免了普通多晶合金高温环境下结构不稳定性的弊端的同时，具有超高的强度，相关成果在Science ductile superlattice alloys with nanoscale disordered interfaces，Science 369, 427–432 (2020)） 从图a可以看出，该高熵合金相较于 2、 何为高熵合金，熵体现在什么地方？ 附1：高熵合金作为一种新兴合金，一般是由五种及以上元素组成，在强韧化、极端温度机械性能、抗腐蚀、抗氧化、抗辐照等领域表现出优异的性能； 附2：金属玻璃的原子结构长程无序，没有晶态固体中的位错、晶界等缺陷 附：本文更多是自己对文章的一种理解，难免有不足之处（甚至完全不对，），大家多多指正；王博士研究的课题就是高熵合金，好像有点班门弄斧了，
75320编辑于 2022-01-20 - 来自专栏全栈程序员必看
瑞利熵与香农熵_熵 信息
在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。 在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。 Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子信息中也很重要，它可以用来衡量纠缠。 在Heisenberg XY自旋链模型中，作为α的函数的Rényi熵可以由于它是关于模数群的特定子群的自守函数而被明确地计算。在理论计算机科学中，最小熵用于随机抽取器的情况下。 ,pn)被解释为一个向量Rn，同时pi≥0和Σpi=1 瑞丽熵中α≥0 特例 哈特利或最大熵: 香农熵: 碰撞熵，有时被称为“Rényi熵”，是指α = 2 的情况， 其中，X和Y ^是独立同分布的 最小熵: 在极限中 收敛到最小熵 ： ---- 参考文献：https://en.wikipedia.org/wiki/R%C3%A9nyi_entropy 发布者：全栈程序员栈长，转载请注明出处
1.7K20编辑于 2022-09-20 - 来自专栏小小挖掘机
详解机器学习中的熵、条件熵、相对熵、交叉熵
目录 信息熵 条件熵 相对熵 交叉熵 总结 一 信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学。 1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息熵。 举个例子，比如环境温度是低还是高，和我穿短袖还是外套这两个事件可以组成联合概率分布 H(X,Y)，因为两个事件加起来的信息量肯定是大于单一事件的信息量的。 我们再化简一下相对熵的公式。 ? 有没有发现什么？ 熵的公式： ? 交叉熵的公式： ? 当随机分布为均匀分布时，熵最大；信息熵推广到多维领域，则可得到联合信息熵；条件熵表示的是在 X 给定条件下，Y 的条件概率分布的熵对 X的期望。 相对熵可以用来衡量两个概率分布之间的差异。
5.8K20发布于 2019-10-24 当康激光：铜合金焊接领域的抗高反先锋
然而，铜合金的高反射率特性，一直是焊接过程中的一大难题，严重影响焊接质量与生产效率。 一、铜合金焊接的高反困境 铜合金的高反射率使得普通激光在接触材料表面时，大部分能量被反射回去，仅有少量能量被吸收用于焊接。这不仅导致焊接过程不稳定，还容易引发一系列焊接缺陷。 因此，如何有效克服铜合金的高反问题，成为焊接领域亟待解决的关键课题。 四、广泛的应用领域 当康激光的铜合金抗高反焊接技术，因其出色的焊接质量和稳定性，在众多行业中得到了广泛的应用。 五、展望未来 随着制造业的不断发展和升级，对铜合金焊接质量的要求将越来越高。当康激光将继续秉持创新精神，不断优化和完善铜合金抗高反焊接技术，进一步拓展其应用领域。
32000编辑于 2025-01-15- 来自专栏机器学习与统计学
信息熵、条件熵、联合熵、互信息、相对熵、交叉熵
再总结一下： 2、信息熵 信息熵是信息量的数学期望。理解了信息量，信息熵的定义式便不难理解。 3、条件熵 条件熵的定义为：在 给定的条件下， 的条件概率分布的熵对 的数学期望。 条件熵一定要记住下面的这个定义式，其它的式子都可以由信息熵和条件熵的定义式得出。 4、联合熵 两个变量 和 的联合熵的表达式： 5、互信息 根据信息熵、条件熵的定义式，可以计算信息熵与条件熵之差： 同理 因此： 定义互信息： 即： 互信息也被称为信息增益。 信息熵、联合熵、条件熵、互信息的关系 信息熵：左边的椭圆代表 ，右边的椭圆代表 。 互信息（信息增益）：是信息熵的交集，即中间重合的部分就是 。 联合熵：是信息熵的并集，两个椭圆的并就是 。 对数似然的值我们希望它越大越好，交叉熵的值我们希望它越小越好。 结论：KL 散度 = 交叉熵 - 熵 。这一点从相对熵的定义式就可以导出。 这里 就是交叉熵的定义式。
5K20发布于 2019-07-30 - 来自专栏先进封装
绝缘涂层键合金线
一/ 简介绝缘涂层键合金线长期以来，绝缘涂层键合线一直是高输入/输出(I/O)密度引线键合应用所追求的，过去的许多尝试都取得了有效成功。 绝缘涂层键合金线二/ 绝缘涂层键合金线的选材绝缘涂层键合金线“ 以下是绝缘涂层键合金线考虑的四个关键领域: ”“1 /应用考虑因素(性能要求) ”1. ITRS 未来应用对超细,高I/O密度应用的要求而设计的。 绝缘涂层键合金线三/ 使用绝缘涂层键合金线键合绝缘涂层键合金线为实现更大的布线密度,涂层厚度必须足够薄,以使绝缘涂层键合线不须增加劈刀孔径,实现与相同直径的裸线焊盘(BPP)间距。 偏置高加速应力试验(偏置高应力试验)(JeSD-22-A110-B)在2大气压下，温度为130℃/85%RH/4.0V，持续100小时。
46110编辑于 2024-11-11 - 来自专栏数控编程社区
钛合金的攻丝技巧
数控编程、车铣复合、普车加工、行业前沿、机械视频，生产工艺、加工中心、模具、数控等前沿资讯在这里等你哦 攻丝钛合金（例如钛6Al4V）比攻丝其它合金材料更困难，但使用合适的丝锥和技术肯定也是可行的。 使用合适的速度 攻丝速度对于切削钛合金螺纹至关重要。速度不足或过快会导致丝锥故障或丝锥寿命缩短。对于进入和离开螺纹孔时，我们建议采用10到13sfpm（每分钟表面英尺数，手册值）的攻丝速度。 虽然可以使用普通的钛合金冷却液，但这种不一定能用在攻丝上。推荐使用含油量更高的优质乳液，或者更好的是使用攻丝油。 对极难加工的钛合金进行攻丝可能需要使用含有极压添加剂的攻丝膏。这些添加剂旨在粘附在切削表面。攻丝膏的缺点是必须手动涂抹，不能通过机器的冷却系统自动涂抹。 使用更好的数控机床 尽管任何能够切割钛合金的机器都应该能够有效地对这些材料进行攻丝，但数控机床是适合对钛进行攻丝的。通常，这些较新的机床提供刚性（同步）攻丝循环。 较旧的机床通常缺少此功能。
77710编辑于 2023-02-24 - 来自专栏春天和爱情の樱花
信息熵和条件熵
这不是我大一第一节信息资源管理概论课讲到的第一个专业名词吗，信息熵我可熟了，章口就来，信息是负熵 .......淦，负熵又是啥。 （算了算了太烧脑了，做个调参侠不好吗，哪个精度高用哪个管那么多干嘛......别学我！看看我眼里的眼泪你就知道了~） 翻出当时的作业？？？ 信息熵 说到信息熵，首先先了解一下什么是信息量？ 底数为2：因为我们只需要满足低概率事件高信息量的公式需求，此时对数的选择其实是不限的。 但信息熵是可以在衰减的过程中被测定出来的。除此之外，信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。
1.2K10编辑于 2022-09-22 高速切削铝合金用硬质合金刀具磨损机理研究
刀具是影响高速切削铝合金材料的一个关键性因素，目前在高速切削加工铝合金用刀具方面主要存在以下几个问题：（1）对于高速切削铝合金材料时刀具的磨损破损规律研究较少，在实际生产中对换刀没有统一的企业标准 （3）工件成本高，损坏将造成巨大浪费[2]。铝合金工件成本价格昂贵，某些零件在加工过程中为消除残余内应力，还要经过去应力回火的热处理工序。 大型箱体结构零件的铝合金材料毛坯体积大、铸造成本高，加工过程中刀具的快速磨损和破损极易造成尺寸超差或零件报废，给加工人员造成较大压力[3]。 为解决上述问题，张光明等[4]研究了铝合金高速切削速度对硬质合金刀具磨损的影响，郭新等[5]对铝合金薄壁中空结构件重负荷铣削刀具寿命及刀具磨损行为进行了分析，王敬春和冯明军[6]对球头铣刀精铣铝合金叶片的磨损行为进行了试验与研究 本文以高效切削铝合金涡轮用硬质合金刀具为研究对象，通过四因素三水平正交试验对刀具磨损行为进行研究，观测和分析不同切削参数下硬质合金刀具的磨损状态及微观形貌，讨论并提出有效控制刀具磨损的措施。
28710编辑于 2025-05-06- 来自专栏磐创AI技术团队的专栏
详解机器学习中的熵、条件熵、相对熵、交叉熵
目录 信息熵 条件熵 相对熵 交叉熵 总结 一 信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学。 1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。本文只讨论信息熵。 举个例子，比如环境温度是低还是高，和我穿短袖还是外套这两个事件可以组成联合概率分布 H(X,Y)，因为两个事件加起来的信息量肯定是大于单一事件的信息量的。 我们再化简一下相对熵的公式。 ? 有没有发现什么？ 熵的公式： ? 交叉熵的公式： ? 当随机分布为均匀分布时，熵最大；信息熵推广到多维领域，则可得到联合信息熵；条件熵表示的是在 X 给定条件下，Y 的条件概率分布的熵对 X的期望。 相对熵可以用来衡量两个概率分布之间的差异。
2.1K80发布于 2018-04-24 - 来自专栏图灵技术域
信息熵（香农熵）概述
简介 1948 年，香农提出了“信息熵”(Shannon entropy/Information entropy) 的概念，才解决了对信息的量化度量问题。 公式 熵的定义为信息的期望值，在明晰这个概念之前，我们必须知道信息的定义。如果待分类的事务可能划分在多个分类之中，则符号xi的信息定义为： ? 其中p(xi)是选择该分类的概率。 为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值，通过下面的公式得到： ? 其中n是分类的数目。 足球实例 那么我们如何来量化度量信息量呢？ 香农把它称为“信息熵” (Entropy)，一般用符号 H 表示，单位是比特。有兴趣的读者可以推算一下当 32 个球队夺冠概率相同时，对应的信息熵等于五比特。
3.8K30发布于 2021-05-21 - 来自专栏hotarugaliの技术分享
相对熵和交叉熵
相对熵 1.1 简介 相对熵也称为 KL 散度（Kullback-Leibler divergence），相对熵是两个概率分布 和 差别的度量。 具体来说， 和 的相对熵是用来度量使用基于 的分布来编码服从 的分布的样本所需的额外平均比特数。 1.2 定义 对于离散随机变量，其概率分布 和 的相对熵定义为： DKL(P∥Q)=−∑iP(i)lnQ(i)P(i)=EP[−lnQP]D_{\mathrm{KL}}(P \Vert 1.3 性质 相对熵非负： 相对熵非对称（故其不是一个真正的距离度量）： DKL(P∥Q)≠DKL(Q∥P)D_{\mathrm{KL}}(P \Vert Q) \neq D_{\mathrm{ 交叉熵 2.1 简介 交叉熵是指基于 的分布来编码服从 的分布的样本所需要的平均比特数。
1.1K30编辑于 2022-04-22 - 来自专栏TechBlog
联合熵和条件熵
文章目录 联合熵 条件熵 联合熵 联合集 XY 上, 对联合自信息 I(x y) 的平均值称为联合熵: \begin{array}{l} H(X Y)=\underset{p(x y)}{E}[ X_{n}} p\left(x_{1}, x_{2}, \ldots, x_{n}\right) \log p\left(x_{1}, x_{2}, \ldots, x_{n}\right) 信息熵与热熵的关系 信息熵的概念是借助于热熵的概念而产生的。 信息熵与热熵含义相似 信息熵与热熵的区别: 信息熵的不增原理 热熵不减原理 热熵的减少等于信息熵的增加。 条件熵 联合集 X Y \mathbf{X Y}XY 上, 条件自信息I ( y / x ) I(y / x)I(y/x)的平均值定义为条件熵： \begin{array}{l} H(Y / X)=\
1.5K20编辑于 2023-02-23 - 来自专栏用户画像
熵 条件熵 信息增益
当p=0.5时H(p)=1，熵取值最大，随机变量不确定性。当p=0.5时，H(p)=1,熵取值最大，随机变量不确定性最大。 ,m 条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。 ,n 当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别称为经验熵和经验条件熵。 g(D,A)=H(D)-H(D|A) 一般地，熵H(Y)与条件熵H(Y|X)之差称为互信息，决策树学习中的信息增益等价于训练数据集中类与特征的互信息。 总结：信息增益为 数据集D的经验熵H(D) 与特征A对数据集D的经验熵H(D|A) 之差
1.3K20发布于 2018-12-13 - 来自专栏SIGAI学习与实践平台
理解熵与交叉熵
熵、交叉熵是机器学习中常用的概念，也是信息论中的重要概念。它应用广泛，尤其是在深度学习中。本文对交叉熵进行系统的、深入浅出的介绍。 熵 在介绍交叉熵之前首先介绍熵（entropy）的概念。熵是信息论中最基本、最核心的一个概念，它衡量了一个概率分布的随机程度，或者说包含的信息量的大小。 首先来看离散型随机变量。 第一个概率分布的熵明显的大于第二个概率分布，即随机变量越均匀（随机），熵越大，反之越小。 下面考虑连续型随机变量。对于连续型随机变量，熵（微分熵）定义为 ? 这里将求和换成了广义积分。 此时熵的作用是度量数据集的“纯度”值。样本集D的熵不纯度定义为 ? 当样本只属于某一类时熵有最小值，当样本均匀的分布于所有类中时熵有最大值。找到一个分裂让熵最小化，它就是最佳分裂。 其交叉熵为 ? 第一个表格中两个概率分布完全相等，第二个则差异很大。第二个的熵比第一个大。后面我们会证明这一结论。 对于连续型概率分布，交叉熵定义为 ? 如果两个概率分布完全相等，则交叉熵退化成熵。
2.7K10发布于 2019-03-01 - 来自专栏又见苍岚
熵
本文追随 知乎大佬 从熵的热力学定义，熵的统计力学定义（玻尔兹曼熵，吉布斯熵）和熵的信息学定义（香农熵）来介绍熵的含义。 上式定义的熵称为玻尔兹曼熵，它告诉我们： 一个系统的玻尔兹曼熵正比于这个系统的微观状态数的对数。所以玻尔兹曼熵是系统混乱度的衡量，系统的微观状态数越多，系统的玻尔兹曼熵就越大。 因为微观状态数具有可乘性，所以熵具有可加性（熵是微观状态数的对数），所以可测量部分的熵等于总熵减去不可测量部分的熵，不可测量部分的熵可以写为 ： S_{\text {不可测量 }}=\left\langle 熵的信息学定义 我们将尝试将信息量与前面介绍的熵联系起来，并给出熵的信息学定义。 从形式上来看，香农熵（信息熵）和吉布斯熵（热力学熵）完全一样。并且，两种熵都衡量了系统的不确定度。
1.3K10编辑于 2022-08-10 - 来自专栏机器学习与自然语言处理
信息量，熵，交叉熵，相对熵与代价函数
本文将介绍信息量，熵，交叉熵，相对熵的定义，以及它们与机器学习算法中代价函数的定义的联系。 1. 熵（信息熵） 对于一个随机变量X而言，它的所有可能取值的信息量的期望就称为熵。熵的本质的另一种解释：最短平均编码长度（对于离散变量）。 离散变量： 连续变量： 3. 交叉熵 现有关于样本集的2个概率分布p和q，其中p为真实分布，q非真实分布。 所以基于分布q的最短平均编码长度为： 上式CEH(p, q)即为交叉熵的定义。 4. 相对熵 将由q得到的平均编码长度比由p得到的平均编码长度多出的bit数，即使用非真实分布q计算出的样本的熵(交叉熵)，与使用真实分布p计算出的样本的熵的差值，称为相对熵，又称KL散度。
93690发布于 2018-03-13 - 来自专栏磐创AI技术团队的专栏
一文总结熵，交叉熵与交叉熵损失
作者 | Vijendra Singh 编译 | VK 来源 | Medium 交叉熵损失是深度学习中应用最广泛的损失函数之一，这个强大的损失函数是建立在交叉熵概念上的。 为了全面理解，我们需要按照以下顺序理解概念:自信息, 熵，交叉熵和交叉熵损失 自信息 "你对结果感到惊讶的程度" 一个低概率的结果与一个高概率的结果相比，低概率的结果带来的信息量更大。 自信息的加权平均值就是熵(e)，如果有n个结果，则可以写成: 交叉熵 现在，如果每个结果的实际概率为 却有人将概率估计为 怎么办。 现在，在这种情况下，加权平均自信息就变为了交叉熵c，它可以写成： 交叉熵总是大于熵，并且仅在以下情况下才与熵相同 ，你可以观看 https://www.desmos.com/calculator/zytm2sf56e 因此，我们得到交叉熵损失的公式为： 在只有两个类的二分类问题的情况下，我们将其命名为二分类交叉熵损失，以上公式变为：
79120发布于 2020-02-12 - 来自专栏磐创AI技术团队的专栏
一文总结熵、交叉熵和交叉熵损失
作者 | Vijendra Singh 编译 | VK 来源 |Medium 交叉熵损失是深度学习中应用最广泛的损失函数之一，这个强大的损失函数是建立在交叉熵概念上的。 为了全面理解，我们需要按照以下顺序理解概念:自信息, 熵，交叉熵和交叉熵损失。 自信息 "你对结果感到惊讶的程度" 一个低概率的结果与一个高概率的结果相比，低概率的结果带来的信息量更大。 自信息的加权平均值就是熵(e)，如果有n个结果，则可以写成: 交叉熵 现在，如果每个结果的实际概率为却有人将概率估计为怎么办。 现在，在这种情况下，加权平均自信息就变为了交叉熵c，它可以写成： 交叉熵总是大于熵，并且仅在以下情况下才与熵相同 ，你可以观看 https://www.desmos.com/calculator/zytm2sf56e 因此，我们得到交叉熵损失的公式为： 在只有两个类的二分类问题的情况下，我们将其命名为二分类交叉熵损失，以上公式变为：
1.4K20发布于 2020-02-12 - 来自专栏机器学习与自然语言处理
信息量，熵，交叉熵，相对熵与代价函数
本文将介绍信息量，熵，交叉熵，相对熵的定义，以及它们与机器学习算法中代价函数的定义的联系。 熵（信息熵） 对于一个随机变量X而言，它的所有可能取值的信息量的期望就称为熵。熵的本质的另一种解释：最短平均编码长度（对于离散变量）。 离散变量： ? 连续变量： ? 3. 上式CEH(p, q)即为交叉熵的定义。 4. 相对熵 将由q得到的平均编码长度比由p得到的平均编码长度多出的bit数，即使用非真实分布q计算出的样本的熵(交叉熵)，与使用真实分布p计算出的样本的熵的差值，称为相对熵，又称KL散度。 由于真实的概率分布是固定的，相对熵公式的后半部分（-H(p)） 就成了一个常数。那么相对熵达到最小值的时候，也意味着交叉熵达到了最小值。对 ? 的优化就等效于求交叉熵的最小值。
90270发布于 2018-10-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号