如何注册网站免费注册,无锡网页设计培训班,wordpress 阅读全文代码,扬州做阿里巴巴的公司网站我们可以从“混乱程度”这个最直观的角度来理解各种熵的关系。想象你的房间#xff1a;非常整洁#xff1a;书在书架#xff0c;衣服在衣柜 —— 熵很低非常混乱#xff1a;书在地上#xff0c;衣服在椅子上#xff0c;袜子在床上 —— 熵很高熵#xff0c;就是衡量这种…我们可以从“混乱程度”这个最直观的角度来理解各种熵的关系。想象你的房间非常整洁书在书架衣服在衣柜 ——熵很低非常混乱书在地上衣服在椅子上袜子在床上 ——熵很高熵就是衡量这种“混乱程度”或“不确定性”的指标。1. 信息熵一切的起点这是最核心、最基本的熵。它衡量的是“一件事结果有多难猜”。例子A抛一枚硬币。正反各50%。你猜中的概率是50%结果有点不确定。信息熵 1比特。例子B从一副扑克牌里抽一张大王。概率只有1/54基本猜不中。信息熵很高。例子C太阳从东边升起。100%确定。信息熵 0。通俗理解信息熵就是“这件事的平均惊讶程度”。越不可能发生的事发生了越惊讶信息熵越高。2. 交叉熵用你的思路去猜别人的结果假设你和朋友都看着同一堆东西但你们手里的概率表不一样。真实情况明天80%下雨20%晴天。这是真实分布P你的猜测你以为50%下雨50%晴天。这是猜测分布Q交叉熵就是“用你的概率表去猜真实结果时你平均有多惊讶”。如果明天真的下雨了概率80%你只有50%的把握你会比较惊讶。如果明天晴天概率20%你有50%的把握惊讶程度一般。通俗理解交叉熵 你用错的剧本去猜结局结果被真相打脸的次数。你的猜测越离谱交叉熵越大。关系交叉熵 ≥ 信息熵。等号成立当且仅当你的猜测完全等于真实情况PQ。3. 相对熵你的思路到底错在哪相对熵也叫KL散度。它不是直接衡量混乱而是衡量两个概率分布之间的“差异”。通俗理解相对熵 交叉熵 - 信息熵。用刚才的例子信息熵真实世界的混乱度 0.72比特由80%下雨、20%晴天算出来的。交叉熵用你的错误猜测去猜 1比特由50%下雨、50%晴天猜80%下雨算出来的。相对熵 1 - 0.72 0.28比特。这个0.28比特就是你因为“猜错概率”而额外付出的惊讶成本。关系相对熵KL散度 交叉熵 - 信息熵。4. 联合熵两个房间一起算如果你有两个房间一个卧室一个客厅。信息熵只看卧室的混乱程度。联合熵把卧室和客厅加起来算整个家的混乱程度。通俗理解你妈检查卫生。原来只查你卧室现在查全屋。全屋越乱联合熵越大。关系联合熵 ≥ 单个熵。因为你多考虑了另一个变量。5. 条件熵已知一个房间另一个有多乱通俗理解如果你知道客厅已经乱成狗窝了那卧室还会乱到什么程度条件熵就是在已知一个变量的情况下另一个变量还剩多少不确定性。关系联合熵 条件熵 已知那个变量的熵。6. 互信息两个房间有多像通俗理解你妈发现每次客厅乱的时候卧室也一定乱。这说明客厅的乱和卧室的乱之间有很强的关联。互信息就是衡量两个变量之间共享的信息量。关系互信息 信息熵 - 条件熵。如果两个房间完全独立客厅乱不影响卧室互信息 0。如果两个房间完全同步客厅乱卧室必乱互信息 卧室的信息熵。一张图总结所有关系如果把信息熵比作一个人的全部资产那么联合熵 两个人的总资产条件熵 知道对方有多少钱后你还有多少钱互信息 你们俩共同持有的联名账户交叉熵 你以为对方很有钱结果他其实没钱——你的预期偏差相对熵 交叉熵 - 信息熵 你的预期偏差具体有多大最核心的一句话信息熵是你自己的混乱程度交叉熵是你猜别人时的混乱程度相对熵是你猜别人时多出来的混乱程度。