珠海网站建设联系方式,成都关键词排名提升,做网站排版,搜索引擎内部优化条件熵 知道你的情况后#xff0c;他还有多难猜。这是最直观的理解#xff0c;没有之一。还是那个房间#xff0c;你和室友你妈明天来检查。先看单独猜客厅#xff1a;客厅乱的概率 70%#xff0c;整洁 30%信息熵 H(客厅) 0.88 比特完全不知道你时#xff0c;猜客厅平均…条件熵 知道你的情况后他还有多难猜。这是最直观的理解没有之一。还是那个房间你和室友你妈明天来检查。先看单独猜客厅客厅乱的概率 70%整洁 30%信息熵 H(客厅) 0.88 比特完全不知道你时猜客厅平均需要 0.88 个问题现在先看一眼你的卧室情况A你的卧室是乱的概率 80%此时客厅乱的概率变成 75%整洁 25%不确定性降低了猜客厅平均只需要0.81 比特情况B你的卧室是整洁的概率 20%此时客厅乱的概率变成 50%整洁 50%不确定性其实和原来差不多猜客厅平均需要1.00 比特条件熵就是把你所有可能的情况你乱、你整洁按概率加权平均算“知道你之后猜客厅还需要几个问题”。H(客厅 | 卧室) 80% × 0.81 20% × 1.000.85 比特从 0.88 降到 0.85你帮室友省了 0.03 个问题。三个核心直觉1. 条件熵 ≤ 信息熵知道别人只会让你更容易不会更难等号成立你和他完全没关系知道了也白知道2. 条件熵 联合熵 - 已知的熵H(客厅|卧室) H(卧室,客厅) - H(卧室)全屋乱度 你的乱度 知道后他还剩的乱度3. 条件熵 0 意味着什么知道你乱他必乱知道你整洁他必整洁猜出你就等于猜出他他就是你的影子一张表看懂四种关系| 关系 | H(Y|X) | 含义 ||------|--------|------||完全独立| H(Y) | 知道了也白知道他还是那么难猜 ||部分相关| H(Y) | 知道你能省点事 ||完全相关| 0 | 知道你就知道他不用再问了 ||负相关| 不可能 0 | 条件熵不能为负知道你不会让你更懵 |和之前几种熵的关系条件熵是搭积木的那块砖联合熵 H(X,Y) ↙ ↘ H(X) H(Y|X) 你的熵 知道你后他的熵 H(Y) H(X|Y) 他的熵 知道他后你的熵核心等式联合熵 信息熵 条件熵全屋乱度 你一个人的乱度 知道后他还剩的乱度为什么叫“条件”因为它是在某个条件下算的熵。无条件熵啥都不知道直接猜客厅条件熵先给你卧室的状态当线索再猜客厅条件就是你手里多了一张情报。一句话暴击信息熵是你妈来之前你对客厅的忐忑条件熵是你偷偷看了一眼卧室之后对客厅还剩的忐忑。知道得越多忐忑越少。条件熵就是你知道一些事后还剩下多少不知道。┌─────────────────────────────────────────────────────────────────────┐ │ 条 件 熵 一 图 通 │ │ 知道你的情况后他还有多难猜 │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 核 心 比 喻 偷 看 一 眼 卧 室 再 猜 客 厅 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ️ 卧 室 (X) ️ 客 厅 (Y) │ │ ┌─────────────┐ ┌─────────────┐ │ │ │ 乱: 80% │─────┬─────────▶│ 乱: 70% │ │ │ │ 整洁: 20% │ │ │ 整洁: 30% │ │ │ └─────────────┘ │ └─────────────┘ │ │ │ │ ↑ │ │ │ │ │ │ │ ▼ │ │ │ │ ┌──────────────────┴──┐ │ │ │ │ 知 道 卧 室 状 态 │ │ │ │ └──────────────────┬──┘ │ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────────────┐ │ │ │ 卧室乱(80%)│ │卧室整洁(20%)│ │ 无条件熵 H(Y) │ │ │ │ 客厅乱:75% │ │ 客厅乱:50% │ │ 啥都不知道 │ │ │ │ 客厅整:25% │ │ 客厅整:50% │ │ 0.88 比特 │ │ │ │ 熵:0.81 │ │ 熵:1.00 │ └─────────────────────┘ │ │ └─────────────┘ └─────────────┘ │ │ │ │ │ │ │ │ └────────┬─────────┘ │ │ │ ▼ │ │ │ ┌──────────────────────┐ │ │ │ │ 条件熵 H(Y|X) │◄───────────────┘ │ │ │ 0.8×0.81 0.2×1.00 │ │ │ │ 0.85 比特 │ │ │ └──────────────────────┘ │ │ │ │ 从 0.88 → 0.85知道了你省了 0.03 个问题 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 条 件 熵 的 三 种 状 态 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌───────────────┬─────────────────┬─────────────────────┐ │ │ │ 关 系 │ H(Y|X) │ 生 活 比 喻 │ │ │ ├───────────────┼─────────────────┼─────────────────────┤ │ │ │ 完全相关 │ 0 │ 他是你的影子 │ │ │ │ │ │ 知道你就知道他 │ │ │ ├───────────────┼─────────────────┼─────────────────────┤ │ │ │ 部分相关 │ H(Y) │ 知道你能省点事 │ │ │ │ │ 0 │ 但不能全猜对 │ │ │ ├───────────────┼─────────────────┼─────────────────────┤ │ │ │ 完全独立 │ H(Y) │ 知道了也白知道 │ │ │ │ │ │ 他还是那么难猜 │ │ │ └───────────────┴─────────────────┴─────────────────────┘ │ │ │ │ ❗ 条 件 熵 不 可 能 大 于 无 条 件 熵 │ │ H(Y|X) ≤ H(Y) 永远成立 │ │ 知道更多只会减少不确定性不会增加 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 三 兄 弟 的 关 系 联 合 、 信 息 、 条 件 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────┐ │ │ │ 联合熵 H(X,Y) │ │ │ │ 全屋乱度 │ │ │ │ 2.00 比特 │ │ │ └────────┬────────┘ │ │ │ │ │ ┌────────────────┼────────────────┐ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ 信息熵H(X) │ │ 条件熵 │ │ 信息熵H(Y) │ │ │ │ 你多乱 │ │ H(Y|X) │ │ 他多乱 │ │ │ │ 0.72 比特 │ │ 0.85 比特 │ │ 0.88 比特 │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ │ │ │ │ └────────────────┼────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────┐ │ │ │ 条件熵 │ │ │ │ H(X|Y) │ │ │ │ 1.12 比特 │ │ │ └─────────────────┘ │ │ │ │ 核 心 恒 等 式 │ │ H(X,Y) H(X) H(Y|X) H(Y) H(X|Y) │ │ 联 合 熵 你 的 熵 知 道 你 后 他 的 熵 │ │ 联 合 熵 他 的 熵 知 道 他 后 你 的 熵 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 四 种 熵 的 关 系 一 张 表 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌──────────┬───────────────┬──────────────────┬──────────────┐ │ │ │ 熵 │ 用谁的概率 │ 物理意义 │ 本例数值 │ │ │ ├──────────┼───────────────┼──────────────────┼──────────────┤ │ │ │ 信息熵 │ P(X) │ 你有多难猜 │ 0.72 │ │ │ │ 信息熵 │ P(Y) │ 他有多难猜 │ 0.88 │ │ │ ├──────────┼───────────────┼──────────────────┼──────────────┤ │ │ │ 联合熵 │ P(X,Y) │ 全家有多乱 │ 2.00 │ │ │ ├──────────┼───────────────┼──────────────────┼──────────────┤ │ │ │ 条件熵 │ P(Y|X) │ 知道你后他还剩 │ 0.85 │ │ │ │ 条件熵 │ P(X|Y) │ 知道他后你还剩 │ 1.12 │ │ │ ├──────────┼───────────────┼──────────────────┼──────────────┤ │ │ │ 互信息 │ P(X,Y) │ 你俩共同乱源 │ 0.03 │ │ │ └──────────┴───────────────┴──────────────────┴──────────────┘ │ │ │ │ 发 现 了 吗 │ │ H(Y) - H(Y|X) 0.88 - 0.85 0.03 I(X;Y) │ │ 条件熵减少的量 互信息 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 生 活 场 景 · 秒 懂 条 件 熵 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ☔ 天 气 预 报 │ │ H(明天下雨) 1 比特50%概率 │ │ H(明天下雨 | 今天阴天) 0.4 比特80%概率 │ │ 条件熵告诉你看了今天的天色明天还剩多少不确定性 │ │ │ │ 掷 骰 子 游 戏 │ │ H(点数) 2.58 比特6种等可能 │ │ H(点数 | 不是1点) 2.32 比特5种等可能 │ │ 知道了“不是1”还是得猜只是范围小了 │ │ │ │ 抽 扑 克 牌 │ │ H(花色) 2 比特4种等可能 │ │ H(花色 | 是红色) 1 比特红桃/方块2种 │ │ 知道了颜色花色只剩一半不确定性 │ │ │ │ 回 家 看 灯 │ │ H(室友在不在家) 1 比特 │ │ H(室友在不在家 | 客厅灯亮着) ≈ 0.1 比特 │ │ 看到灯亮基本确定他在家只剩一点点意外可能 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 极 端 情 况 —— 看 边 界 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 条 件 熵 0 │ │ 知道 X 就完全知道 Y │ │ Y f(X) 函数关系 │ │ 例知道“是不是单身”就知道“婚否” │ │ │ │ 条 件 熵 信 息 熵 │ │ X 和 Y 完全独立 │ │ 知道 X 对 Y 没有任何帮助 │ │ 例知道“今天下雨”对“彩票中奖”的猜测毫无影响 │ │ │ │ 条 件 熵 不 可 能 信 息 熵 │ │ 永远 ≤ 无条件熵 │ │ 知识不会让你更无知 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 一 句 话 暴 击 记 这 句 就 够 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ │ │ │ │ 信息熵是“你啥都不知道时他有多难猜” │ │ 条件熵是“你偷看了一眼后他还剩多难猜”。 │ │ │ │ 条件熵 你知道了部分情报后 │ │ 还剩下的不确定性的期望值。 │ │ │ │ 知道得越多条件熵越小 │ │ 知道得越准条件熵越接近0。 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 附公 式 长 这 样但 你 已 经 懂 了 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ H(Y|X) - Σ Σ P(x,y) · log P(y|x) │ │ x y │ │ │ │ 翻 译 成 人 话 │ │ ① 先看 X 的所有可能状态你乱/你整洁 │ │ ② 对每一种 X 状态看 Y 的条件分布客厅乱的概率 │ │ ③ 算在这种 X 状态下Y 的熵 H(Y|Xx) │ │ ④ 按 X 的概率 P(x) 加权平均 │ │ │ │ 也 可 以 写 成 │ │ H(Y|X) H(X,Y) - H(X) │ │ 条 件 熵 联 合 熵 - 信 息 熵 │ │ │ │ 这 就 是 为 什 么 │ │ 全屋乱度 你的乱度 知道后他还剩的乱度 │ │ │ └─────────────────────────────────────────────────────────────────────┘