路由器上做网站,选手机网站,响应式网站开发原则,网站制作成app微分熵的极值性 同样条件下#xff0c;哪种分布最“散”#xff1f;这是最直观的理解#xff0c;没有之一。一个灵魂拷问给你一个容器#xff0c;你能把水泼得多散#xff1f;容器 约束条件#xff08;范围固定、方差固定、均值固定...#xff09;水泼得多散 微分熵的…微分熵的极值性 同样条件下哪种分布最“散”这是最直观的理解没有之一。一个灵魂拷问给你一个容器你能把水泼得多散容器 约束条件范围固定、方差固定、均值固定...水泼得多散 微分熵的大小极值性 在给定容器下哪种泼法熵最大三个经典答案背下来 约束1范围固定a到b之间最散的泼法 均匀分布给你1米长的地板水必须泼在0~1之间怎么泼最散铺均匀任何地方浓度都一样 → 没有更散的可能微分熵 log₂(1) 0这是参照点如果范围是0~L均匀分布熵 log₂(L)其他任何分布中间堆一堆、两边堆一堆→ 熵更小结论范围固定 → 均匀分布熵最大 约束2方差固定σ²固定最散的泼法 高斯分布给你一杯水不限制范围但限制“晃动的幅度”方差σ²怎么泼最散正态分布任何其他分布均匀、拉普拉斯、三角...→ 熵更小高斯分布熵 ½ log₂(2πe σ²)这是给定方差下的最大熵没法更高。结论方差固定 → 高斯分布熵最大 约束3均值固定μ固定且X0最散的泼法 指数分布只能泼在正半轴x0且平均位置固定均值1/λ怎么泼最散指数分布任何其他正数分布 → 熵更小指数分布熵 log₂(e/λ)这是给定正均值下的最大熵。结论正数均值固定 → 指数分布熵最大一张表记住约束条件最大熵分布最大熵值生活比喻范围固定 [a,b]均匀分布log₂(b-a)水泼在固定长度的地板上方差固定 σ²高斯分布½ log₂(2πeσ²)水晃动的幅度固定随便放哪正数均值固定 μ指数分布log₂(e/λ)只能泼右边平均位置固定啥也不固定❌ 不存在∞无限范围熵无限大为什么这是“极值性”因为熵 不确定性 分散程度。给定约束下你越想把水集中 → 熵越小你越想把水铺开 → 熵越大最大熵分布 在约束下最“诚实”的分布你不告诉我额外信息我就假设最散、最随机、最不偏不倚的那个。生活比喻帮你记 场景1我只知道你住在这个小区小区范围固定东门到西门最大熵猜测你均匀分布在小区任何位置非说“你一定住北门” → 加了额外假设熵变小 场景2我只知道你离靶心平均偏1环方差固定脱靶幅度差不多最大熵猜测你的落点呈高斯分布非说“你一定偏左” → 加了额外假设熵变小⏳ 场景3我只知道你平均每天等公交5分钟正数均值固定最大熵猜测等待时间呈指数分布非说“你一定等3-7分钟” → 加了额外假设熵变小机器学习里的极值性 最大熵强化学习SAC算法最大化回报 微分熵熵越大探索越充分但受限于策略网络结构隐式约束 最大熵模型MaxEnt给定特征期望选熵最大的分布形式P(x) ∝ exp(λ·f(x))指数族分布都是最大熵解 为什么自然界这么多高斯分布大量独立随机变量叠加只有均值和方差稳定其他细节都模糊了中心极限定理 方差约束下的最大熵一句话暴击微分熵的极值性 给你一个笼子问哪种鸟飞得最散——范围固定 → 均匀飞振幅固定 → 高斯飞正半轴平均位置固定 → 指数飞。最大熵分布 在约束下最不偏不倚、最随机的分布。┌─────────────────────────────────────────────────────────────────────┐ │ 微 分 熵 极 值 性 一 图 通 │ │ 给定笼子哪种鸟飞得最散 约束下的最大熵分布 │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 核 心 比 喻 给 你 一 个 笼 子鸟 能 飞 多 散 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ️ ️ ️ ️ ️ │ │ │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 笼子 约 束 条 件 │ │ │ │ 范围、方差、均值、正数... │ │ │ │ │ │ │ │ 飞得多散 微 分 熵 的 大 小 │ │ │ │ 熵越大 → 越散、越随机、越不偏不倚 │ │ │ │ │ │ │ │ 极值性 在 这 个 笼 子 里哪 种 飞 法 熵 最 大 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 三 大 经 典 极 值 分 布 背 这 张 表 就 够 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────┬───────────────┬──────────────┬─────────────────┐ │ │ │ 约束条件 │ 最大熵分布 │ 最大熵值 │ 生活比喻 │ │ │ │ (笼子) │ (怎么飞) │ (多散) │ │ │ │ ├─────────────┼───────────────┼──────────────┼─────────────────┤ │ │ │ │ │ │ │ │ │ │ 范围固定 │ 均 匀 分 布 │ log₂(b-a) │ 水泼在固定长度 │ │ │ │ [a,b] │ Uniform │ 比特 │ 的地板上 │ │ │ │ │ │ │ 必须在这段里 │ │ │ ├─────────────┼───────────────┼──────────────┼─────────────────┤ │ │ │ │ │ │ │ │ │ │ 方差固定 │ 高 斯 分 布 │ ½log₂(2πeσ²)│ 水晃动的幅度 │ │ │ │ σ² │ Gaussian │ 比特 │ 固定不限制 │ │ │ │ │ │ │ 泼在哪 │ │ │ ├─────────────┼───────────────┼──────────────┼─────────────────┤ │ │ │ │ │ │ │ │ │ │ 正数 │ 指 数 分 布 │ log₂(e/λ) │ 只能泼在右边 │ │ │ │ 均值固定 μ │ Exponential │ 比特 │ 平均位置固定 │ │ │ │ (X0) │ │ │ 不能泼左边 │ │ │ │ │ │ │ │ │ │ └─────────────┴───────────────┴──────────────┴─────────────────┘ │ │ │ │ 还 有 其 他 约 束 │ │ • 已知均值和方差 → 高斯同上 │ │ • 已知几何均值固定 → 对数正态不是帕累托不重要 │ │ • 已知峰值固定 → 柯西不其实柯西熵无限大... │ │ 记住三大经典就够 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 视 觉 化 · 为 什 么 它 们 是 最 散 的 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 范 围 固 定 [0,1] │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 均匀分布 ██████████████████████████████ 熵0.00 │ │ │ │ 三角分布 ████ ████████ ████ 熵≈-0.21 │ │ │ │ 两边堆 ██████████ ██████████ 熵≈-0.31 │ │ │ │ │ │ │ │ 均匀分布“不偏袒任何位置” → 熵最大 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ │ 方 差 固 定 σ²1 │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 高斯分布 ╭──╮ 熵≈2.05 │ │ │ │ ╭╯ ╰╮ │ │ │ │ ╭╯ ╰╮ 均匀分布 ╭────╮ 熵≈1.79 │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ 高斯分布“尾巴拖得更长” → 同样方差下更散 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ │ 正 数 均 值 固 定 μ1 │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 指数分布 ╲ │ │ │ │ ╲ 熵≈1.44 │ │ │ │ ╲ │ │ │ │ ╲ 均匀[0,2] ╭──╮ 熵1.00 │ │ │ │ ╲ │ │ │ │ │ │ │ │ │ │ 指数分布“拖更长的尾” → 同样均值下更散 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 反 面 案 例 · 怎 样 让 熵 变 小 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 你 加 了 额 外 假 设 偏 见 │ │ │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 范围固定[0,1] │ │ │ │ “我猜你一定住在北门” → 集中分布 → 熵↓ │ │ │ │ │ │ │ │ 方差固定 │ │ │ │ “我猜你一定偏左” → 偏态分布 → 熵↓ │ │ │ │ │ │ │ │ 正数均值固定 │ │ │ │ “我猜你一定在3-7分钟” → 截断分布 → 熵↓ │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ │ 最 大 熵 最 诚 实、最 不 偏 不 倚 │ │ 你只知道约束其他啥都不知道 → 选最大熵分布 │ │ 你加了额外信息 → 熵变小不确定性降低 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 机 器 学 习 里 的 极 值 性 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 最 大 熵 强 化 学 习 SAC │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ • 目标 最大化 回报 α·微分熵 │ │ │ │ • 熵越大 → 探索越充分 │ │ │ │ • 策略网络结构是隐式约束 │ │ │ │ • SAC的policy天然倾向于高斯连续动作 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ │ 最 大 熵 模 型 MaxEnt │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ • 给定特征期望选熵最大的分布 │ │ │ │ • 解的形式P(x) ∝ exp(λ·f(x)) │ │ │ │ • 指数族分布都是最大熵解 │ │ │ │ • 逻辑回归 最大熵分类器 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ │ 中 心 极 限 定 理 的 另 一 面 │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ • 大量独立随机变量之和 │ │ │ │ • 只有均值和方差稳定 │ │ │ │ • 其他细节都模糊了 │ │ │ │ • 所以自然界到处都是高斯分布 │ │ │ │ • 本质方差约束下的最大熵分布 │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 极 端 情 况 · 啥 也 不 固 定 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ ️ 没 有 笼 子 │ │ │ │ ┌─────────────────────────────────────────────────────────────┐ │ │ │ │ │ │ │ 约束条件无 │ │ │ │ 最大熵分布不存在 │ │ │ │ 最大熵值∞ │ │ │ │ │ │ │ │ 没有笼子鸟可以飞到无穷远 │ │ │ │ 你可以把水泼到无限大的地板上 │ │ │ │ 熵可以无限大 → 没有最大值 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────┘ │ │ │ │ 必 须 有 约 束 才 有 极 值 │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 总 结 · 三 句 话 背 完 极 值 性 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 1️⃣ │ │ ┌─────────────────────────────────────────────────────┐ │ │ │ 范围固定 → 均匀分布 → 熵 log₂(范围) │ │ │ └─────────────────────────────────────────────────────┘ │ │ │ │ 2️⃣ │ │ ┌─────────────────────────────────────────────────────┐ │ │ │ 方差固定 → 高斯分布 → 熵 ½ log₂(2πeσ²) │ │ │ └─────────────────────────────────────────────────────┘ │ │ │ │ 3️⃣ │ │ ┌─────────────────────────────────────────────────────┐ │ │ │ 正数均值固定 → 指数分布 → 熵 log₂(e/λ) │ │ │ └─────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 一 句 话 暴 击 记 这 句 就 够 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ │ │ │ │ 微分熵的极值性 │ │ “给你一个笼子问哪种鸟飞得最散”—— │ │ │ │ 范围固定 → 均匀飞均匀分布 │ │ 振幅固定 → 高斯飞正态分布 │ │ 正半轴平均位置固定 → 指数飞指数分布。 │ │ │ │ 最大熵分布 在约束下最不偏不倚、 │ │ 最随机、最诚实的分布。 │ │ │ │ 你加偏见 → 熵变小 │ │ 你只给约束 → 熵最大。 │ │ │ │ │ │ │ └─────────────────────────────────────────────────────────────────────┘ ┌─────────────────────────────────────────────────────────────────────┐ │ █ 附为 什 么 这 些 分 布 是 解 选 看 │ ├─────────────────────────────────────────────────────────────────────┤ │ │ │ 泛 函 极 值 问 题 │ │ │ │ 目标最大化 h(X) -∫ f(x) log f(x) dx │ │ 约束∫ f(x) dx 1归一化 │ │ 其他约束范围、方差、均值... │ │ │ │ 只加归一化约束 │ │ → 解是均匀分布但在无界区域不成立 │ │ │ │ 加方差约束 │ │ → 拉格朗日法 → f(x) ∝ exp(-λx²) → 高斯 │ │ │ │ 加正数均值约束 │ │ → f(x) ∝ exp(-λx) (x0) → 指数分布 │ │ │ │ 指 数 族 分 布 都 是 最 大 熵 解 │ │ │ └─────────────────────────────────────────────────────────────────────┘