限峰功率最大熵定理的理论推导和MATLAB仿真实现（P124302075刘家隆）

限峰功率最大熵定理的理论推导和MATLAB仿真实现P124302075刘家隆前言本定理针对幅值被限制在有限区间的连续随机变量仅以取值范围作为约束条件证明区间均匀分布是该约束下微分熵最大的分布同时给出均匀分布微分熵的直接推导式揭示有限幅度信号的信息不确定性上界是连续信源最大熵理论的基础结论。一、限峰功率最大熵定理对于定义域有限幅度受限的随机变量X当它是均匀分布时具有最大熵二、理论推导设 p(x) 为任意满足∫abp(x)dx1\int_a^b p(x)dx 1∫ab​p(x)dx1的概率密度函数设q(x)1b−aq(x)\frac{1}{b-a}q(x)b−a1​为均匀分布。根据相对熵的非负性D≥0D \ge 0D≥0当且仅当 pq 取等号DKL(p∥q)∫abp(x)log⁡p(x)q(x)dx≥0D_{KL}(p \| q) \int_a^b p(x) \log \frac{p(x)}{q(x)} dx \ge 0DKL​(p∥q)∫ab​p(x)logq(x)p(x)​dx≥0展开并代入q(x)q(x)q(x)∫abp(x)log⁡p(x)dx−∫abp(x)log⁡q(x)dx≥0\int_a^b p(x)\log p(x) dx - \int_a^b p(x)\log q(x) dx \ge 0∫ab​p(x)logp(x)dx−∫ab​p(x)logq(x)dx≥0由于−H(p)∫plog⁡p dx-H(p) \int p\log p \, dx−H(p)∫plogpdx且log⁡q(x)−log⁡(b−a)\log q(x) -\log(b-a)logq(x)−log(b−a)上式变为−H(p)−∫abp(x)[−log⁡(b−a)]dx≥0-H(p) - \int_a^b p(x) [-\log(b-a)] dx \ge 0−H(p)−∫ab​p(x)[−log(b−a)]dx≥0−H(p)log⁡(b−a)∫abp(x)dx≥0-H(p) \log(b-a) \int_a^b p(x) dx \ge 0−H(p)log(b−a)∫ab​p(x)dx≥0因∫p1\int p 1∫p1移项即得H(p)≤log⁡(b−a)H(p) \le \log(b-a)H(p)≤log(b−a)当且仅当p(x)q(x)1/(b−a)p(x)q(x)1/(b-a)p(x)q(x)1/(b−a)时等号成立。三、MATLAB仿真实现1.仿真代码2.仿真结果3.结果分析为什么选用截断高斯分布和三角分布做对比这是因为截断高斯分布代表“向中心聚集”中间概率高两边低三角分布代表“向一侧偏移”或“向边缘聚集”。如果这两种截然不同的“不均匀”形态计算出的熵都低于均匀分布就能强有力地证明只要偏离平坦信息量就会下降。从仿真结果图像可以看出三角分布、截断高斯分布概率大量堆积在区间中间两端出现概率极低随机变量更大概率落在中心小区间不确定性小而均匀分布区间内所有点概率完全相同没有任何区域更容易出现随机变量落点完全无偏向不确定性最大对应熵值最大。总结在幅值受限时均匀分布的混乱度最大对应微分熵最大值为log⁡(b−a)\log(b-a)log(b−a)。任何其他分布例如有峰时都会损失信息量使熵值减小。