熵速率定义与各类熵的关系

timerring

发布于 2023-02-24 09:07:32

3190

发布于 2023-02-24 09:07:32

文章被收录于专栏：TechBlogTechBlog

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

熵速率 (entropy rate)

定义：一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为

H=\lim _{n \rightarrow \infty} H(X_{n} \mid X_{1}, X_{2}, \ldots, X_{n-1})

具有记忆性的信源的熵速率定义为

H=\lim _{n \rightarrow \infty} \frac{1}{n} H\left(X_{1}, X_{2}, \ldots, X_{n}\right)

Example 两个二进制随机变量

\mathbf{X}

和

\mathbf{Y}

, 其联合分布为 p(X=Y=0) = p( X=0, Y=1) = p( X=Y=1) = 1/3 。计算

H(X)

H(Y)

H(X \mid Y)

H(Y \mid X)

, and

H(X, Y)

。 Solution:

\begin{array}{l} p(X=0)=p(X=0, Y=0)+p(X=0, Y=1)=\frac{2}{3} \\ p(X=1)=p(X=1, Y=0)+p(X=1, Y=1)=\frac{1}{3} \\ p(Y=0)=p(X=0, Y=0)+p(X=1, Y=0)=\frac{1}{3} \\ p(Y=1)=p(X=0, Y=1)+p(X=1, Y=1)=\frac{2}{3} \\ H(X)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \quad H(Y)=\frac{1}{3} \log 3+\frac{2}{3} \log \frac{3}{2}=0.9183 \\ H(X, Y)=\sum_{i=1}^{n} p(X, Y) \log (X, Y)=\log 3=1.585 \\ H(X \mid Y)=H(X, Y)-H(Y)=0.6667 \quad H(Y \mid X)=H(X, Y)-H(X)=0.6667 \end{array}

各类熵的关系

条件熵不大于信息熵

熵的不增原理:

H(Y / X) \leq H(Y)

联合熵不大于个信息熵的和，即

H\left(X_{1} X_{2} \ldots X_N\right) \leq \sum_{i=1}^{N} H\left(X_{i}\right)

仅当各

X_{i}

相互独立时, 等号成立。

H(X Y)=H(X)+H(Y \mid X)=H(Y)+H(X \mid Y)

H(X) \geq H(X \mid Y) ; H(Y) \geq H(Y \mid X)

本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2023-02-23，如有侵权请联系 cloudcommunity@tencent.com 删除

github

markdown

theory

本文分享自作者个人站点/博客?前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ，欢迎热爱写作的你一起参与！

github

markdown

theory

登录后参与评论

0 条评论

热度