熵

信息熵:

$$H(X)=-\sum_{i=1}^n p_i\log_2p_i$$

解释:

可能性由0,1,2,...组成(a种可能),有n位,就有$a^n$种组合,如果变为线性的话就要取对数.

比如:$A=\{ \frac{1}{2},\frac{1}{4},\frac{1}{8},\frac{1}{8}\}$ 那么,$H(A)=\log_2\frac{1}{2}\times\frac{1}{2}+\log_2\frac{1}{4}\times\frac{1}{4}+\log_2\frac{1}{8}\times\frac{1}{8}+\log_2\frac{1}{8}\times\frac{1}{8}=1.75$

H(X)本质上也是函数,最后能够得到一个确切的数值.

联合熵和条件熵

1. 联合熵 同时知道了事件X,Y,它所蕴含的信息熵.

$$H(X,Y)=-\sum_{x\in X}\sum_{y\in Y}p(x,y)log_2p(x,y)$$

2. 条件熵 在已经知道了事件X,知道事件Y蕴含的信息熵

$$H(Y|X)=-\sum_{x\in X}\sum_{y\in Y}p(x,y)log_2p(y|x)$$

关系:

$$H(X,Y)=H(Y|X)+H(X)$$

信息增益

信息增益是一种度量两个给定随机变量之间的差异的指标。信息增益表示的是使得数据集的经验熵降低的程度。

$$\begin{aligned} I(X,Y) &= \sum_{x\in X} \sum_{y\in Y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)} \\ &= H(X) - H(X|Y)\\ &= H(Y)-H(Y|X) \end{aligned}$$