21.信息熵
约 339 字大约 1 分钟
2025-09-20
熵
信息熵:
H(X)=−i=1∑npilog2pi
解释:
可能性由0,1,2,...组成(a种可能),有n位,就有an种组合,如果变为线性的话就要取对数.
比如:A={21,41,81,81} 那么,H(A)=log221×21+log241×41+log281×81+log281×81=1.75
H(X)本质上也是函数,最后能够得到一个确切的数值.
联合熵和条件熵
- 联合熵 同时知道了事件X,Y,它所蕴含的信息熵.
H(X,Y)=−x∈X∑y∈Y∑p(x,y)log2p(x,y)
- 条件熵 在已经知道了事件X,知道事件Y蕴含的信息熵
H(Y∣X)=−x∈X∑y∈Y∑p(x,y)log2p(y∣x)
关系:
H(X,Y)=H(Y∣X)+H(X)
信息增益
信息增益是一种度量两个给定随机变量之间的差异的指标。信息增益表示的是使得数据集的经验熵降低的程度。
I(X,Y)=x∈X∑y∈Y∑p(x,y)logp(x)p(y)p(x,y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)


