基尼系数

$$\begin{align*} Gini(p) &= \sum_{i=1}^{n}p_i(1-p_i) \\ &= \sum_{i=1}^{n}p_i - \sum_{i=1}^{n}p_i^2 \\ &= 1 - \sum_{i=1}^{n}p_i^2 \end{align*}$$

其中，$p_i$表示第$i$个类别在样本中的占比

import numpy as np
from matplotlib import pyplot as plt

def gini(p):
    return 1 - p ** 2 - (1 - p) ** 2
def entropy(p):
    return -p*np.log2(p)-(1-p)*np.log2(1-p)
plot_x = np.linspace(0.001,0.999,100)
plt.plot(plot_x,gini(plot_x),color='red')
plt.plot(plot_x,entropy(plot_x),color='blue')
plt.show()

在上面的图中,我们发现整体走势基本相同.

基尼系数和信息熵 基本相同,只是在物理意义上有些许出入.

# 和上一节出入不大,只是把计算方法稍微修改