常见损失函数 - 距离标准

1. 平方损失函数:

$$L(y, \hat{y}) = \frac{1}{2}(y - \hat{y})^2$$

2. 绝对损失函数:

$$L(y, \hat{y}) = |y - \hat{y}|$$

熵的标准

1. 对数损失函数

$$L(w) = - \frac{1}{m} \sum_{i=1}^{m} \{ y_i \log(g(\mathbf{w}^T \cdot \mathbf{x}_i)) + (1 - y_i) \log(1 - g(\mathbf{w}^T \cdot \mathbf{x}_i)) \}$$

$g$为sigmoid激活函数,$m$为样本数

2. 交叉熵损失函数(多用于多分类问题) 一般使用softmax函数替代.

$$L(w) = - \frac{1}{m} \sum_{i=1}^{m} \sum_{j=1}^{n} p_{ij} \log(q_{ij})$$

什么是熵

熵是信息论中一个重要概念，它表示随机变量的不确定性。

1. 信息熵:$$H=-\sum_{i=1}^n p_i \log_2 p_i$$

2. 相对熵(KL散度)

用于衡量两个概率分布的相似性

$$D_{KL}(p||q)=\sum_{i=1}^n p_i \log_2 \frac{p_i}{q_i}$$

3. 交叉熵(交叉熵损失函数)

$$L(p,q)=-\sum_{i=1}^n p_i \log_2 q_i$$

相互关系:$$ \begin{aligned} D_{KL}(p||q) &= \sum_{i=1}^n p(x_i)\log_2 \frac{p(x_i)}{q(x_i)} \ &= \sum_{i=1}^n p(x_i)\log_2 p(x_i) - \sum_{i=1}^n p(x_i)\log_2 q(x_i) \ &= L(p,q) - H(p) \end{aligned}$$

---

经验风险最小化原则

$$\mathbf{w^*}=\arg\min_{\mathbf{w}} \frac{1}{N}\sum_{i=1}^N L(y_i, f(\mathbf{x}_i,\mathbf{w}))+\lambda R(\mathbf{w})$$

其中$L(y_i, f(\mathbf{x}_i,\mathbf{w}))$是损失函数，$f(\mathbf{x}_i,\mathbf{w})$是模型输出，$y_i$是样本标签，$\lambda$是正则化参数，$R(\mathbf{w})$是正则化项。