损失函数 LOSS function¶

1. 0-1 损失
2. 绝对损失
3. 平方损失

对概率分布求损失

1. 对数损失
2. 交叉熵损失
3. KL散度 KL-divergence $$ D_{KL}(P||Q) = \sum_{x\in X} P(x) \log \frac{P(X)}{Q(X)} $$
4. JS散度 JS-divergence $$ JS(P||Q) = \frac{1}{2} KL(P|| \frac{P+Q}{2}) + \frac{1}{2} KL(Q|| \frac{P+Q}{2})$$
5. f散度 $$ D_{f}(P||Q) = \sum_{x\in X} P(x) f \frac{P(X)}{Q(X)} $$
6. Wasserstein 距离, 又名推土机距离 Earch Mover's distance， 如图所示：