Cross Entropy vs Cross Entropy Loss

这俩是有区别的，我一直没有注意直到我发现公式上的区别。我没有注意的原因应该是 regression 没有显式使用 cross entropy loss，而 classification 的 cross entropy loss 是对原生 cross entropy 的扩展。

假设有两个 probability distributions:

• $P=\{p_1,p_2,\dots ,p_n\}$
  • $\sum _i{p}_i=1$
• $Q=\{q_1,q_2,\dots ,q_n\}$
  • $\sum _i{q}_i=1$

The cross entropy of distribution $P$ and $Q$ is

但在 classification 问题下，这个 $P$ 和 $Q$ 不一定是 probability distributions，比方说 (假设 binary classification)：

• $P$ 可以是 labels，比如 $P=\{1,1,0\}$
• $Q$ 可以是 predictions，比如 $Q=\{0.9,0.8,0.4\}$
  • 也就是说 $\sum _i{p}_i=1$ 和 $\sum _i{q}_i=1$ 也不一定成立了

我们接着定义：

• $\bar{P}=\{1-p_1,1-p_2,\dots ,1-p_n\}$
  • 也就是反向的 labels，比如 $\bar{P}=\{0,0,1\}$
• $\bar{Q}=\{1-q_1,1-q_2,\dots ,1-q_n\}$
  • 也就是反向的 predictions，比如 $\bar{Q}=\{0.1,0.2,0.6\}$

那么 binary cross entropy loss 就可以定义为：

这也就是常见的写法：