📚Softmax与Cross Entropy Loss的数学之美🚀

在深度学习中，Softmax 和 Cross Entropy Loss 是一对黄金搭档，它们常常携手出现在分类任务中。今天就来聊聊它们背后的数学逻辑吧！🧐

首先，Softmax 函数将模型输出映射到概率分布上，公式为：

\[ \sigma(z)_j = \frac{e^{z_j}}{\sum_k e^{z_k}} \]

它能让每个类别的预测值直观地表示为概率值，且所有概率和为1。💕

接着是 Cross Entropy Loss，它的作用是衡量预测概率分布与真实标签之间的差距：

\[ L = -\sum_i y_i \log(\hat{y}_i) \]

其中 \(y_i\) 是真实标签的概率（通常是0或1），而 \(\hat{y}_i\) 是预测值的概率。当预测准确时，损失接近于0；反之则增大。🔥

别担心复杂的求导过程，其实它们的导数公式并不难记：

- Softmax 对输入 \(z_j\) 的偏导数为：\[ \frac{\partial \sigma(z)_j}{\partial z_j} = \sigma(z)_j (1 - \sigma(z)_j) \]

- Cross Entropy Loss 对 Softmax 输出的偏导数为：\[ \frac{\partial L}{\partial \hat{y}_i} = -\frac{y_i}{\hat{y}_i} \]

通过这些公式，神经网络可以不断优化权重，从而提升预测能力！🌟

掌握这些基础知识后，你会发现机器学习的世界更加清晰明亮！💪✨

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！