Home Blogs Readings Notes Jupyter Seafile

常用损失函数和激活函数及导数

14 Mar 2018

Table of Contents

最常用的:

1. LogisticRegression

将上面的函数拼一起:

2 softmax

3 cross entroy with softmax

softmax作为输出层,在计算loss的时候通常和交叉熵连用。交叉熵主要是用来衡量两个概率分布之间概率差异大小的。是除了均方差外另一个 用的比较多的loss评价。

4 sigmoid, tanh

Ref:

LR

softmax

softmax cross entropy loss

ReLU, PReLU,ELU, SoftPlus

-->
Fork me on GitHub