softmax

softmax计算2022-03-11

\begin{matrix} (1) & \begin{aligned} \frac{e^{x - C}}{\sum e^{x - C}} & = \frac{e^{x} \cdot e^{C}}{\sum e^{x} \cdot e^{C}} = \frac{e^{x}}{\sum e^{x}} \\ 其 中 ， C & = m a x (x) \end{aligned} \end{matrix}


x
1
def softmax1(x):
2
    '''
3
    原始softmax
4
    '''
5
    f_x = np.exp(x) / np.sum(np.exp(x))
6
    return f_x
7

8

9
def softmax2(x):
10
    '''
11
    优化版softmax
12
    '''
13
    y = np.exp(x - np.max(x))
14
    f_x = y / np.sum(y)
15
    return f_x
16

17
softmax2([1, 20, 300000])

softmax函数