Softmax Function

\[0 \le \mathit{P}_i(x_1,x_2) \le 1 \quad (i = 1,2,3) \\ \\ \mathit{P}_1(x_1,x_2) + \mathit{P}_2(x_1,x_2) + \mathit{P}_2(x_1,x_2) = 1 \\ \\ f_i(x_1,x_2) > f_j(x_1,x_2) \Rightarrow \mathit{P}_i(x_1,x_2) > \mathit{P}_j(x_1,x_2) \quad (i,j = 1,2,3) \\ \\ P_i(x_1,x_2) = \frac{e^{f_i(x_1,x_2)}}{e^{f_1(x_1,x_2)} + e^{f_2(x_1,x_2)} + e^{f_3(x_1,x_2)}} \quad (i = 1,2,3)\]

좌표 $ (x_1,x_2,\cdots,x_M) $ 을 가진 M차원 공간을 K개의 영역으로 분류할 경우 먼저, 총 K개의 1차 함수를 준비한다.

\[f_k(x_1,\cdots,x_M) = w_{0k} + w_{1k}x_1 + \cdots + w_{Mk}x_M \quad (k = 1,\cdots,K)\]

그리고 점 $ (x_1,x_2,\cdots,x_M) $ 이 k번째 영역에 있을 확률은 softmax 함수를 이용해 다음식으로 표현된다.

\[P_k(x_1,\cdots,x_M) = \frac{ e^{f_k(x_1,\cdots,x_M)} }{ \displaystyle\sum_{k'=1}^{K} e^{f_{k'}(x_1,\cdots,x_M)} }\]