몽이몽이몽몽이의 블로그 몽이몽이몽몽이의 블로그

Softmax Softmax function은 Neural network의 최상위층에 사용하여 Classification을 위한 function으로 사용한다. NN의 최상위 계층에 사실 Sigmoid function을 사용하여 실제값과 출력값을 차이를 error function으로 사용해도 된다. 하지만 Softmax function을 사용하는 주요한 이유는 결과를 확률값으로 해석하기 위함이다. 위 그림을 보면 입력된 데이터가 히든레이어를 거쳐 마지막층에서 softmax function을 사용해 입력된 데이터가 y1인지 y2인지 y3인지 분류한다. 이러한 입력된 데이터를 바탕으로 입력된 데이터가 특정 분류가 될 확률을 계산하여 분류할 수 있도록 한다. 즉 y1이 나올 확률, y2가 나올 확률, y3가 나..

ReLu(Rectified Linear Unit) ReLu는 Rectified Linear Unit의 약자로 해석해보면 정류한 선형 유닛이라고 해석할 수 있다. ReLu를 Activation function이 발표된지는 오래되었다. ReLu는 Nature지에 Hahnloser가 발표한 dynamical network에서 처음 소개되었다. 그러나 현재처럼 Neural Network에서 주된 activation function으로 사용된지는 오래되지 않았다. Neural Network를 처음배울 때 activation function으로 sigmoid function을 사용한다. sigmoid function이 연속이여서 미분가능한점과 0과 1사이의 값을 가진다는 점 그리고 0에서 1로 변하는 점이 가파르기..

Activation function Activation function은 말 글대로 활성함수로 각 뉴런에 입력된 데이터에 대한 뉴런의 출력이다. 예를 들어, Neural Network에서는 한 노드는 inputs과 각 weights과의 곱을 모두 더한 값을 입력받는다. 받아들인 이 값이 Activation function을 지난 값이 이 뉴런이 출력한 output이다. 1. activation function의 종류 Activation function의 위의 그림처럼 여러 종류가 존재한다. 신경망 초기에는 그림(b)와 같이 입력값이 어느정도에 도달해야만 값을 출력하도록하는 step function을 사용했다. 하지만 step function은 미분이 불가능하기 때문에 gradient descent를 통한..