몽이몽이몽몽이의 블로그 몽이몽이몽몽이의 블로그

Softmax Softmax function은 Neural network의 최상위층에 사용하여 Classification을 위한 function으로 사용한다. NN의 최상위 계층에 사실 Sigmoid function을 사용하여 실제값과 출력값을 차이를 error function으로 사용해도 된다. 하지만 Softmax function을 사용하는 주요한 이유는 결과를 확률값으로 해석하기 위함이다. 위 그림을 보면 입력된 데이터가 히든레이어를 거쳐 마지막층에서 softmax function을 사용해 입력된 데이터가 y1인지 y2인지 y3인지 분류한다. 이러한 입력된 데이터를 바탕으로 입력된 데이터가 특정 분류가 될 확률을 계산하여 분류할 수 있도록 한다. 즉 y1이 나올 확률, y2가 나올 확률, y3가 나..

1. Dropout, Dropconnection, Droplayer(residual network)2. Backpropagation, up-propagation3. LSTM, GRU 4. generating model5. pretraining6. alexnet, googlenet tensorflow로 구현해보기

Dropout Dropout은 딥러닝 학습에 있어서의 문제중 하나인 Overfitting을 해소하기 위한 방법이다. 요약하자면 hidden layer의 일부 유닛이 동작하지 않게 하여 overfitting 되는 것을 막는 방법이다. 1. Overfitting오버피팅이란 모델이 학습데이터(training data)에 대해서 지나치게 훈련되어 실험데이터(test data)에 대해서는 결과가 않좋은 경우이다. Overfitting된 상황을 이해하기 쉽도록 다음 아래 그림을 보자. 빨간색 점과 파란색 점을 분류하는 모델을 학습시켰다고 할 때, 학습이 잘 이루어진 경우 검은색 선과 같이 파란색 점과 빨간색 점을 나눈 경우 일 것이다. 그러나 학습데이터에 대해 지나치게 fitting이 일어났을 경우 녹색 선과같이 ..

ReLu(Rectified Linear Unit) ReLu는 Rectified Linear Unit의 약자로 해석해보면 정류한 선형 유닛이라고 해석할 수 있다. ReLu를 Activation function이 발표된지는 오래되었다. ReLu는 Nature지에 Hahnloser가 발표한 dynamical network에서 처음 소개되었다. 그러나 현재처럼 Neural Network에서 주된 activation function으로 사용된지는 오래되지 않았다. Neural Network를 처음배울 때 activation function으로 sigmoid function을 사용한다. sigmoid function이 연속이여서 미분가능한점과 0과 1사이의 값을 가진다는 점 그리고 0에서 1로 변하는 점이 가파르기..

Monte Carlo Tree Search 알고리즘(MCTS) 1. 개요 MCTS는 주로 게임 AI에서 사용되는 알고리즘이다. 이 알고리즘은 최근에 알파고에 사용되었다. 현재 이 MCTS 알고리즘은 바둑, 체스, 오셀로 등의 모든 보드 게임 알고리즘에서 사용되고 있다. MCTS는 시뮬레이션을 통해 가장 승률이 좋은 행동을 하도록 하는 알고리즘이다.MCTS는 각 상태에서 움직일 수 있는 곳이 정해져 있어야 한다. MCTS는 이름이 말해주듯이 "game tree" 안에서 작동한다. 알고리즘의 시작은 이 트리의 루트노드로 부터 시작되며 자식노드는 새로운 게임 상태에 대한 정보를 나타낸다. 2. MCTS의 조건 MCTS는 다음 3가지 조건을 만족할 때 사용가능하다. 1) 최대, 최소 값이 존재2) 게임 규칙의 ..

Background 딥러닝의 모델에는 RBM, DBN, CNN, RNN, DBM, DA 등의 모델이 존재한다. 이 모델들은 역할에 따라서 Discrimination 모델과 Generating 모델로 나뉘어 진다. Discrimination 모델은 데이터와 각 데이터에 해당하는 label을 기반으로 새로운 데이터가 어떠한 label 일지를 분류하는 모델이라고 할 수 있다. 예를 들어 이미지인식을 하는 경우 어떤 이미지가 무엇인지를 분류하는 것은 Discrimination 모델을 통해 이루어진다고 할 수 있다. 반면에 Gernerating 모델은 기존의 데이터를 기반으로 새로운 데이터를 생성하는 모델이라고 할 수 있다. 동영상을 보고 각 화면을 글로 표시하는 것은 Generating 모델을 통해 이루어진다...

Extracting Typical User's Moving Patterns Using Deep Learning딥러닝을 사용한 사람들의 이동패턴의 추출 Globecom 2012 - Wireless Networking Sysposium Nam Tuan Nguyen, Yichuan Wang, Husheng Li, Xin Liu, Zhu HanECS Department, University of Houston, Houston, TXCS Department, University of California, Davis, CAEECS Department, University of Tennessee, Knoxville, TN Abstract 여러 GPS 장치들이 스마트폰으로 통합되었을 때, 연구원들은 거대한 위치 데이터..

Activation function Activation function은 말 글대로 활성함수로 각 뉴런에 입력된 데이터에 대한 뉴런의 출력이다. 예를 들어, Neural Network에서는 한 노드는 inputs과 각 weights과의 곱을 모두 더한 값을 입력받는다. 받아들인 이 값이 Activation function을 지난 값이 이 뉴런이 출력한 output이다. 1. activation function의 종류 Activation function의 위의 그림처럼 여러 종류가 존재한다. 신경망 초기에는 그림(b)와 같이 입력값이 어느정도에 도달해야만 값을 출력하도록하는 step function을 사용했다. 하지만 step function은 미분이 불가능하기 때문에 gradient descent를 통한..