몽이몽이몽몽이의 블로그 몽이몽이몽몽이의 블로그

SVD SVD(Singular Value Decomposition)는 행렬을 특정한 구조로 분해하는 방식으로, 신호처리와 통계학 등의 분야에서 자주 사용된다.SVD는 행렬의 스펙트럼 이론을 임의의 직사각형 행렬에 대해 일반화한 것으로 볼 수 있다. 스펙트럼을 이용하면 직교 정사각행렬을 고유값을 기저로 하여 대각행렬로 분해할 수 있다. 이러한 특이값 분해가 유용한 이유는 행렬이 정방행렬이든 아니든 모든 m x n행렬에 대해 적용가능하기 때문이다. 0. 특이값 m x n 행렬 M에 대해 다음 두 조건을 만족하는 벡터 와가 존재할 때, 음수가 아닌 실수 를 특이값이라 부른다.또한 u와 v를 각각 좌측 특이벡터와 우측 특이 벡터라 부른다. 1. SVM (특이값 분해) 실수나 복소수로 이루어진 m x n 행렬 M..

Precision / Recall Precision과 Recall을 해석하면 정밀도(정확도)와 재현률로 해석할 수 있다. Precision과 Recall은 두개 이상의 Database Schema를 비교할 때 Schema Match의 품질을 측정하기 위해 사용하는 방법이다. Precision은 검색된 결과 중 관련 있는 것으로 분류된 결과물의 비율이고, Recall은 관련 있는 것으로 분류된 항목들 중 실제 검색된 항목들의 비율이다. 이것을 수식으로 표현해보면 다음과 같다: 통계적인 측면에서 본다면 다음과 같을 것이다. 위의 표는 분류의 결과를 표로 나타낸 것이다. Precision의 경우는 실험결과가 positive인 모든 결과 중에 실제 정답인 경우 이므로 다음과 같다: 반면에 Recall의 경우는 ..

Softmax Softmax function은 Neural network의 최상위층에 사용하여 Classification을 위한 function으로 사용한다. NN의 최상위 계층에 사실 Sigmoid function을 사용하여 실제값과 출력값을 차이를 error function으로 사용해도 된다. 하지만 Softmax function을 사용하는 주요한 이유는 결과를 확률값으로 해석하기 위함이다. 위 그림을 보면 입력된 데이터가 히든레이어를 거쳐 마지막층에서 softmax function을 사용해 입력된 데이터가 y1인지 y2인지 y3인지 분류한다. 이러한 입력된 데이터를 바탕으로 입력된 데이터가 특정 분류가 될 확률을 계산하여 분류할 수 있도록 한다. 즉 y1이 나올 확률, y2가 나올 확률, y3가 나..

Dropout Dropout은 딥러닝 학습에 있어서의 문제중 하나인 Overfitting을 해소하기 위한 방법이다. 요약하자면 hidden layer의 일부 유닛이 동작하지 않게 하여 overfitting 되는 것을 막는 방법이다. 1. Overfitting오버피팅이란 모델이 학습데이터(training data)에 대해서 지나치게 훈련되어 실험데이터(test data)에 대해서는 결과가 않좋은 경우이다. Overfitting된 상황을 이해하기 쉽도록 다음 아래 그림을 보자. 빨간색 점과 파란색 점을 분류하는 모델을 학습시켰다고 할 때, 학습이 잘 이루어진 경우 검은색 선과 같이 파란색 점과 빨간색 점을 나눈 경우 일 것이다. 그러나 학습데이터에 대해 지나치게 fitting이 일어났을 경우 녹색 선과같이 ..

ReLu(Rectified Linear Unit) ReLu는 Rectified Linear Unit의 약자로 해석해보면 정류한 선형 유닛이라고 해석할 수 있다. ReLu를 Activation function이 발표된지는 오래되었다. ReLu는 Nature지에 Hahnloser가 발표한 dynamical network에서 처음 소개되었다. 그러나 현재처럼 Neural Network에서 주된 activation function으로 사용된지는 오래되지 않았다. Neural Network를 처음배울 때 activation function으로 sigmoid function을 사용한다. sigmoid function이 연속이여서 미분가능한점과 0과 1사이의 값을 가진다는 점 그리고 0에서 1로 변하는 점이 가파르기..

Monte Carlo Tree Search 알고리즘(MCTS) 1. 개요 MCTS는 주로 게임 AI에서 사용되는 알고리즘이다. 이 알고리즘은 최근에 알파고에 사용되었다. 현재 이 MCTS 알고리즘은 바둑, 체스, 오셀로 등의 모든 보드 게임 알고리즘에서 사용되고 있다. MCTS는 시뮬레이션을 통해 가장 승률이 좋은 행동을 하도록 하는 알고리즘이다.MCTS는 각 상태에서 움직일 수 있는 곳이 정해져 있어야 한다. MCTS는 이름이 말해주듯이 "game tree" 안에서 작동한다. 알고리즘의 시작은 이 트리의 루트노드로 부터 시작되며 자식노드는 새로운 게임 상태에 대한 정보를 나타낸다. 2. MCTS의 조건 MCTS는 다음 3가지 조건을 만족할 때 사용가능하다. 1) 최대, 최소 값이 존재2) 게임 규칙의 ..

Background 딥러닝의 모델에는 RBM, DBN, CNN, RNN, DBM, DA 등의 모델이 존재한다. 이 모델들은 역할에 따라서 Discrimination 모델과 Generating 모델로 나뉘어 진다. Discrimination 모델은 데이터와 각 데이터에 해당하는 label을 기반으로 새로운 데이터가 어떠한 label 일지를 분류하는 모델이라고 할 수 있다. 예를 들어 이미지인식을 하는 경우 어떤 이미지가 무엇인지를 분류하는 것은 Discrimination 모델을 통해 이루어진다고 할 수 있다. 반면에 Gernerating 모델은 기존의 데이터를 기반으로 새로운 데이터를 생성하는 모델이라고 할 수 있다. 동영상을 보고 각 화면을 글로 표시하는 것은 Generating 모델을 통해 이루어진다...

Extracting Typical User's Moving Patterns Using Deep Learning딥러닝을 사용한 사람들의 이동패턴의 추출 Globecom 2012 - Wireless Networking Sysposium Nam Tuan Nguyen, Yichuan Wang, Husheng Li, Xin Liu, Zhu HanECS Department, University of Houston, Houston, TXCS Department, University of California, Davis, CAEECS Department, University of Tennessee, Knoxville, TN Abstract 여러 GPS 장치들이 스마트폰으로 통합되었을 때, 연구원들은 거대한 위치 데이터..