몽이몽이몽몽이의 블로그 몽이몽이몽몽이의 블로그

SVD SVD(Singular Value Decomposition)는 행렬을 특정한 구조로 분해하는 방식으로, 신호처리와 통계학 등의 분야에서 자주 사용된다.SVD는 행렬의 스펙트럼 이론을 임의의 직사각형 행렬에 대해 일반화한 것으로 볼 수 있다. 스펙트럼을 이용하면 직교 정사각행렬을 고유값을 기저로 하여 대각행렬로 분해할 수 있다. 이러한 특이값 분해가 유용한 이유는 행렬이 정방행렬이든 아니든 모든 m x n행렬에 대해 적용가능하기 때문이다. 0. 특이값 m x n 행렬 M에 대해 다음 두 조건을 만족하는 벡터 와가 존재할 때, 음수가 아닌 실수 를 특이값이라 부른다.또한 u와 v를 각각 좌측 특이벡터와 우측 특이 벡터라 부른다. 1. SVM (특이값 분해) 실수나 복소수로 이루어진 m x n 행렬 M..

Precision / Recall Precision과 Recall을 해석하면 정밀도(정확도)와 재현률로 해석할 수 있다. Precision과 Recall은 두개 이상의 Database Schema를 비교할 때 Schema Match의 품질을 측정하기 위해 사용하는 방법이다. Precision은 검색된 결과 중 관련 있는 것으로 분류된 결과물의 비율이고, Recall은 관련 있는 것으로 분류된 항목들 중 실제 검색된 항목들의 비율이다. 이것을 수식으로 표현해보면 다음과 같다: 통계적인 측면에서 본다면 다음과 같을 것이다. 위의 표는 분류의 결과를 표로 나타낸 것이다. Precision의 경우는 실험결과가 positive인 모든 결과 중에 실제 정답인 경우 이므로 다음과 같다: 반면에 Recall의 경우는 ..

Dropout Dropout은 딥러닝 학습에 있어서의 문제중 하나인 Overfitting을 해소하기 위한 방법이다. 요약하자면 hidden layer의 일부 유닛이 동작하지 않게 하여 overfitting 되는 것을 막는 방법이다. 1. Overfitting오버피팅이란 모델이 학습데이터(training data)에 대해서 지나치게 훈련되어 실험데이터(test data)에 대해서는 결과가 않좋은 경우이다. Overfitting된 상황을 이해하기 쉽도록 다음 아래 그림을 보자. 빨간색 점과 파란색 점을 분류하는 모델을 학습시켰다고 할 때, 학습이 잘 이루어진 경우 검은색 선과 같이 파란색 점과 빨간색 점을 나눈 경우 일 것이다. 그러나 학습데이터에 대해 지나치게 fitting이 일어났을 경우 녹색 선과같이 ..

Background 딥러닝의 모델에는 RBM, DBN, CNN, RNN, DBM, DA 등의 모델이 존재한다. 이 모델들은 역할에 따라서 Discrimination 모델과 Generating 모델로 나뉘어 진다. Discrimination 모델은 데이터와 각 데이터에 해당하는 label을 기반으로 새로운 데이터가 어떠한 label 일지를 분류하는 모델이라고 할 수 있다. 예를 들어 이미지인식을 하는 경우 어떤 이미지가 무엇인지를 분류하는 것은 Discrimination 모델을 통해 이루어진다고 할 수 있다. 반면에 Gernerating 모델은 기존의 데이터를 기반으로 새로운 데이터를 생성하는 모델이라고 할 수 있다. 동영상을 보고 각 화면을 글로 표시하는 것은 Generating 모델을 통해 이루어진다...