전체 글
-
pyinstaller UnicodeDecode Error 해결법공부/프로그램 명령어 설치 2017. 6. 17. 01:22
python3에서 pyinstaller로 exe 파일 만들 때 UnicodeDcodeError가 발생할 때가 있습니다. byte타입을 utf-8로 decode 하는 중에 문제가 발생합니다. 따라서 문제가 발생하는 부분을 수정해 줍니다. 설치위치\Lib\site-pakages\Pyinstaller\compat.py 에서 decode 중에 문제가 발생하므로 346번 줄의 out = out.decode(encoding) 을 out = out.decode('latin-1') 으로 바꿔줍니다. 기본 엔코딩이 UTF-8인데 UTF-8 이 문제를 계속 발생시킵니다. 'latin-1'으로 디코드 방식을 바꿔주면 제대로 동작합니다.
-
[Python] 10년치 재무정보 가져오기시스템 트레이딩 2017. 4. 5. 21:23
아래 블로그에서 10년치 재무정보를 R로 가져오는 것을 보고 이것을 python에서 받아올 수 있도록 변형해 보았습니다. http://blog.naver.com/PostView.nhn?blogId=opop4615&logNo=220926349250&parentCategoryNo=57&categoryNo=58&viewDate=&isShowPopularPosts=false&from=postView 재무정보는 기업정보 제공업체인 세종기업데이터 홈페이지 'sejongdata.co.k'r 에서 제공해주고 있습니다. 위 홈페이지의 정보제공 페이지에서 pandas 라이브러리를 이용해서 크롤링 한 것입니다.결과는 pandas의 Dataframe 형식으로 저장됩니다. 123456789101112131415161718192..
-
-
1. Esper 설치BigData Processing/Esper 2016. 10. 14. 19:57
Esper 설치 1. Esper 설치환경과 개발환경 1) 설치환경 - Window 7 (64bits) - CentOS 6.4 (64bits) 2) 개발환경 - Window 7 (64bits) - Eclipse Kepler (64bits) 2. Esper 개발환경 구축 1) Esper 다운로드 - EsperTech : http://www.espertech.com/download/ ( 회원가입 필요) - https://mvnrepository.com/artifact/com.espertech/esper/5.5.0 2) Eclipse 설치 - Download : https://www.eclipse.org/downloads/download.php?file=/oomph/epp/neon/R1/eclipse-inst-..
-
SVD(Singular Value Decomposittion)Deep Learining/Deep Learning 기초지식 2016. 10. 13. 22:44
SVD SVD(Singular Value Decomposition)는 행렬을 특정한 구조로 분해하는 방식으로, 신호처리와 통계학 등의 분야에서 자주 사용된다.SVD는 행렬의 스펙트럼 이론을 임의의 직사각형 행렬에 대해 일반화한 것으로 볼 수 있다. 스펙트럼을 이용하면 직교 정사각행렬을 고유값을 기저로 하여 대각행렬로 분해할 수 있다. 이러한 특이값 분해가 유용한 이유는 행렬이 정방행렬이든 아니든 모든 m x n행렬에 대해 적용가능하기 때문이다. 0. 특이값 m x n 행렬 M에 대해 다음 두 조건을 만족하는 벡터 와가 존재할 때, 음수가 아닌 실수 를 특이값이라 부른다.또한 u와 v를 각각 좌측 특이벡터와 우측 특이 벡터라 부른다. 1. SVM (특이값 분해) 실수나 복소수로 이루어진 m x n 행렬 M..
-
Precision / RecallDeep Learining/Deep Learning 기초지식 2016. 10. 13. 21:28
Precision / Recall Precision과 Recall을 해석하면 정밀도(정확도)와 재현률로 해석할 수 있다. Precision과 Recall은 두개 이상의 Database Schema를 비교할 때 Schema Match의 품질을 측정하기 위해 사용하는 방법이다. Precision은 검색된 결과 중 관련 있는 것으로 분류된 결과물의 비율이고, Recall은 관련 있는 것으로 분류된 항목들 중 실제 검색된 항목들의 비율이다. 이것을 수식으로 표현해보면 다음과 같다: 통계적인 측면에서 본다면 다음과 같을 것이다. 위의 표는 분류의 결과를 표로 나타낸 것이다. Precision의 경우는 실험결과가 positive인 모든 결과 중에 실제 정답인 경우 이므로 다음과 같다: 반면에 Recall의 경우는 ..
-
Word2Vec카테고리 없음 2016. 10. 12. 21:56
Word2Vec 구글에서 만든 텍스트 마이닝 알고리즘이다. Word2Vec는 구글 연구원인 Tomas Mikolov와 Kai Chen, Greg Corrado, Jeffrey Dean에 의해 작성된 논문 "Efficient Estimation of Word Representations in Vector Space" 에서 제안된 방법이다. 간단하게 설명하자면 각 단어의 앞 뒤 관계를 보고 근접도를 정하는 알고리즘이며 딥러닝을 통한 비지도 학습 알고리즘이다. Word2Vec는 이름이 나타내는 것 처럼 단어의 의미를 벡터형태로 표현하는 계량기법이다. 장점 비지도학습을 통해 학습하므로 단어사전을 따로 필요로하지 않는다. 또한 신조어도 학습이 가능하다.