Text Data Analysis Using Matrix Factorization and Bayesian Modelling

통계학과 머신러닝에서 제공하는 다양한 분석기법에 의한 텍스트 데이터 분석을 위해서는 먼저 텍스트 마이닝을 이용한 텍스트 문서의 전처리가 이루어져야 한다. 일반적으로 전처리된 텍스트 데이터는 문자와 키워드로 이루어진 행렬 구조를 갖는다. 이 행렬의 원소는 문서에 포함된 키워드의 빈도수를 나타내는데 영의 값이 지나치게 많이 포함되어 영과잉 문제가 발생한다. 따라서 텍스트 데이터의 분석 결과에 대한 성능을 높이기 위해서는 영과잉 문제를 해결해야 한다. 본 논문에서는 행렬 인수분해와 베이지안 모델링을 이용하여 전처리된 텍스트 데이터의 영과잉 문제를 해결하려고 하였다. 제안 방법의 성능평가와 실제 사용에 대한 활용을 보이기 위하여 실제 특허문서를 수집하고 분석하였다.