본문/내용
클러스터의 타당성은 크게 세 부분으로 나눌 수 있다. 계층의 타당성 검증 시에는 계층적 클러스터링 기법을 적용하여 형성된 전체 계층을 고려한다. 분할의 타당성에서는 클러스터링 기법을 적용하여 얻은 분할에서 의미 있는 클러스터는 얼마나 되는가, 클러스터간 구조는 적절한가를 검증한다. 클러스터의 타당성에서 초점이 되는 것은 개개의 클러스터로서, 각 클러스터의 응집도와 분리도를 측정한다.
클러스터 타당성의 평가 기준은 크게 외적 기준과 내적 기준으로 나누어진다.
◦외적 기준(External criteria) 클러스터 구조를 이미 마련되어 있는 외부 정보를 이용하여 평가. 원 클러스터의 복원도를 측정.
◦내적 기준(Internal criteria) 클러스터링 결과를 외부 정보를 이용하지 않고, 데이터 자체만을 가지고 평가.
문헌 클러스터링에서는 수작업 분류 결과를 외적 기준으로 적용하는 것이 일반적이다.
본 연구에서는 학술논문 초록집합인 KTSET과 신문기사 본문집합인 KFCM-CL을 대상으로 유사계수를 변화시켜가며 클러스터링 실험을 수행하였다. 각 실험의 결과를 분할의 타당성, 클러스터의 타당성 측면에서 평가해보고 각 평가척도의 특징을 분석해보려 한다. 본 실험에서 사용된 클러스터 평가척도 네 가지는 <표 1>과 같다.
분할의 타당성
외적기준에 의한 척도
① Borko의 χ2
② Rand 척도
③ CSIM
클러스터의 타당성
④ Entropy
<표 1> 실험에 사용된 클러스터 평가 척도
3 클러스터링 결과 평가방법
3.1 Borko의 chi-squre 통계치
Borko(1968)는 두 가지 클러스터링 결과를 비교하는 비교적 간단한 방법을 제안하였다. A와 B를 각…
참고문헌
한승희, 이재윤. 1999. 문헌 클러스터링을 위한 유사계수간의 연관성 측정. 제6회 한국정보관리학회 학술대회 논문집, 25-28.
Borko, H. et al. 1968. On-line information retrieval using associative indexing. RADC-TR-68-100. AD670195. Califonia : System Develop. Corp. Quated in Anderberg M.R. Cluster analysis for applications. (New York : Academic Press, 1973), 204-207.
Burgin, R. 1995. The retrieval effectiveness of five clustering algorithms as a function of indexing exhaustivity. JASIS, 46(8) : 562-572.
Han, Eui-Hong et al. 1998. WebACE: a web agent for document categorization and Exploration. Proceedings of the 2nd International Conference on Autonomous Agents.
Hearst, M. A. and Pedersen, J. O. 1996. Reexamining the cluster hypothesis : Scatter/Gather on retrieval results. ACM SIGIR `96. 76-84.
Rand, W.M. 1971. Objective criteria for the evaluation of clustering methods. Journal of the American Statistical Association, 66 : 846-850.
Sahami, M. et al. 1998. SONIA : a service for organizing networked information autonomously. Digital Libraries 98.
Zamir, O. and Etzioni, O. 1998. Web document clustering : a feasiility demonstration. ACM SIGIR `98. 46-54.