Clustering
in Category / Big Data
clustering 기법
데이터를 유사도 에 의해서 K개의 그룹으로 나눈 그룹
- 모든 경우로 클러스터링을 하게되면 경우의 수가 너무 많음
- 추천 시스템에 주로 사용
\sum_{m=1}^k\sum_{t_{mi}\in{Km}}{({C_m}-{t_{mi}})}^2- 수식의 결과가 작을수록 잘된 클러스터링
Partitional Algorithms
- 근사적인 값으로 일부만 클러스터링 하여 최적값을 찾아내는 것
K-means Clustering
- point를 지정하여 가까운 거리로 그룹
- point를 조금씩 이동해서 그룹
단점
- 사이즈가 크거나 작을 경우 잘 찾기 못함
- 평균점으로 부터 공모양의 클러스터만 잘 찾음
- 떨어져있는 데이터때문에 평균값이 달라지고 center가 결국 데이터가 없는 부분으로 이동
K-Medoids Clustering
- 실제 있는 포인트를 평균점, center로 사용
- 떨어져있는 데이터로 일어나는 K-means clustering의 단점을 보완
Hierarchical Clustering
- 주로 Bottom-up 방식 이용
- n개의 모든 포인트의 쌍의 거리를 계산하여 가장 가까운 거리에 있는 클러스터들을 merge
- 반복해서 k 개의 클러스터가 남을 때까지 진행
d_{min}(C_i, C_j) : Single-link
d_{mean}(C_i, C_j)
d_{ave}(C_i, C_j)
d_{max}(C_i, C_j) : Complete-link
- Average-link : pair point의 평균거리로 계산
- Mean-link : pair point를 merge하여 계산
- Centroid-link : 평균점 계산 후 평균점간의 거리로 계산
