#2 Autoencoder의 모든 것 - Manifold Learning

Autoencoder의 모든 것 - 이활석(NAVER) 을 정리한 것입니다.

https://www.youtube.com/watch?v=o_peo6U7IRM

 

Autoencoder의 중요한 기능 중 하나는 Manifold Learning을 학습한다는 것이다.

Definition

Manifold Learning는 고차원의 데이터를 축소하는 학습 방법이다.

Manifold Learning은 Data들을 잘 아우르는 Subspace가 있을 것이라는 가정을 갖고 가장 잘 아우르는 Subspace를 찾아 데이터의 차원을 축소시키는 학습 방법이다.

 

What is it useful for?

Manifold Learning은 보통 4가지 목적으로 사용된다.

• Data compression(데이터 압축)
• Data Visualization(데이터 시각화)
• Curse of Dimensionality(차원의 저주 해결 위해)
• 차원의 저주란 차원이 늘어나면서 데이터의 밀도가 희박해져 데이터의 분포 분석 또는 모델 추정에 필요한 데이터의 개수가 기하급수적으로 증가하는 문제이다. 즉, 데이터가 없는 부분이 늘어나면서 데이터가 없는 부분이 늘어나는 것이다. 고차원의 데이터이지만, 저차원의 Manifold를 이용하면 해결이 가능하다.
• Discovering most important features(중요한 Feature 찾기)
• Manifold Learning의 특징 중 하나는 차원을 축소하는데 찾아낸 Feature가 의도하지 않았지만 의미를 갖고 있는 모습을 보인다. 즉, 고차원 데이터에서 Feature를 스스로 찾아내는 것이다.

또한, 의미적으로 가깝다고 생각하는 고차원의 공간에서도 두 Sample 간의 거리가 먼 경우가 많이 발생하는데, Manifold를 이용하면 Sample 간의 합리적인 거리를 구할 수 있게 된다.

따라서 학습이 잘된 Manifold를 보면 Disentangled manifold의 형태를 보인다.

Texonomy

차원 축소 방법들을 분류해보면 Linear 한 방법과 Non-Linear한 방법들로 나눌 수 있다.

우리가 아는 PCA나 LDA는 Linear한 방법으로 데이터들을 정사영시켜 차원을 축소하기 때문에 아래와 같은 데이터들을 차원 축소를 제대로 해내지 못하게 된다.

Isomap, LLE, Parzen Wlndows와 같은 non-linear 방법들의 경우는 인접한 Data들을 기준으로 Manifold 하는 방법들이다. 즉 기존의 방법론들은 Neighborhood based training을 통해 Manifold하는 것이다. 하지만 Autoencoder는 위에서 살펴보았듯이 유클리디안 거리가 유의미한 거리 개념이 아닐 가능성이 있기 때문에 이를 차별화한 방법론이다.

Autoencoder는 Non-Linear 한 방법으로 고차원의 데이터에서 사용할 때 효율이 좋다.