GCN, GraphSAGE, GAT 설명

Graph Convolutional Network(GCN)

가장 기초적인 GNN 이후 발전 모델 중 하나로 GNN과 비교해서 공식을 살펴보면 그 차이를 명확하게 알 수 있다.

GCN의 달라진 점은 Aggregation에 있는데 기본 GNN에서는 단순히 neighbor의 평균을 내었다면 GCN에서는 자신 Node와 Neighbor들의 합을 자신 Node의 Neighbor 개수와 Neighbor Node의 Neighor 개수로 곱한 것의 Root 값으로 나눈다.

 

이건 단순한 GCN에 대한 설명이고, GCN도 Spectral Graph Convolution인지 Spatial Convolution인지 부터 다양한 접근이 가능하다.

 

참조: https://arxiv.org/abs/1609.02907

Semi-Supervised Classification with Graph Convolutional Networks

 

GraphSAGE

GraphSAGE에 대한 motivate는 Aggregation을 할때 평균보다 더 나은 방법이 있는가이다.

위의 공식에 보면 Aggregation function이 있는데 Mean, Pool, LSTM 3가지 방법을 제시한다. 또한 앞선 Model에서는 더하는 방식을 했다면 GraphSAGE는 Concat하여 사용한다는 차이점이 있다./

https://proceedings.neurips.cc/paper/2017/hash/5dd9db5e033da9c6fb5ba83c7a7ebea9-Abstract.html

Inductive Representation Learning on Large Graphs

 

Graph Attention Network(GAT)

GAT는 edge의 weight를 Attention을 이용해서 학습하는 아이디어에서 시작하였다.

Node들도 중요한 Node와 덜 중요한 Node가 있을텐데 우리는 각각 동일한 중요도로 받아드렸기 때문이다.

GAT는 먼저 Feature \(h_i\)를 weigth matrix에 곱해 \(\tilde{h_i}\) 생성한다.

그 뒤 \(\tilde{h_i}\)과 \(\tilde{h_j}\)를 concat하여 attention coefficent를 곱해 sigmoid function에 통과시킨다.

Attention probabiliy를 계산한다.

K-th의 attention 이 있다면 Concat하거나 평균을 내어 하나로 만들어 준다.

 

참조: 신기정 교수님 PPT