Deep Learning on Attributed Graphs: A Journey from Graphs to Their Embeddings and Back

Martin Simonovsky

Main figure for Deep Learning on Attributed Graphs: A Journey from Graphs to Their Embeddings and Back

Abstract

Le graphe est un concept puissant pour la représentation des relations entre des paires d'entités. Les données ayant une structure de graphes sous-jacente peuvent être trouvées dans de nombreuses disciplines, décrivant des composés chimiques, des surfaces des modèles tridimensionnels, des interactions sociales ou des bases de connaissance, pour n'en nommer que quelques-unes. L'apprentissage profond (DL) a accompli des avancées significatives dans une variété de tâches d'apprentissage automatique au cours des dernières années, particulièrement lorsque les données sont structurées sur une grille, comme dans la compréhension du texte, de la parole ou des images. Cependant, étonnamment peu de choses ont été faites pour explorer l'applicabilité de DL directement sur des données structurées sous forme des graphes. L'objectif de cette thèse est d'étudier des architectures de DL sur des graphes et de rechercher comment transférer, adapter ou généraliser à ce domaine des concepts qui fonctionnent bien sur des données séquentielles et des images. Nous nous concentrons sur deux primitives importantes: le plongement de graphes ou leurs nœuds dans une représentation de l'espace vectorielle continue (codage) et, inversement, la génération des graphes à partir de ces vecteurs (décodage). Nous faisons les contributions suivantes. Tout d'abord, nous introduisons Edge-Conditioned Convolutions (ECC), une opération de type convolution sur les graphes réalisés dans le domaine spatial où les filtres sont générés dynamiquement en fonction des attributs des arêtes. La méthode est utilisée pour coder des graphes avec une structure arbitraire et variable. Deuxièmement, nous proposons SuperPoint Graph, une représentation intermédiaire de nuages de points avec de riches attributs des arêtes codant la relation contextuelle entre des parties des objets. Sur la base de cette représentation, l'ECC est utilisé pour segmenter les nuages de points à grande échelle sans sacrifier les détails les plus fins. Troisièmement, nous présentons GraphVAE, un générateur de graphes permettant de décoder des graphes avec un nombre de nœuds variable mais limité en haut, en utilisant la correspondance approximative des graphes pour aligner les prédictions d'un auto-encodeur avec ses entrées. La méthode est appliquée à génération de molécules

Proposed method: ECC

Benchmark Results

Tested on 4 datasets 4 baseline values reported too low

Tables show presented results in global context (best 3 papers + GCN + MLP).

TU Dortmund

#ModelAccuracy ↑Paper
1
MSH-GNN
0.9910 ±0.0030
2
ID-GNN+BEC
0.9830 ±0.0360
3
SupCosine
0.9830 ±0.0250
39
GIN
0.9330 ±0.0290
51
PSCN
0.9263
This paper
82
CCN
0.9164
This paper
159
WL
actual #159 vs paper #498 339 places worse
0.9040 ±0.0570
best reported
actual #159 vs paper #498 339 places worse
paper 0.8378
paper 0.8378 Δ at pub 0.0222 Δ today 0.0662
236
ECC
0.8944
This paper
323
structure2vec
0.8828
This paper
366
deepwl
0.8744
This paper
387
subgraph2vec
0.8717
This paper
403
MLP
0.8660 ±0.0495
425
DGCNN
actual #425 vs paper #425
0.8583
actual #425 vs paper #425
paper 0.8583
paper 0.8583 Δ at pub 0.0003
770
DCNN
actual #770 vs paper #770
0.6700
best reported
actual #770 vs paper #770
paper 0.6698
paper 0.6698 Δ at pub 0.0002 Δ today 0.0002
#ModelAccuracy ↑Paper
1
WL-MLP
0.9954
2
GIN
0.9934
3
GCN
0.9727
12
WL
actual #12 vs paper #27 15 places worse
0.8590 ±0.0010
best reported
actual #12 vs paper #27 15 places worse
paper 0.8455
best at pub: Propagation Kernels (2014)
paper 0.8455 Δ at pub 0.0135
43
ECC
0.8380
This paper
45
structure2vec
0.8372
This paper
131
GraphSAGE
0.8200 ±0.0100
211
deepwl
0.8031
This paper
291
PSCN
0.7859
This paper
318
subgraph2vec
0.7805
This paper
373
DGCNN
actual #373 vs paper #424 51 places worse
0.7650 ±0.0190
best reported
actual #373 vs paper #424 51 places worse
paper 0.7444

Difference within reported uncertainty; not counted as underperformance.

paper 0.7444 Δ today 0.0206
384
CCN
0.7627
This paper
540
DCNN
0.6261
This paper
#ModelAccuracy ↑Paper
1
GMN
0.7866
2
MemGNN
0.7550
3
TFGW SP
0.7510 ±0.0500
17
GatedGCN
0.7000 ±0.0494
18
WL
actual #18 vs paper #107 89 places worse
0.6950 ±0.0320
best reported
actual #18 vs paper #107 89 places worse
paper 0.5905
26
GraphSAGE
0.6817 ±0.0545
80
structure2vec
0.6110
This paper
124
MLP
0.5583 ±0.0352
144
deepwl
0.5343
This paper
181
DCNN
actual #181 vs paper #298 117 places worse
0.4244 ±0.0176
best reported
actual #181 vs paper #298 117 places worse
paper 0.1810
paper 0.1810 Δ at pub 0.2434
#ModelAccuracy ↑Paper
1
GC-GNN (GCN)
0.9210 ±0.0810
2
SUGAR
0.8403 ±0.0133
3
Ortho-g-U-Nets
0.8387
7
structure2vec
0.8222
This paper
15
SAGE
0.8088 ±0.0233
25
WL
0.7978
This paper
37
DGCNN
0.7937
This paper
101
PSCN
0.7712
This paper
150
ECC
0.7410
This paper
SOTA performance (not significantly different from the best) Proposed method (this paper) Baseline / comparison (this paper) Global context (other papers) Best at pub — reported result worse than the best known when published (best reported in green) Best at pub — reported value improved over the best known when published Best today — OK at publication; today's leaderboard best is elsewhere