Deep Learning on Attributed Graphs: A Journey from Graphs to Their Embeddings and Back
Abstract
Le graphe est un concept puissant pour la représentation des relations entre des paires d'entités. Les données ayant une structure de graphes sous-jacente peuvent être trouvées dans de nombreuses disciplines, décrivant des composés chimiques, des surfaces des modèles tridimensionnels, des interactions sociales ou des bases de connaissance, pour n'en nommer que quelques-unes. L'apprentissage profond (DL) a accompli des avancées significatives dans une variété de tâches d'apprentissage automatique au cours des dernières années, particulièrement lorsque les données sont structurées sur une grille, comme dans la compréhension du texte, de la parole ou des images. Cependant, étonnamment peu de choses ont été faites pour explorer l'applicabilité de DL directement sur des données structurées sous forme des graphes. L'objectif de cette thèse est d'étudier des architectures de DL sur des graphes et de rechercher comment transférer, adapter ou généraliser à ce domaine des concepts qui fonctionnent bien sur des données séquentielles et des images. Nous nous concentrons sur deux primitives importantes: le plongement de graphes ou leurs nœuds dans une représentation de l'espace vectorielle continue (codage) et, inversement, la génération des graphes à partir de ces vecteurs (décodage). Nous faisons les contributions suivantes. Tout d'abord, nous introduisons Edge-Conditioned Convolutions (ECC), une opération de type convolution sur les graphes réalisés dans le domaine spatial où les filtres sont générés dynamiquement en fonction des attributs des arêtes. La méthode est utilisée pour coder des graphes avec une structure arbitraire et variable. Deuxièmement, nous proposons SuperPoint Graph, une représentation intermédiaire de nuages de points avec de riches attributs des arêtes codant la relation contextuelle entre des parties des objets. Sur la base de cette représentation, l'ECC est utilisé pour segmenter les nuages de points à grande échelle sans sacrifier les détails les plus fins. Troisièmement, nous présentons GraphVAE, un générateur de graphes permettant de décoder des graphes avec un nombre de nœuds variable mais limité en haut, en utilisant la correspondance approximative des graphes pour aligner les prédictions d'un auto-encodeur avec ses entrées. La méthode est appliquée à génération de molécules
Benchmark Results
Tested on 4 datasets 4 baseline values reported too low
Tables show presented results in global context (best 3 papers + GCN + MLP).
TU Dortmund
| # | Model | Accuracy ↑ | Paper |
|---|---|---|---|
| 1 | MSH-GNN | 0.9910
±0.0030 | |
| 2 | ID-GNN+BEC | 0.9830
±0.0360 | |
| 3 | SupCosine | 0.9830
±0.0250 | |
| 39 | GIN | 0.9330
±0.0290 | |
| 51 | PSCN | 0.9263 | This paper |
| 82 | CCN | 0.9164 | This paper |
| 159 | WL | 0.9040
±0.0570 best reported | best at pub: On Valid Optimal Assignment Kernels and Applications to Graph Classification (NeurIPS 2016) best today: How Powerful are $K$-hop Message Passing Graph Neural Networks (NeurIPS 2022) |
| 236 | ECC | 0.8944 | This paper |
| 323 | structure2vec | 0.8828 | This paper |
| 366 | deepwl | 0.8744 | This paper |
| 387 | subgraph2vec | 0.8717 | This paper |
| 403 | MLP | 0.8660
±0.0495 | |
| 425 | DGCNN | 0.8583 | prev best: How Powerful are Graph Neural Networks? (ICLR 2018) |
| 770 | DCNN | 0.6700 best reported | best at pub: How Powerful are Graph Neural Networks? (ICLR 2018) best today: IGNN-Solver: A Graph Neural Solver for Implicit Graph Neural Networks (2024) |
| # | Model | Accuracy ↑ | Paper |
|---|---|---|---|
| 1 | WL-MLP | 0.9954 | |
| 2 | GIN | 0.9934 | |
| 3 | GCN | 0.9727 | |
| 12 | WL | 0.8590
±0.0010 best reported | best at pub: Propagation Kernels (2014) |
| 43 | ECC | 0.8380 | This paper |
| 45 | structure2vec | 0.8372 | This paper |
| 131 | GraphSAGE | 0.8200
±0.0100 | |
| 211 | deepwl | 0.8031 | This paper |
| 291 | PSCN | 0.7859 | This paper |
| 318 | subgraph2vec | 0.7805 | This paper |
| 373 | DGCNN | 0.7650
±0.0190 best reported | best today: GraphCrop: Subgraph Cropping for Graph Classification (2020) Difference within reported uncertainty; not counted as underperformance. |
| 384 | CCN | 0.7627 | This paper |
| 540 | DCNN | 0.6261 | This paper |
| # | Model | Accuracy ↑ | Paper |
|---|---|---|---|
| 1 | GMN | 0.7866 | |
| 2 | MemGNN | 0.7550 | |
| 3 | TFGW SP | 0.7510
±0.0500 | |
| 17 | GatedGCN | 0.7000
±0.0494 | |
| 18 | WL | 0.6950
±0.0320 best reported | best at pub: Dynamic Edge-Conditioned Filters in Convolutional Neural Networks on Graphs (2017) best today: Template based Graph Neural Network with Optimal Transport Distances (NeurIPS 2022) |
| 26 | GraphSAGE | 0.6817
±0.0545 | |
| 80 | structure2vec | 0.6110 | This paper |
| 124 | MLP | 0.5583
±0.0352 | |
| 144 | deepwl | 0.5343 | This paper |
| 181 | DCNN | 0.4244
±0.0176 best reported | best at pub: Graph Capsule Convolutional Neural Networks (ICML 2018) |
| # | Model | Accuracy ↑ | Paper |
|---|---|---|---|
| 1 | GC-GNN (GCN) | 0.9210
±0.0810 | |
| 2 | SUGAR | 0.8403
±0.0133 | |
| 3 | Ortho-g-U-Nets | 0.8387 | |
| 7 | structure2vec | 0.8222 | This paper |
| 15 | SAGE | 0.8088
±0.0233 | |
| 25 | WL | 0.7978 | This paper |
| 37 | DGCNN | 0.7937 | This paper |
| 101 | PSCN | 0.7712 | This paper |
| 150 | ECC | 0.7410 | This paper |
