本篇文章是論文的介紹性博客:Benchmarking Graph Neural Networks （https://arxiv.org/abs/2003.00982）的介紹性文章，有興趣的可以下載原文閱讀

圖0：在稀疏的2D張量上運行的GCN（頂部）和在密集的2D張量上運行的WL-GNN（底部）的標準實驗。

圖神經(jīng)網(wǎng)絡(luò)（GNN）如今在社會科學(xué)，知識圖，化學(xué)，物理學(xué)，神經(jīng)科學(xué)等的各種應(yīng)用中得到廣泛使用，因此，文獻中的論文數(shù)量激增。

但是，在缺乏標準和被廣泛采用的基準的情況下，衡量新模型的有效性和驗證可以普遍適用于較大和復(fù)雜數(shù)據(jù)集的新思想變得越來越困難。

為了解決圖學(xué)習(xí)研究中存在的最重要的問題，我們開發(fā)了一個開源的，易于使用的且可重現(xiàn)的基準框架（https://github.com/graphdeeplearning/benchmarking-gnns），該框架具有嚴格的實驗協(xié)議，該協(xié)議代表了GNN的進步。

這篇文章概述了GNN文獻中的問題，提出了基準的需求，本文提出的框架，是一種廣泛使用的強大GNN基準類別并提出了從廣泛的實驗中學(xué)到的見識。

為什么要進行基準測試？

在深度學(xué)習(xí)的任何核心研究或應(yīng)用領(lǐng)域中，基準都有助于識別和量化哪些類型的架構(gòu)，原理或機制是通用的，并且可以推廣到實際任務(wù)和大型數(shù)據(jù)集。 AI領(lǐng)域中的最新革命通常很可能是由大規(guī)模基準圖像數(shù)據(jù)集的ImageNet觸發(fā)的。 （顯然，其他驅(qū)動因素包括研究量的增加，更多數(shù)據(jù)集，計算，廣泛采用等）。

圖1：paperswithcode.com的ImageNet分類排行榜

事實證明，在許多科學(xué)的領(lǐng)域中，基準測試對于推動進步，確定基本思想以及解決與領(lǐng)域相關(guān)的問題都是有益的。 這個項目是基于這種動機而構(gòu)思的。

GNN需要的基準框架

a.數(shù)據(jù)集

GNN文獻中許多被廣泛引用的論文都包含在只有幾百（或幾千）圖的小型圖數(shù)據(jù)集上進行評估的實驗。

圖2：廣泛使用的數(shù)據(jù)集的統(tǒng)計數(shù)據(jù)。 資料來源為Errica2020等

例如，ENZYMES數(shù)據(jù)集，幾乎在用于分類任務(wù)的GNN的每項工作中都可以看到。 如果使用隨機10倍交叉驗證（在大多數(shù)論文中），則測試集將具有60張圖（即600張總圖的10％）。 這意味著正確的分類（或錯誤分類）將改變測試準確性得分的1.67％。幾個樣本可以確定績效指標的差異為3.33％，這通常是在驗證文獻中的一個新想法時得出的顯著增益得分。 這里可以看到，樣本數(shù)量不可靠，無法具體確認進展情況。¹

我們的實驗也表明，此類數(shù)據(jù)集的性能標準差很大，因此很難對研究思路做出實質(zhì)性結(jié)論。 此外，大多數(shù)GNN在這些數(shù)據(jù)集上的統(tǒng)計結(jié)果均相同。 這些數(shù)據(jù)集的質(zhì)量也使人質(zhì)疑在驗證GNN的想法時是否應(yīng)使用它們。 在其中一些數(shù)據(jù)集中，較簡單的模型有時也表現(xiàn)很出色，甚至優(yōu)于GNN。

因此，區(qū)分復(fù)雜，簡單和不可知的圖形架構(gòu)以進行圖形機器學(xué)習(xí)變得困難。

b.一致的實驗方案：

GNN文獻中的幾篇論文在統(tǒng)一而穩(wěn)健的實驗設(shè)置上沒有達成共識，這導(dǎo)致實驗中討論的方向的不一致。

此處要突出幾個示例：Ying等人在2018年對10倍拆分數(shù)據(jù)進行了固定次數(shù)的訓(xùn)練，并報告了每個epoch的性能，該性能具有"在任何epoch的拆分中具有最高的平均驗證準確性" 的特點。 Lee等人，2019年通過監(jiān)測epoch損失并報告"最后一個epoch的平均測試準確性"超過10倍拆分數(shù)據(jù)，因此使用了"提前停止標準"。

現(xiàn)在，如果我們將這兩篇論文的結(jié)果提取到同一張表中，并聲稱性能得分最高的模型是最有前途的，那么我們是否可以確信這種比較是公平的？

模型的性能還與其他一些問題，超參數(shù)選擇，可訓(xùn)練參數(shù)的不合理預(yù)算中的比較，使用不同的訓(xùn)練-驗證-測試分割等有關(guān)。

這些問題的存在促使我們開發(fā)了GNN基準框架，該框架將GNN研究標準化，并幫助研究人員取得更有意義的進展。

建立GNN基準的挑戰(zhàn)

缺乏基準一直是GNN文獻中的主要問題，因為上述要求尚未得到嚴格執(zhí)行。

設(shè)計基準非常具有挑戰(zhàn)性，因為我們必須為編碼框架，實驗設(shè)置和適當(dāng)?shù)臄?shù)據(jù)集做出可靠的決策。 基準還應(yīng)該是全面的，以涵蓋大多數(shù)基本任務(wù)，這些基本任務(wù)用來指示研究可以應(yīng)用到的領(lǐng)域。 例如，圖學(xué)習(xí)問題包括在節(jié)點級，邊緣級和圖級預(yù)測屬性。 基準應(yīng)該嘗試涵蓋其中的大部分（如果不是全部）。

同樣，收集真實且具有代表性的大規(guī)模數(shù)據(jù)集也具有挑戰(zhàn)性。 缺乏可以定義數(shù)據(jù)集質(zhì)量或驗證給定任務(wù)的統(tǒng)計代表性的理論工具，因此很難決定數(shù)據(jù)集。 此外，由于大多數(shù)流行的圖學(xué)習(xí)框架都不能"非常有效地"迎合大型圖，因此圖的節(jié)點和邊的特征以及圖大小的比例需要任意選擇。

最近，開放圖基準測試（OGB）進行了有效的努力，以收集有意義的中大型數(shù)據(jù)集，以指導(dǎo)圖學(xué)習(xí)研究。 該計劃是對該項目目標的補充。

擬議的基準框架：

我們?yōu)閳D神經(jīng)網(wǎng)絡(luò)提出了一個具有以下關(guān)鍵特征的基準框架：

1. 我們開發(fā)了模塊化的編碼基礎(chǔ)架構(gòu)，可用于加快新思想的開發(fā)

1. 我們的框架采用了嚴格而公正的實驗協(xié)議

1. 我們提出了合適的中等規(guī)模的數(shù)據(jù)集，可以將其作為插件用于以后的研究。²

1. 涵蓋了圖機器學(xué)習(xí)中的四個基本任務(wù)，即圖分類，圖回歸，節(jié)點分類和邊緣分類。

a.編碼基礎(chǔ)架構(gòu)

我們的基準代碼基礎(chǔ)架構(gòu)基于Pytorch / DGL。

從總體來看，我們的框架為以下各項統(tǒng)一了獨立的組件：i）數(shù)據(jù)通道，ii）GNN層和模型，iii）訓(xùn)練和測試功能，iv）網(wǎng)絡(luò)和超參數(shù)配置以及v）單一執(zhí)行腳本以實現(xiàn)可重復(fù)性。

圖3：我們在GitHub上開源的模塊化編碼框架的快照

b.數(shù)據(jù)集：

我們包括來自化學(xué)，數(shù)學(xué)建模，計算機視覺，組合優(yōu)化和社交網(wǎng)絡(luò)等不同領(lǐng)域的8個數(shù)據(jù)集。

圖4：基準中包含的數(shù)據(jù)集的摘要統(tǒng)計

本節(jié)介紹了數(shù)據(jù)集準備步驟及其與基準圖神經(jīng)網(wǎng)絡(luò)的相關(guān)性。

值得一提的是，我們包括OGB的OGBL-COLLAB，這表明我們可以靈活地合并OGB計劃中的任何當(dāng)前和將來的數(shù)據(jù)集。

c.實驗協(xié)議：

我們?yōu)榛鶞蕡D神經(jīng)網(wǎng)絡(luò)模型定義了嚴格而公平的實驗協(xié)議。

數(shù)據(jù)集拆分：鑒于文獻中存在針對不同模型使用不同的訓(xùn)練驗證測試拆分的問題，我們確保我們的數(shù)據(jù)管道為每個待比較的GNN模型提供相同的訓(xùn)練，驗證和測試拆分。 對于一般的數(shù)據(jù)集，我們遵循標準拆分。 對于沒有標準拆分的合成數(shù)據(jù)集，我們確保在拆分之間的類分布或合成屬性相同。 請參閱論文以了解更多詳細信息。

訓(xùn)練：我們對所有實驗使用相同的訓(xùn)練設(shè)置和報告格式。 我們使用Adam優(yōu)化器以基于驗證損失的學(xué)習(xí)速率衰減策略訓(xùn)練GNN。 我們針對每個未指定時期的實驗進行訓(xùn)練，其中以最小學(xué)習(xí)率進行訓(xùn)練會導(dǎo)致模型沒有明顯的學(xué)習(xí)。

重要的是，這種策略使用戶可以輕松地選擇要訓(xùn)練模型的時期。

每個實驗都在4種不同的種子上進行，最多需要12個小時的訓(xùn)練時間，并報告了4個實驗的最后epoch得分的摘要統(tǒng)計信息。

參數(shù)預(yù)算：我們決定使用兩個可訓(xùn)練的參數(shù)預(yù)算：（i）每個任務(wù)的每個GNN的100k參數(shù)，以及（ii）我們研究將模型放大到更大的參數(shù)和更深層的GNN的500k參數(shù)。 相應(yīng)選擇隱藏層的數(shù)量和隱藏尺寸以匹配這些預(yù)算。

我們選擇具有相似參數(shù)的預(yù)算以進行公平比較，否則很難嚴格評估不同的模型。 在GNN文獻中，經(jīng)常看到將新模型與現(xiàn)有文獻進行比較，而沒有參數(shù)數(shù)量的任何細節(jié)，也沒有試圖使模型具有相同的大小。 話雖如此，我們的目標不是為每個模型都找到最佳的超參數(shù)集，這是一項計算量大的任務(wù)。

d.圖神經(jīng)網(wǎng)絡(luò)：

我們對GNN的兩大類進行了基準測試，它們代表了最新文獻中見證的圖神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的絕對進步。 我們將這兩個類別命名為GCN（圖卷積網(wǎng)絡(luò)）和WL-GNN（魏斯菲勒-雷曼GNN）。

GCN指的是利用稀疏張量計算的流行的基于消息傳遞的GNN，而WL-GNN是基于WL測試的理論表達GNN，用以區(qū)分需要在哪一層進行密集張量計算的非同構(gòu)圖。

因此，我們的實驗管線如圖5所示為GCN，圖6所示為WL-GNN。

圖5：我們的GCN的標準實驗管線，它們在稀疏的rank-2張量上運行。

圖6：我們的用于WL-GNN的標準實驗管線，它們在密集的rank-2張量上運行。

我們將讀者引向我們的論文和相應(yīng)的作品，以獲取有關(guān)GNN的數(shù)學(xué)公式的更多詳細信息。 對于感興趣的讀者，我們還將在論文上包括每個基準的GNN的層更新的框圖。

為了在此階段快速回顧，我們討論了基準的需求，建立這樣的框架所面臨的挑戰(zhàn)以及我們提議的基準框架的細節(jié)。 現(xiàn)在，我們深入研究實驗。

我們對基于消息傳遞的GCN和WL-GNN進行調(diào)查，以揭示重要的見解并強調(diào)在構(gòu)建強大的GNN模型時面臨的潛在的基本挑戰(zhàn)。

在建議的數(shù)據(jù)集上對GNN進行基準測試。

我們使用基準測試框架中當(dāng)前包含的每個GNN模型對所有數(shù)據(jù)集進行全面的實驗。 實驗幫助我們得出許多見解，此處僅討論其中一些。 我們建議閱讀論文以獲取有關(guān)實驗結(jié)果的詳細信息。

我們基準測試的GNN是：

· 圖卷積網(wǎng)絡(luò)（GCN）https://arxiv.org/abs/1609.02907

· GraphSagehttps://cs.stanford.edu/people/jure/pubs/graphsage-nips17.pdf

· 圖注意力網(wǎng)絡(luò)（GAT）https://arxiv.org/abs/1710.10903

· 高斯混合模型（MoNet）https://arxiv.org/abs/1611.08402

· GatedGCNhttps://arxiv.org/abs/1711.07553

· 圖同構(gòu)網(wǎng)絡(luò)（GIN）https://arxiv.org/abs/1810.00826

· RingGNN https://papers.nips.cc/paper/9718-on-the-equivalence-between-graph-isomorphism-testing-and-function-Approximation-with-gnns

· 3WL-GNN https://arxiv.org/abs/1905.11136

1.與圖無關(guān)的NN在建議的數(shù)據(jù)集上表現(xiàn)不佳：我們將所有GNN與一個簡單的MLP進行比較，該MLP彼此獨立地更新了每個節(jié)點的特征，即忽略了圖結(jié)構(gòu)。

layer層的MLP節(jié)點更新公式為：

MLP對每個數(shù)據(jù)集的評分始終保持較低，這表明有必要考慮這些任務(wù)的圖形結(jié)構(gòu)。 這一結(jié)果還表明，這些數(shù)據(jù)集在統(tǒng)計學(xué)上將模型的性能分開了，因此它們對于GNN研究是多么合適。

2.在所建議的數(shù)據(jù)集上，GCN的性能優(yōu)于WL-GNN：盡管WL-GNN在圖的同構(gòu)性和表達能力方面具有可證明的強大功能，但我們認為的WL-GNN模型無法勝過GCN。 與使用稀疏張量的GCN相比，這些模型的時空復(fù)雜度低，因此可以擴展到較大的數(shù)據(jù)集。

GCN可以方便地擴展到16層并在所有數(shù)據(jù)集上提供最佳結(jié)果，而WL-GNN在嘗試構(gòu)建更深的網(wǎng)絡(luò)時會面臨損失不收斂和/或內(nèi)存不足的錯誤。

3.各向異性機制改善了消息傳遞GCN的體系結(jié)構(gòu)：在消息傳遞GCN的模型中，我們可以將它們分為各向同性和各向異性。

節(jié)點更新方程對每個邊緣方向均平等對待的GCN模型被認為是各向同性的； 節(jié)點更新方程對每個邊緣方向的處理方式不同的GCN模型被認為是各向異性的。

各向同性層更新公式：

各向異性層更新公式：

根據(jù)以上等式，GCN，GraphSage和GIN是各向同性的GCN，而GAT，MoNet和GatedGCN是各向同性的GCN。

我們的基準實驗表明，各向異性機制是GCN的體系結(jié)構(gòu)改進，可提供始終如一的出色結(jié)果。 請注意，稀疏和密集注意力機制（分別在GAT和GatedGCN中）是GNN中各向異性的示例。

4.訓(xùn)練理論上強大的WL-GNN面臨著潛在的挑戰(zhàn)：我們觀察到WL-GNN的性能得分存在很高的標準差。 （回想一下，我們報告了4次運行的不同種子的每次性能）。 這揭示了訓(xùn)練這些模型的問題。

像批量訓(xùn)練和批量歸一化這樣的通用訓(xùn)練程序沒有在EL-GNS中使用，因為它們在密集的2D張量上運行。

為了清楚地描述這一點，在處理稀疏秩2D張量的領(lǐng)先圖機器學(xué)習(xí)庫中，對GCN進行批處理的方法包括為一批圖準備一個稀疏塊對角線鄰接矩陣。

圖7：用一個稀疏塊對角矩陣表示的小批量圖。

在密集秩2D張量上運行的WL-GNN具有在密集張量中的每個位置處/從該位置處計算信息的組件。 因此，同一方法（圖7）不適用，因為它將使整個塊對角矩陣密集，并會破壞稀疏性。

GCN利用分批訓(xùn)練并使用批歸一化來進行穩(wěn)定和快速的訓(xùn)練。 此外，采用當(dāng)前設(shè)計的WL-GNN不適用于單個大型圖形，例如。 OGBL-COLLAB。 我們無法在GPU和CPU內(nèi)存上都安裝這么大的密集張量。

因此，我們的基準測試建議需要重新考慮WL-GNN的更好的設(shè)計方法，這些方法可以利用稀疏性，批處理，歸一化等方案，這些已成為深度學(xué)習(xí)的通用要素。

更多資源

借助GNN基準框架的介紹和實用性，我們結(jié)束了本博文，但如果您對這項工作感興趣的話，還可以閱讀更多內(nèi)容。

特別是，我們在本文中對鏈接預(yù)測的各向異性和邊緣表示進行了更詳細的研究，并提出了一種改進低結(jié)構(gòu)表達GCN的新方法。 我們將在以后的博客文章中分別討論這些內(nèi)容，以使您清楚理解。

@article{dwivedi2020benchmarkgnns, title={Benchmarking Graph Neural Networks}, author={Dwivedi, Vijay Prakash and Joshi, Chaitanya K and Laurent, Thomas and Bengio, Yoshua and Bresson, Xavier}, journal={arXiv preprint arXiv:2003.00982}, year={2020}}

腳注：

1. 我們并不意味著這些想法沒有用處和/或作者所做的工作沒有意義。 一切努力均有助于該領(lǐng)域的發(fā)展。

1. 例如，您可能會參考這些利用我們的框架方便地研究其研究思想的作品。 它表明擁有這樣一個框架的有效性。

1. 請注意，我們的目的不是開發(fā)軟件庫，而是想出一個編碼框架，其中每個組件對于盡可能多的用戶都是簡單透明的。

作者：Vijay Prakash Dwivedi