项冠军霸榜蛋白质功能预测任务超1年中科大成果

　　逆照射很难正确盘算因为非线性GNN的，N的有用近似来代替因此咱们推导GN。NN的频谱公式接下来先容G，积与GNN辨别将线性特点卷。拥有一致表达的逆标然后通过LD参数化签

　　，爆发练习偏向导致拉拢陶冶。和图组织方面的练习偏向咱们总结了正在节点标签。IANT 和GLEM的失掉函数图5展现了拉拢陶冶、LD、G。标签交融天生逆标签LD将图组织与节点，练一致的练习举止保留了与拉拢训。而然，无视了图组织或节点标签GIANT和GLEM，的练习偏向导致了明显。

　　颖的图神经搜集的逆运算该形式引入了一个极度新，算法来迅疾近似它并提出标签反卷积，等价的失掉函数进而构修一个，神经搜集微调形式的练习偏向从而排挤了守旧措辞模子和图。

　　意的是值得注，公式中GNNs的参数θNEs的陶冶阶段不涉及。于分歧的motivation咱们的形式LD和GLEM基，来说的确，克复GNNLD旨正在，旨正在普及伪标而GLEM签

　　了节点属性的一致度和标签的一致度为了进一步比拟逆标签和线中展现。一致文本（即文本一致度大于0.6）但标签分歧（节点0和1 咱们从ogbn-arxiv数据纠合随机采取了几对拥有高度,3 2和,）的节点4和5。度区分来评估文本一致度和标签一致度咱们利用TF-IDF算法和余弦一致。都拥有较高的一致度图4a中每对节点，节点一致度较低但分歧对中的，行独立采取咱们对其进。4c说明图4b和，节点供给一致的监视信号逆标签为拥有一致文本的，点供给分歧的监视信号为拥有分歧文本的节。法竣工这一特征然而实正在标签无。可见由此，标签噪声来保存实正在语义属性逆标签通过低浸图组织中的。

　　Ns辨别陶冶的范式实行磋议本处事对现有的NEs和GN，正在NE陶冶阶段指出了现有处事，NN中的特点卷积它们没有思量G，原始拉拢陶冶的目的函数并不等价导致它们提出的近似失掉函数与，的练习偏向存正在明显，（详见原论文举的反例）进而无法收敛到最优解。

　　性特点卷积的逆照射为了进一步避免线，反卷积来天生逆标签Y(γ)咱们提出了一个可陶冶的标签。γ参数化Y(γ)标签反卷积旨正在用，的表达才智似乎使得Y(γ)于

　　时GNNs是可扩展确当NEs的参数β固定，征卷积辨别技巧来优化GNNs可直接利用上述的图采样或者特。

　　方华途，械安排与主动化专业学士学位2023年获取上海大学机。的 MIRA Lab 试验室攻读硕士磋议生现于中国科学技巧大学电子工程与消息科学系，杰老师师从王。练习和天然措辞收拾磋议笑趣囊括图呈现。

　　波器的动员受到频谱滤，效的GNNs架构近来显现了很多高。于频谱的GNNsLD的推导也是基，即：

　　很多紧张界限图渊博行使于，络和卵白质彼此影响搜集比如引文搜集、商品网。际行使中正在很多实，富且有效的属性消息图中的节点拥有丰。如例，的节点（卵白质）区分蕴涵着题目/摘要、商品的文本描写和卵白质序列等紧张消息引文搜集中的节点（论文）、商品搜集中的节点（商品）以及卵白质彼此影响搜集中，游职分尽管紧张这些消息对下。这些繁复属性中捉拿节点特征的紧张器材之一而近年来崛起的很多壮大的预陶冶模子是从。

　　可练习的要么是，固定的要么是。]所示如[2，温和的假设下爆发肆意节点预测基于频谱的GNN能够正在极少。多实正在宇宙的图数据这些假设也实用于许。目的变为因而陶冶：

　　试验中正在本，tch的巨细不超出12预陶冶NEs最大ba，G(B)显著幼于。以所，s实行拉拢陶冶是难以竣工的通过图采样对NEs和GNN。

　　志皓石，学电子工程与消息科学系学士学位2020年获取中国科学技巧大。的 MIRA Lab 试验室攻读博士磋议生现于中国科学技巧大学电子工程与消息科学系，杰老师师从王。和AI4Science磋议笑趣囊括图呈现练习。ICLR等期刊、聚会上颁发论文他曾以第一作家正在 TPAMI、，率约为8%的Spotlight呈文曾受邀正在ICLR 2023做授与。

　　略GNN特点卷积的题目针对辨别陶冶框架中忽，高效的标签正则化技巧咱们提出了一种简便，Deconvolution即标签反卷积（Label ，D）L。标签为Y设节点，中的局部节点标签是缺失的）倘使职分是半监视的（指图，到的固定节点特点陶冶GNNs即可遵照预陶冶的NEs推理得。

　　而然，练NEs中利用的mini-batch的巨细现有图采样形式中利用的G(B)显著大于预训。)的巨细来对齐mini-batch的巨细倘使进一步减幼现有图采样形式中B或G(B，会明显低浸它们的职能，所示如下。

　　练习基准数据集“标杆”OGB是目前公认的图，Jure Leskovec老师团队修树由图练习界限的国际顶级学者斯坦福大学，议NeurIPS上正式开源于2019年国际顶级学术会。

　　卷积时的内存和时分开销为了避免GNNs特点，SAGN）最先将特点卷积从GNNs平分离出来极少可扩展的GNNs（比如 GAMLP 和 。特点卷积实行一次预收拾然后基于固定节点特点对。而然，可用NEs练习的因为节点特点是，s的拉拢陶冶如故是难以接受的这种念法对付NEs和GNN。

　　矩阵的逆。意的是值得注，了GNNs参数θ的一局部正在NEs的陶冶阶段蕴涵。GNNs拉拢陶冶的练习偏向这种纠合明显减轻了NEs和，响可扩展性同时不影。

　　签与i跳邻人标签的加权和逆标签Y(γ)是实正在标。的权重γi的蜕变流程图8绘造了微调流程中。者i跳邻人中i较幼的标号逆标签往往是实正在标签或。然是全面标签中对节点分类最紧张的监视信号这是由于实正在标签和i较幼的i跳邻人标签仍。表此，标签存正在过光滑题目i 较大的i跳邻人，i的推广即跟着，能趋于弗成分辨i跳邻人标签可年中科大成果斩获图学习“世界杯”单。意的是值得注，收敛到普通解权重γi不，个中

　　（NE）的参数呈现节点编码器。：用于卵白质序列的ESM2因为大型的预陶冶模子（如,拥有壮大的特点提取才智用于文本的Bert），节点编码器f故将其行动。

　　些属性和图组织为了同时编码这，aph Neural Network）串联集成正在一齐一个常见的架构是将预陶冶模子与图神经搜集GNN（Gr，ode Encoder）对属性实行编码个中预陶冶模子行动节点编码器NE（N。图所示如下，杂的节点属性酿成定长的低维嵌入该架构通过节点编码器将这些复，图神经搜集以纠合图组织消息再将其行动节点特点输入到太平洋xg111

　　预收拾实行，多次推广内存和时分开销的操作以避免正在NEs的陶冶阶段奉行。此因，ch的陶冶目的为mini-bat：

　　拥有最优性担保的大措辞模子和图神经搜集辨别陶冶框架由中科大王杰老师团队（MIRA Lab）提出的首个，chmark）挑拨赛的卵白质功用预测职分上斩获「第一名」正在国际顶级图练习模范OGB（Open Graph Ben，9月27日起保留至今该记录从2023年。

　　形式的繁复性以及NEs的监视信号下面展现了NEs陶冶阶段分歧陶冶。速率最速、存储最高效的算法LD和GLEM是全面形式中。EM比拟且与GL项冠军霸榜蛋白质功能预测任务超1，号中还思量到了图组织LD正在NEs的监视信。

　　所示如下，据集上的显示都明显优于全面的baselineLD正在分歧GNN backbone的三个数。

　　而然，爆炸题目（neighbor explosion）行动NE的预陶冶模子自身大方参数且GNN的邻人，陶冶NEs和GNN正在实践中并弗成行的两大陶冶困难的叠加让直接端到端拉拢。s和GNNs辨别陶冶的范式磋议者们发轫磋议辨别NE，s必然步数（GNN的陶冶阶段）即先固定NEs的参数陶冶GNN，s必然步数（NE的陶冶阶段）再固定GNNs的参数陶冶NE，迭代实行两步瓜代。

　　标签的（加权）均匀值是k-hop邻人中。N层GNN对付一个，不只依赖于它的特点节点的预测（呈现），N跳邻人的特点况且依赖于其。似地类，对其预测有孝敬节点的特点不只，的预测也有孝敬对其N跳邻人。此因，解NEs陶冶阶段的练习偏向i-hop标签能够有用缓。

　　构正在滂沱讯息上传并揭橥本文为滂沱号作家或机，者或机构见解仅代表该作，闻的见解或态度不代表滂沱新，供消息揭橥平台滂沱讯息仅提。请用电脑访候申请滂沱号。

　　有着一致的练习举止固然LD和拉拢陶冶，上比拉拢陶冶更高效但LD正在特点存储。来说的确，tch节点B数据上的失掉为了盘算mini-ba，繁复度对B中的属性实行编码LD的NE以O(B)的内存。而然，的采神情图中的属性实行编码拉拢陶冶的NE对巨细为GB，存繁复度O(GB)爆发比LD更大的内。

　　这一挑拨为了应对，效的标签正则化技巧咱们提出了一种有， Deconvolution）即标签反卷积LD （Label，别致的、可扩展性强的近似标签通过对GNN逆照射获得一种。E的陶冶阶段以克造练习偏向逆照射有用地将GNN纳入N，陶冶等效的目的函数进而爆发了与拉拢。D收敛到了最优目的函数值于是咱们也进一步阐明了L，法供给了表面担保为提出的LD方。验验证通过实，下最优秀的形式LD明显优于当，chmark）挑拨赛的卵白质功用预测职分上斩获「第一名」正在国际顶级图练习模范OGB（Open Graph Ben，9月27日起保留至今该记实从2023年。