北邮王啸:图神经网络的两面性(3)
【作者】网站采编
【关键词】
【摘要】我们再看信号的频率怎么样保持,主要就是这个gcta起到的作用。我们就看我们这里的gcta是什么样子的? 图 14:增强滤波器效果示意图 对于增强的低通滤
我们再看信号的频率怎么样保持,主要就是这个gcta起到的作用。我们就看我们这里的gcta是什么样子的?
图 14:增强滤波器效果示意图
对于增强的低通滤波器而言,可以展开为的形式,其中为特征值。如图 14(b)所示,通过观测其二阶幅值可以发现,当特征值较小(对应低频信号)时,图神经网络的幅值较调整前更大,即对低频信号有更好的增强;当特征值较大(对应高频信号)时,图神经网络的幅值较调整前更小,即对高频信息抑制的更加强烈。
同理,如图 14(d)所示,对于增强的高通滤波器而言,高频特征幅值被进一步增大,而低频特征幅值则被进一步抑制。
图 15:增强滤波器的空域解释
从空域角度来看,对于低通滤波器而言,其信号为,即将当前节点与邻居信号节点进行融合,从而得到新的当前节点的表征。在这种迭代的融合过程中,当前节点会与邻居节点越来越相似。
而对于高通滤波器而言,其信号,即当前节点的信息减去邻居节点的信息,从而消除当前节点和邻居节点之间的共性,仅仅保留差异较大的信息。
为了自适应地判断使用高频信息还是低频信息,我们设计了一种注意力机制来学习增强后的第频信号和高频信号的权重:
其中,为当前节点的信息,为邻居节点的信息。我们在聚合邻居信息的过程中,为邻居节点和当前节点的连边赋予了一个权重系数。由于该权重系数的符号可正可负,甚至可以为 0,因此我们可以将该操作视为广义的图注意力。
图 16:系数可视化结果
如图 16 所示,在常见的同配性较高的图上,大多数的系数为正;在异配性较高的图上,系数有正有负,甚至有的系数聚集在零点周围,即引入拓扑结构作用不大,使用节点特征就能够得到较好的效果。可见,FAGCN 模型十分灵活。
3
统一的目标函数
最后我们再来看我们关于统一目标的思考,希望能够找到一个式子,能够把很多的图神经网络囊括进来。
目前学术界涌现出了各种各样的图神经网络,我们希望通过一种统一的目标函数将大多数的图神经网络囊括在一起。
图 17:重新思考 GNN 统一框架
以 GCN、SGC、PPNP 等经典的图神经网络为例,它们的传播机制本质上都是在优化目标函数。
目标函数中的第二项可以展开为,它代表图拉普拉斯系数为正的项,使得当前节点与邻居节点的信息变得更加平滑。目标函数中的第一项代表学到的节点表征跟原本表征之间的关系,即节点特征的拟合项。不同的图神经网络对应不同的和,即图卷积核不同。
图 18:PPNP 传播机制示例
以 PPNP 为例,其传播的机制为优化目标函数:
由于目标函数对 Z 求偏导等于 0,我们可以推导出 PPNP 的传播机制为:
PPNP 之所以比 GCN 更容易缓解过平滑问题,是因为其目标函数相较于 GCN 在图正则的基础上加入了考虑 Z 与 H 之差的项,使得 Z 不仅进行了平滑操作,同时还要满足一定的与原本节点特征 H 的关系。
此外,PPNP 与 DAGNN 的目标函数非常的相似,二者的区别之一在于 PPNP 的图正则项的权重为人工设定的,而 DAGNN 的图正则项权重则是通过注意力机制学习得来。
图 19:设计 GNN 的新视角
通过对目标函数进行修改,我们可以推导出一些新的图神经网络。例如,若我们将 F_1、F_2 设置为具有不同滤波器的图卷积核,就可以推导出各种新的图神经网络。因此,在设计图神经网络时,除了从频域、空域的角度设计各种传播机制,还可以从目标函数的角度出发推导新的图神经网络架构。
由于微信公众号试行乱序推送,您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道, 请将“AI科技评论”设为星标账号,以及常点文末右下角的“在看”。
文章来源:《北京邮电大学学报》 网址: http://www.bjyddxxb.cn/zonghexinwen/2021/0724/756.html