text: 中大-陈语谦团队︱IEEE TNNLS：基于元学习图注意力网络用于小样本药物发现
  本文转载自中大科研进展新闻网！一、研究背景：药物发现是一项高投入、长周期、高风险的系统工程。当分子生物学研究确定了与疾病相关的有效靶点时，后续的药物发现路径就变得相对清晰。药物发现中关键任务就是寻找一个具有良好药理活性、低毒性和适当药代动力学特性的候选分子。深度神经网络在加速和改进药物发现方面取得了令人瞩目的进展，但是这些技术依赖于大量的标签数据才能形成对分子特性的准确预测。然而，在候选分子优化的初始阶段，新分子或类似分子并没有太多真实的理化性质和生物活性记录。这表明将深度神经网络应用于小样本药物发现仍然是一项艰巨的挑战。二、文章简介：针对上述问题，中山大学智能工程学院智能医疗研究中心主任陈语谦教授团队图注意力网络通过三重注意力机制在原子层面捕获原子团的局部影响，从而使GAT学习原子团对化合物性质的影响。在分子层面，GAT将整个分子视为连接分子中每个原子的超虚拟节点，隐含地捕捉不同原子团之间的相互作用。双向循环神经网络(GRU)侧重于将有限的分子信息抽象或转化为更高层次的特征向量或元知识，提高了GAT感知分子中化学环境和连通性的能力，从而有效降低样本复杂度。此外，他们进一步开发了一种基于双层优化的元学习策略，将元知识从其他属性预测任务迁移到低数据场景下的目标任务，使模型能够快速适应样本少的分子属性预测。实验表明，Meta-GAT 在多个公共基准数据集上实现了对少数样本分子新特性的准确预测。这些优势表明 Meta-GAT 很可能成为低数据药物发现的可行选择。相关研究成果发表于。中山大学智能工程学院教授为该文通讯作者，智能工程学院博士生为第一作者。三、研究内容：1、方法：元学习，也称为学习去学习，是指通过系统地观察模型在广泛的学习任务中的表现来学习一种学习经验。这种学习经验称为元知识。元学习的目标是找到在不同任务之间共享的元知识，以便模型可以快速泛化到仅包含少量具有监督信息的示例的新任务。元学习和迁移学习的区别在于，迁移学习通常是拟合一个数据的分布，而元学习是拟合多个相似任务的分布。因此，元学习的训练样本是一系列任务。MAML用作Meta-GAT框架的元学习算法。Meta-GAT通过双层优化有选择地更新每个任务中的参数，并将元知识转移到具有少量标签样本的新任务中，如图1所示。双层优化意味着一个优化包含另一个优化作为约束。在内层优化中，作者希望从训练任务的支持集中学习到一个通用的元知识，使得不同任务的损失尽可能小。在外层优化中，Meta-GAT计算每个任务查询集中相对最优参数的梯度，计算所有训练任务的最小总损失值来优化参数，从而降低训练任务的预期损失。图神经网络（GNN）在化学信息学领域取得了实质性进展。它具有学习结构和属性之间复杂关系的非凡能力。注意力机制已证明其在预测分子特性方面的出色性能。分子结构涉及原子的空间位置和复杂的化学键类型。分子中拓扑相邻的节点有更大的机会相互作用。在某些情况下，它们还可以形成决定分子化学性质的官能团。此外，拓扑上相距较远的原子对也可能具有显着的相互作用，例如分子内氢键。作者所提取的图形注意力网络从局部和全局的角度提取对分子结构和特征的见解，如图2所示。GAT通过注意力机制在原子层面捕捉原子团的局部效应，也可以在分子层面对分子的全局效应进行建模。2、数据集：作者报告了Meta-GAT模型在多个公共基准数据集上的实验结果。表1显示了基准数据集的详细信息，包括类别、任务和分子数量。所有数据集均可在公共项目MoleculNet中下载。3、实验：作者在Tox21，SIDER，MUV三个分类任务上进行了实验，他们将每个分子属性视为一项任务。对于Tox21，前9个检测用于训练，包括NR-AR、NR-AR-LBD、NR-AHR、NR-Aromatase、NR-ER、NR-ER-LBD、NR-PPAR-Gamma、SR-ARE、SR- ATAD5。最后3个测定用于测试，包括SR-HSE、SR-MMP和SR-P53。SIDER分为27个全身器官类别，作者使用其中6个适应症用于测试，其余21个适应症用于训练。对于MUV，作者使用前12个测定用于训练。MUV-832、MUV-846、MUV-852、MUV-858、MUV-859这5个测定用于模型测试。实验结果表明，Meta-GAT 优于其他基线模型。支持集中正负样本个数均从1个增加到10个，模型性能提升不明显。但是，正负样本比例的变化对模型性能影响很大。有趣的是，当只有几个例子时，支持集中正负样本的均衡比例可能比数量的增加更重要。在某种程度上，支持集中正负样本的比例代表了任务的分布。均衡的正负样本比例可以更好地指导模型搜索最优假设的参数，使得Meta-GAT模型更容易学习二元分类的元知识。基于元学习的图神经网络（EGNN、Meta-MGNN、Meta-GAT）比其他元学习方法（Siamese、MAML、AttnLSTM、IterRefLSTM）获得了更先进的模型性能。与其他常见的 GCN 架构相比，图注意力网络（GAT、Attentive FP、TrimNet）往往会取得更好的性能。他们还观察到 IterRefLSTM 和 MAML 基线方法在不同任务上的性能并不稳定。换句话说，它们可能在 Tox21 或 SIDER 上表现良好，但在 MUV 任务上表现不佳。相比之下，Meta-GAT 在所有三个分类数据集上的性能都是最先进且稳定的。此外，作者使用 Kappa 和配对 Wilcoxon Test 对测试任务进行了一致性检查。Wilcoxon p-value < 0.05 表明 Meta-GAT 预测结果的分布与已发表模型在测试任务上的分布不同。Kappa 分析结果表明，预测结果与实际测量结果在允许误差范围内适度一致。作者还在QM9回归数据集上评估了Meta-GAT的性能。Meta-GAT 在 QM9 数据集中的 3 个测试任务中有 2 个胜过其他模型。两个基于预训练的模型（N-Gram、Mol2Context-vec）提供了比其他元学习模型更有希望的预测。Meta-GAT 在低数据药物发现方面表现出明显的改进，是一种很有前途的元学习方法。此外，图6中每个子图显示了QM9中三个测试任务集的Bland-Altman分析结果。x轴和y轴分别表示ground truth与Meta-GAT预测值之间的平均值和偏差。蓝色虚线表示平均偏差。红色虚线表示偏差的95%置信区间。三个测试任务集的平均偏差分别为-0.0516、0.1817和0.1384。落在95%置信区间内的散点百分比大于98%。结果表明GT与Meta-GAT的预测结果高度一致。也就是说，Meta-GAT的预测结果可以在允许的误差范围内替代实验测得的GT。作者对原子相似度矩阵和注意力权重进行了可视化实验。他们通过计算这些特征向量的 Pearson相关系数来获得原子对之间的相似系数，并绘制了 6 个分子的原子相似矩阵的热图，如所示。以安乃近的分子结构为例，安乃近中的原子明显分为三簇，分别为：苯（0-5号原子）、氨基甲磺酸（6-13号原子）和吡唑烷酮（14-20号原子） ). 对于化合物 碘安替比林的热图中第一印象可能显示出一定程度的混乱，这是由 SMILES 中的原子数无序造成的。将碘安替比林中的 0-6 号原子、N13 原子和 C14 原子相结合，碘安替比林中的原子明显分为两个簇。这些热图的视觉模式与我们对这些分子结构的化学直觉非常一致。四、结论与展望：该研究为小样本药物发现提供比较可靠的推动力，有助于从根本上解决药物发现中样本少的问题。所提出的元学习算法通过多个预测任务训练一个初始化良好的参数，并在此基础上进行一步或多步的梯度调整，以达到快速适应新的只有少量数据的任务的目的。他们的工作展示了元学习如何减少在低数据场景中对分子进行有意义的预测所需的数据量。相信这种新的学习范式未来可以应用于药物发现领域。五、致谢：感谢国家自然科学基金项目的支持。点击文末「阅读原文」，直达文献。Authors:Qiujie Lv, Guanxing Chen, Ziduo Yang, Weihe Zhong, and Calvin Yu-Chian*Title:Meta Learning With Graph Attention Networks for Low-Data Drug DiscoveryPublished in:doi:10.1109/TNNLS.2023.3250324。投稿荐稿、发布招聘、商务合作、业务咨询等，可扫码联系小编，添加请备注：。网址：www.kejiangculture.com邮箱：kejiang_xs@163.com (编辑部)、kejiang_culture@163.com (设计部)