【用于更准确 G×E 基因组预测的大规模作物数据集与基于深度学习的多模态融合框架】论文学习

用于更准确 G×E 基因组预测的大规模作物数据集与基于深度学习的多模态融合框架

0.摘要

虽然已经取得了可喜的成果，但目前基于深度学习的基因组预测方法仍然面临两个关键挑战，阻碍了它们在现实世界植物育种计划中的应用。首先是缺乏包含全面的基因型、表型和环境记录的大规模作物数据集。第二，难以有效地表示环境信息并将其整合到基因组预测过程中。在本研究中，我们解决了这两个挑战，并试图提高深度学习技术在构建更准确的全基因组预测模型方面的有效性。对于第一个挑战，我们组织了一个大型数据集，其中包含从CIMMYT数据规避中获得的基因型和表型记录以及从AgERA5数据集收集的实值环境数据。结果，该数据集分别有58,585条和78,736条小麦产量和株高记录。对于第二个挑战，我们提出了一个简单而有效的多模态融合框架，该框架采用两种可选架构，即Bi-LSTM和Transformer，以有效地对不同环境变量的时间序列信息进行建模。在我们组织的数据集上进行的大量实验证明了所提出框架的有效性和优越性，特别是在看不见的基因型和环境中，这对实际的现实世界植物育种非常重要。此外，通过可解释性分析探索了我们框架的预测机制。

关键词:
G×E基因组预测、深度学习、大规模数据集、多模态融合

1.简介

植物育种旨在开发质量更好、单位面积产量更高的作物新品种。该技术对于缓解快速增长的世界人口带来的粮食安全挑战至关重要，预计到2050年世界人口将超过95亿。随着下一代测序技术的进步，基因分型的成本大幅降低。因此，由于其能够充分利用全基因组密集遗传标记信息来估计目标性状的育种价值，基因组选择(GS)已成为提高遗传收益的最有效策略之一，并已被广泛应用已成功应用于许多育种计划中。这使得育种者可以提前预测几个作物品种的农艺性能，并在种植前选择几个表现最好的品种，这大大缩短了育种周期，大大减少了土地资源支出。

基因组选择的第一步也是最重要的一步是建立具有足够预测精度的全基因组预测模型。为此，传统的GS方法通常根据以下两种范式计算基因组估计育种值(GEBV):
(1)基于最佳线性无偏预测(BLUP)的方法利用系谱或基因组关系进行GEBV估计，假设所有遗传标记具有共同的效应方差。
(2)基于贝叶斯理论的方法考虑每个个体标记的具体方差和效应，从而允许更准确地建模不同程度收缩的不同标记。
尽管已经取得了令人印象深刻的进展，但上述所有方法都无法捕捉预测因子和响应之间复杂的多元和非线性关系，导致它们分析高维数据和估计非加性遗传效应的能力有限。为了缓解这一问题，许多机器学习(ML)算法已经被集成到后续的基因组预测模型中，例如随机森林、再现核希尔伯特空间和支持向量机。与传统的统计模型相比，这些方法能够提炼出更多信息丰富的基因型和表型之间的非线性关联，因此通常具有优越的预测性能。然而，大多数现有的基于ml的方法试图从输入样本中提取手工制作的特征，这具有有限的数据表示能力，并且通常需要复杂的特征工程过程。

与传统的ML算法相比，深度学习(DL)技术通过构建多层神经网络架构，以纯粹数据驱动的方式识别和提取有用的表征。在过去的十年中，DL在许多现实世界的应用(例如，图像/语言处理)中取得了巨大的成功，并且也显示出其在构建更有效的全基因组预测模型方面的潜力。多层感知器(MLP)结构包含多个完全连接的致密层，已广泛应用于基于dl的方法的早期设计中。Pérez-Rodríguez等比较了贝叶斯正则化神经网络和径向基函数神经网络两种MLP模型与几种传统基因组预测方法对306个优良小麦品系抽穗期和籽粒产量性状的预测性能。Montesinos-López等人设计了一种基于MLP结构的多元泊松深度神经网络模型，可以同时产生多种不同的计数数据结果。Sandhu等人也利用MLP预测了春小麦育种中具有不同遗传结构的五种不同数量性状。为了进一步探索整个基因序列中重复出现的基因片段的模式，DeepGS首次使用卷积神经网络(CNN)开发基因组预测模型。随后，遵循类似的想法，Liu等人提出了一种双流模型，该模型允许通过两个平行的CNN分支提取和融合不同的基因型表示。Pook等人设计了一个局部CNN模型，通过引入几个区域特异性过滤器来捕获不同基因组区域的相邻标记变体。Zingaretti等人认为，CNN在预测多倍体草莓和蓝莓品种具有较大优势的性状方面优于线性统计方法。最近，Wang等人提出了一种DNNGP方法，通过合并多组学数据来提高预测精度，该方法利用批归一化、早期停止和校正线性激活技术来避免过拟合问题并提高收敛速度。尽管取得了可喜的成果，但目前基于dl的GS方法在应用于现实世界的植物育种计划时仍然面临两个关键挑战:

首先，“缺乏包含全面基因型、表型和环境记录的大规模作物数据集”。作为一种数据驱动的技术，DL的成功在很大程度上依赖于大量多样化训练数据的可用性。然而，大多数现有的基于dl的GS方法通常在小型数据集上训练和评估其预测模型，例如，两者都对相同的4464个小麦系进行了实验，而mal ø
y等人只收集并使用了2214个基因型产量对。Azodi等人、Wang等人使用的最大数据集分别包含5014个和2000个实例。在少量数据上训练具有许多参数的深度神经网络(尤其是MLP架构)不可避免地会导致过拟合问题，这降低了学习模型在新测试样本上的泛化能力。此外，尽管作物性状的育种价值受外部生长环境的影响较大，但上述GS方法所使用的数据集均不包含任何环境信息。为了研究基因型-环境(G×E)的相互作用，大多数先前的工作通常将不同的环境条件记录为离散的分类指数和其他形式的简化表示，这仍然可能错误地反映不同样本之间特定环境变量(例如降水、湿度、温度等)的差异。据我们所知，基因组到田野(G2F)计划是目前唯一包含全面基因型、表型和环境数据的大规模数据集。

第二个挑战是“如何有效地表示环境信息并将其适当地整合到基因组预测过程中?”“当环境条件被表示为离散的分类指数时，它们的影响通常通过设计矩阵引入到预测模型中。因此，学习到的模型无法预测在未知环境中生长的测试作物，因为它们不存在于训练阶段定义的设计矩阵中。即使有包含实值环境变量的记录，目前的GS方法要么只是将它们与基因组输入连接起来，而没有进行特定的预处理或尝试通过采用多个一维卷积层从中提取有用的特征。所有这些方法都使得很难有效地对整个作物生长期不同环境变量的时间序列信息进行建模。

在本研究中，我们调查了这两个挑战，并试图解决它们。对于第一个挑战，我们开发了一个工作流程，将国际玉米和小麦改良中心(CIMMYT)提供的基因型和表型数据关联起来，然后将结果记录与AgERA5数据集中的记录进行匹配;该数据集收集了1979年至2019年期间的每日气象数据。利用这一过程，我们组织了一个包含58 585个小麦产量和78 736个小麦株高记录及其相关基因型和相应实值气候数据的大规模数据集。我们相信该数据集将促进基因组预测任务的DL方法研究，特别是那些研究G×E相互作用的研究。为了解决第二个挑战，基于上述有组织的数据集，我们建议通过双向长短期记忆(Bi-LSTM)或Transformer模型，从而可以有效地捕获多个气候变量的时间序列信息，如图1所示。随后，我们将提取的环境表征与单个分子标记的环境表征结合起来，模拟其交互效果。最后，将得到的多模态融合特征输入到基于cnn的预测网络中，对目标表型值进行回归。在三种不同场景下进行的大量实验表明，我们提出的方法始终能够实现最先进的基因组预测性能，明显优于所有基准方法。此外，我们将模型生成的多模态融合特征可视化，以说明基因型信息和环境变量如何共同影响植物表型值。这为研究人员分析基因组选择中G×E相互作用提供了新的视角。

2.材料与方法

2.1.我们大规模数据集的构建

基因型和表型关联。本研究的主要贡献之一是为DL模型组织了大规模数据集训练。为了实现这一点，我们利用了CIM-MYT数据库中春小麦(Triticum aestivum)基因型和表型记录的收集，这些记录曾被用于饲料未来创新实验室。对于每个基因型数据，在对次要等位基因频率(MAF小于1%)和缺失数据(小于50%)进行质量控制后，保留了18239个单核苷酸多态性(SNP)标记。然后将得到的HapMap文件转换为数字格式(0、1、2)，分别将0、1、2分配给纯合子的主要、杂合子和纯合子的次要等位基因。这些数字数据将被用作不同竞争方法的基因型输入。一般来说，每个基因型样本都与从四个不同苗圃收集的多个表型记录相关，即小麦产量协作产量试验(WYCYT)，强降雨小麦产量试验(HRWYT)，精英选择小麦产量试验(ESWYT)和国际面包小麦筛选苗圃(IB-WSN)。在这里，苗圃和试验具有相同的含义;因此，我们在后续的描述中交替使用它们。对于这些表型数据，小麦品系一般分多个周期播种，并且在每个周期中，同一品系在同一试验的多个地点播种。选择第1 ~ 6个WYCYT周期、第11 ~27个HRWYT周期、第24 ~ 39个ESWYT周期和第36 ~ 52个IBWSN周期的表型记录，根据唯一种质标识符(即“GID”字段的值)与对应的基因型数据关联。在对缺失值进行筛选后，由于数据量足够，我们选择了小麦产量(t/ha)和株高(cm)这两个数量性状作为本研究的研究对象。

与环境数据的关联。接下来，我们将上面获得的记录与AgERA5数据集的相关环境数据结合起来。该数据集包括1979年至2019年期间从国际小麦改良网络(IWIN)所有地点收集的9个气候变量的日平均值，包括降水量(mm)、最大和最小相对湿度、短波辐射(MJ∕m2∕d)、最高和最低温度(◦C)，最大蒸汽压差(kPa)， 2米和10米风速(m/s)。为提高计算效率，对每周周期内的气候数据取平均值。对于基因型和表型关联实现的每一条记录，我们选择其种植位置(根据“Loc_no”字段的值)从播种日期(“SOWING_DATE”字段)前两周到收获日期结束(“HARVEST_FINISHING_DATE”字段)的气候数据作为其对应的环境数据。随后，我们进行质量控制，过滤掉播种/收获日期缺失、表型异常值(小麦产量>20.00 t/ha、株高>200 cm)或种植周期过长(超过270天)的记录。最终，我们获得了一个大规模的“基因型-环境-表型”数据集，其中分别包含小麦产量和株高性状的58 585条和78 736条记录。小麦产量记录包含1349种独特的基因型和1946种不同的环境，而株高记录则包含不同的环境性状、独特基因型和环境分别为1607个和2143个。构建该数据集的试验跨越了17年(从2003年到2019年)，涉及全球444个站点。图2显示了我们组织的数据集的不同试验的位置分布。

2.2.我们的多模态融合框架

假设我们有一个训练集由上述构建的数据集中M条“基因型-环境-表型”记录组成。其中，是一个三元组，表示D中的第i个样本，其中分别代表待预测的对应基因型、环境数据及目标表型。S表示所用SNP标记的总数，C表示环境变量的数量，N表示整个作物生长期的时长。本研究提出一种基于深度学习技术的全新多模态融合框架，可充分利用基因型与环境中的有效信息，从而实现更精准的GxE基因组预测。如图1(a)所示，本框架采用早期融合策略，包含基因型与环境特征提取器、多模态融合模块以及CNN模块。基于表型预测的网络。

基因型特征提取。对于每个输入样本R=(G;E;P)(为简化符号表示，此处省略下标)，本框架首先通过将G与E分别输入至两个特征提取器F_G(·)与F_E(·)，生成其基因型表征及环境嵌入。具体而言，受自然语言处理任务中采用的词嵌入技术启发，我们将每个离散SNP数值编码(即0、1、2)视为一个特定词汇，并尝试将其映射至高维实值向量，以捕捉其有效语义特征。据此，我们通过引入嵌入层构建基因型特征提取器F_G(·)，如图1(b)所示。它维护一个可训练的查找矩阵，该矩阵的每一列均可通过G中的每个离散数值代码进行索引，并将所有查询到的列向量作为输出X_G返回。因此，我们提取的基因型表示X_G是一个由每个SNP位点的语义嵌入向量构成的矩阵。

环境特征提取。为了捕捉并利用整个生长周期内环境数据的时序特性我们采用两种不同架构实现了环境特征提取器F_E(.)。第一种是双向长短期记忆网络 (Bi- LSTM) ，如图1(d)所示。以每周气候数据作为序列输入，Bi-等LSTM分别从正向(播种一收获)与反向(收获一播种)方向逐步遍历其记录值，为每个时间步生成包含完整序列信息的隐藏状态。最终，Bi-LSTM输出最后一轮收获周的隐藏状态作为我们的环境特征X_E。具体而言，我们采用多层架构实现了这一基于Bi-LSTM的特征提取器。在每一层中，我们分别构建一个前向LSTM网络和一个后向LSTM网络，以沿两个相反方向逐步遍历e_n，(即E中的每个环境记录，或前一层生成的每个隐藏状态)，具体如下:




第二种实现策略采用了基于 Transformer 的网络，如图 1(e) 所示。受到 Vision Transformer（ViT）中的图像标记化过程启发，我们首先通过一个全连接层（FC）将输入集合 E中的每条气候记录 e_n转换为对应的 token 向量 v_n。

随后，通过添加一个特殊的 [reg] token v_reg，并与位置嵌入 PosEmbed 相加，我们得到如下 token 序列（其中v_reg和 PosEmbed 均为可学习参数）：

随后，将获得的 token 序列输入多层 Transformer 编码器。


其中，MSA(·,·,·)、LN(·) 和MLP(·) 分别表示多头自注意力（MSA）、层归一化（LN）和多层感知机（MLP）模块。特别地，MSA 是 Transformer 架构中的核心操作，可以表示为：


因此，我们最终通过将最后一个编码器层生成的 [reg] 表示 V_L[0]输入到一个 MLP 头（MLP head）中，获得环境嵌入 X_E。

多模态融合和表型预测。在获得X_G和X_E后，我们的多模态融合模块采用简单而有效的广播加法过程来整合信息，如图1©所示。

这种广播操作使我们的框架能够在每个分子标记的水平上明确地模拟G×E相互作用，从而使我们能够分析环境对基因型中每个单个位点的影响。随后，将融合的特征Zis输入到基于cnn的表型预测网络中，以预测目标性状值。该网络的结构类似于DNNGP的主干，由三个1D卷积层组成，然后是一个
平坦层和一个具有三个完全连接层的回归头。每个卷积层包含32个过滤器，每个过滤器的核大小和步幅分别设置为9和2。随后，引入批归一化层和leaky ReLU激活函数来稳定和加速训练过程。此外，在回归头的第一个完全连接层之后集成了一个dropout操作，以进一步降低过拟合的风险，其dropout率设置为0.3。

最后，将预测的表型值与真实性状记录之间的均方误差最小化，从而优化我们的框架的可学习参数，从而做出更准确的预测。为了实现这一目的，我们使用了一个初始学习率为0.005、权重衰减为0.001的Adam优化器。对于所有的实验，我们的训练过程运行150个epoch, mini-batch大小为128。并且，当训练损失的值在几个epoch内不减少时，通过乘以一个因子0.5来动态调整学习率。允许的无改进的
epoch数由一个“耐心”参数控制。

2.3.基准方法

在本研究中，我们将所提出的框架与几种具有代表性和最先进的基因组预测算法进行了比较，这些算法大致可分为四类:基于BLUP的方法，基于贝叶斯理论的方法，基于机器学习的方法，以及基于深度
学习的方法。

GBLUP是使用全基因组标记预测目标人群表型值的最早方法之一。由于标准的GBLUP预测模型只考虑了基因型的主要影响，根据Jarquín et al.(2014)和Nguyen et al.(2023)的改进策略，我们考虑了环境协变量的影响，得到了修改后的线性模型如下:

近年来，一系列基于贝叶斯理论的方法被提出，这些方法考虑了每个个体分子标记的特定方差和影响。在本研究中，我们选择BayesRR、BayesB、BayesBpi和BayesR进行分析，每一种都有不同的分布假设。具体来说，BayesRR假设所有标记的影响都是非零的，并且遵循相同的正态分布。相比之下，BayesB和BayesBpi允许大多数标记的效应为零，只有一小部分标记的效应服从反卡方分布;这样的标记比例在BayesBpi中是可调的。BayesR方法将标记效应分成不同的组，每组都遵循不同的正态分布。对于所有在上述的GBLUP模型中，也可以通过引入不同环境协变量的影响。在我们的实现中，我们分别使用“Hibayes”(Yin et al.， 2022)和“lme4”(Bates et al.， 2014) R包拟合了分子标记和环境协变量的影响。

SVR是一种基于支持向量机的回归分析方法。构造一个epsilon不敏感管(ε-tube)来表示预测值和实测值之间误差的容限。具体来说，该管外的误差应最小化，而位于ε-tube内的误差可以忽略。通过改变
正则化参数，可以手动调整模型复杂性和ε-tube之外的总偏差之间的权衡。此外，在模型训练过程中，使用高斯核将输入样本映射到高维特征空间来处理非线性数据。

LightGBM由于其训练速度和存储效率而成为领先的机器学习技术。LightGBM的核心是梯度增强决策树(GBDT)算法，该算法依次构建并组合多个弱决策树，迭代修正错误。为了提高模型效率，LightGBM结合了基于梯度的单边采样(GOSS)和独家特征捆绑(EFB)。GOSS优先考虑梯度较大的训练样本，从而使模型专注于更具挑战性的数据点，而EFB将稀疏空间中的排他特征合并成束，以减少需要处理的特征数量。这些创新策略使LightGBM能够有效地处理高维基因型特征。我们使用“scikit-learn”Python包实现SVR和LightGBM。为了进一步融入环境信息，我们遵循了之前作品中的操作。如图3(b)所示，我们直接进行了特征拼接。将每个原始基因型记录G∈{0,1，2}^S与其对应的平均环境数据，并将结果向量作为输入输入到模型中。

至于基于深度学习的方法，我们选择MLP网络，其架构类似于Khaki and Wang(2019)和DNNGP模型中描述的网络作为我们的基准。MLP包括一个具有多个完全连接层的特征提取器，然后是一个用于表型预测的回归头。相比之下，DNNGP采用具有批处理归一化和dropout技术的三层卷积神经网络来更好地表示局部特征。与基于机器学习的基准测试一样，MLP和DNNGP也采用Gand的连接向量作为输入，这样可以有效地利用环境数据。

为了与我们的框架进行更公平的比较，我们进一步构建了一个称为“平均天气”的基线方法。该模型与我们的框架共享相同的基因型特征提取器、多模态融合模块和表型预测网络。唯一的区别是平均天气取代了提取的环境特征X_E平均气候数据，该数据也是广播的，并与基因型特征X_G元素相加相结合，如图图3©所示。通过与该平均天气方法的比较，我们可以更有效地验证我们的框架在整个生长时期从环境数据中提取时间序列信息的有效性。

我们的编程实现和实验是在配备Intel® Xeon® Gold 6133 @ 2.50 GHz CPU、两个NVIDIA RTX 3090 gpu和Ubuntu 20.04.4 LTS操作系统的工作站上使用PyTorch库(版本1.12.1)进行的。

3.实验结果

3.1.实验设置

如前一节所述，我们提出的框架基于基因型和环境进行基因组预测。为了考察我们的框架对这两个因素的泛化能力，如图图4所示，我们设计了以下三种不同的训练和测试样本分割场景，对预测精度进行5倍交叉验证(CV)分析。

• 常规场景（Regular Scenario）：
  与标准的 5 折交叉验证（5-fold CV）设置相同，整个数据集被随机划分为五个互不重叠的子集（即 5折）。我们选择其中一个折作为测试集，并使用剩余四个折的数据进行模型训练。该过程重复五次，直到每个折都被用于性能测试。最终，将平均预测准确率作为最终的交叉验证指标。

• 基因型特异性场景（Genotype-Specific Scenario）：
  在该设置下，我们根据独特的小麦品系标识符（Germplasm ID），对互不重叠的折进行随机划分。这意味着，训练得到的模型将在测试样本上进行评估，而这些测试样本包含训练阶段未见过的新基因型。

• 环境特异性场景（Environment-Specific Scenario）：
  在该设置下，我们根据唯一的环境标识符（Location-year）对互不重叠的折（folds）进行随机划分。这意味着，训练得到的模型将在测试样本上进行评估，而这些测试样本包含训练阶段未见过的新环境。

与既往研究类似，我们采用模型预测值与真实性状值之间的皮尔逊相关系数（PCC，值越大越好）及均方误差（MSE，值越小越好）作为评估指标。这些指标的均值与标准差均通过每次实验重复十次计算得出。

3.2.预测精度比较

为了验证我们提出的框架在这三种情况下的有效性，我们将其预测性能与第2.3节中提到的九种代表性和先进的基因组预测方法以及我们构建的平均天气基线进行了比较。所有这些基准方法都通过将平均
气候数据作为额外输入来整合环境信息。相比之下，如2.2节所述，我们的框架通过Bi-LSTM或基于Transformer的网络从每周气候数据中提取环境特征，以充分捕获和利用其时间序列信息。我们将这两个实现分别命名为“我们的(Bi-LSTM)”和“我们的(Transformer)”。

上述三种情景下小麦产量和株高性状的预测精度见表1。在预测小麦产量方面，我们的框架使用Bi-LSTM实现了0.8595、0.8237和0.4262的PCC值，使用Transformer实现了0.8391、0.8088和0.4325的PCC值。结果优于GBLUP、BayesBpi(表现最好的贝叶斯方法)、SVR、LightGBM、MLP、DNNGP和Mean Weather，分别优于常规情景的185.31%、192.57%、146.57%、40.45%、16.67%、17.60%和2.59%，优于基因型特异性情景的174.07%、181.41%、133.82%、34.10%、31.49%、19.95%和3.40%，优于基因型特异性情景的79.22%、89.16%、88.50%、15.18%。环境特异性情景分别优于42.73%、36.04%和2.57%。此外，我们的框架还在常规和基因型特定设置下产生排名前两位的MSE值，Bi-LSTM为1.5644和1.9419,Transformer为1.7705和2.0746，比Mean Weather基线低11.79%以上，比其他基准方法低至少65.19%。而对于特定于环境的场景，LightGBM获得了5.2265的最佳MSE结果，我们基于Transformer的实现(5.5676)和基于Bi-LSTM的实现(5.6453)分别排名第二和第三。在预测植物高度时，Bi-LSTM的 PCC值分别为 0.8965、0.8625 和 0.6391,Transformer的PCC值分别为0.8880、0.8565和0.6578;从而在三种场景下分别实现了比其他竞争方法2.66% ~ 94.38%、3.49% ~ 90.90%和2.95% ~55.99%的改进。对于MSE指标，我们的框架在常规情况下的最佳结果为41.65，基因型特异性情况为51.45，环境特异性情况为105.31。只有在第三种情况下，我们的Bi-LSTM(117.41)的表现略低于Mean Weather基线(115.56)。为了更好地理解我们提出的框架的有效性，除了上述统计数据外，我们还使用图5-6中的箱形图将每种竞争方法在10次重复实验中获得的所有结果可视化。

为了进一步评估我们的框架拟合实际观测数据分布的能力(图7和图8)，我们在随机选择的重复实验中显示了第一次折叠测试样本的预测结果(由用第2 ~ 5次折叠训练的模型产生)。与(Wang et al.， 2023)中一样，散点密度图用于显示预测表型的分布密度与其对应的实际性状值。每个图中的红色虚线是通过线性回归拟合呈现的散点而得出的，其中灰色线表示恒等函数(identity function)，即:这些回归线的范围代表了模型预测与真实表型记录之间的相关性。因此，它们与灰线之间的角度可以在一定程度上反映我们的框架在捕获与基因型相关的非线性关系方面的有效性以及带有表型输出的环境输入。因此，从图7和图8都可以观察到，我们的框架通常在前两种情况下比在环境特定情况下表现得更好(即线角更小)。与其他竞争方法(Mean Weather、MLP和DNNGP)相比，在观察到的表型的密集分布区域(即图中的暗区域)，我们的模型产生的散点更有可能聚集在灰色同一性线周围。这表明我们的框架能够对大多数样本产生更高精度的预测结果。

3.3.环境变量的影响

在本小节中，我们通过比较我们的框架与各种环境输入的预测性能来研究不同气候变量的影响。为了强调环境的影响，所有的实验都是在特定于环境的环境中进行的。更具体地说，我们通过提取环境特征X_E每个单独的气候变量来实现我们的框架，并在图9中给出了所得模型的预测精度。从图中可以看出，我们的Bi-LSTM将2m和10 m风速(PCC值分别为0.370和0.373)作为预测小麦产量的两个最重
要的环境因子。我们基于变压器的实现也获得了最佳性能(0.335 PCC)，以2米风速作为环境输入。与这种一致性不同，Bi-LSTM对水汽压亏缺和降水变量的关注程度较低，预测结果分别为0.241和0.270 PCC。相比之下，Transformer似乎很难从最大和最小相对湿度中提取有用的信息，仅实现0.186和0.206 PCC。对于预测植物高度，我们的两个实现一致认为最低温度变量具有最大的影响，导致Bi-LSTM的性能为0.603 PCC，Transformer的性能为0.593 PCC。同时，当最大相对湿度和降水量作为环境输入时，我们的Bi-LSTM和基于变压器的模型的预测精度最低，分别为0.494和0.503 PCC。

此外，我们还可以分析不同变量组合的影响。为此，我们首先根据九个气候变量的关联预测结果对它们的重要性进行排序，如图9所示。然后，我们逐步将最上面的K变量组合起来(K= 1,2，…，9)按重要性排序降序排列。最后，使用这些组合进行训练的所提出框架的性能如图10所示。可以发现，随着所涉及的气候变量数量逐渐增加，尽管经历了一些小的波动，但所有模型的预测精度总体上呈现上升趋势。这表明，纳入不同的环境因素可以引入额外的预测信息，从而为解决基因组预测任务提供好处。

3.4. 可解释性分析

我们进一步探索了我们提出的模型可以从基因型和环境记录中提取什么样的有效表征，以及如何利用这些特征进行决策。给定一个目标性状，我们选择250个数据样本，每个样本都具有从测试折叠中观察到的最高和最低表型值。然后，我们将基于cnn的表型预测网络的最后一个卷积层生成的特征图的分布可视化。为此，我们将每个特征映射平面化为一个向量，并应用t-distributed Stochastic Neighbor Embedding (t-SNE)技术来降低其维数。可视化结果如图11所示。在所有样地中，数据点自然地被分成两个不同的簇，一个用于具有高性状值的样本(>小麦产量10.91 t/ha， >株高128 cm)，另一个用于具有低性状值的样本(小麦产量<1.00 t/ha，株高<53 cm)。这两个聚类明显是线性可分的，这表明提取的特征在预测高表型值和低表型值方面表现出完全不同的行为，从而解释了我们的框架对输入样本做出正确预测的机制。

此外，我们还分别分析了两种类型的输入(即基因型和环境)的影响。通过将其中一个固定不变并改变另一个，我们将同一地点生长的不同小麦品系样本的最终卷积特征图(Zeiler和Fergus, 2014)可视化(图12，补充图1-3)，以及具有相同基因型但生长在不同地点的样本的最终卷积特征图(图13，4-6)。通过比较这些可视化结果，我们可以看到，对于每个固定输入，同一列中的三个子图比跨不同列的相似度要高得多。这表明具有相似性状值的样本通常会产生相似的特征模式，而那些具有显著差异(低与高)表型值的样本通常会在其表示之间表现出较大差异。无论哪个输入改变，这种现象都可以被一致地观察到。这表明，基因型和环境输入都可以单独为我们的框架提供有用的信息，以准确地测量特征空间中不同样本之间的距离，这主要归功于我们的多模态融合模块的有效性。

4.讨论

在本研究中，我们提供了如何提高深度学习技术在构建更准确的植物育种全基因组预测模型方面的有效性的见解。首先，为了解决数据稀缺的主要挑战，我们组织了一个大型数据集，分别包含58 585条和78 736条小麦产量和株高记录。每条记录由从cimty数据集收集的相关基因型和表型，以及从AgERA5数据集获得的相应实值气候数据组成。与现有基因组预测研究中使用的数据相比)，我们的组织数据集具有以下优势:
(1)它可以提供足够的训练数据来优化更复杂的深度模型，同时降低了导致过拟合问题的风险。
(2)它包含了具有丰富多样性的待预测目标性状(即小麦产量和株高)的样本，这允许更好地表征它们的真实数据分布，从而最终增强了学习模型在实际应用中的适用性。
(3)为模型评价提供了更多的证据。从大量的测试数据(每倍超过10000个)中得出的性能统计(表1、图5)和散点密度分布(图7、8)更有说服力和可靠性。
(4)实值气候记录提供了有关外部生长环境的更具体和细粒度的信息，从而可以更好地模拟复杂的“基因型-环境-表型”关系。
考虑到上述优势，我们相信该数据集将促进基于深度学习的作物基因组预测研究，并推进G×E相互作用的研究。

随后，为了从输入基因型和环境中充分捕获和利用有用的信息来进行准确的表型预测，我们提出了一个简单而有效的多模态融合框架。我们通过将该框架在我们组织的数据集上的预测性能与九种代表性算法和Mean Weather基线。实验结果如表1和图5-8所示，我们得到以下观察结果:(1)即使建立在最基本的深度神经网络架构(例如，全连接层和卷积层)上，MLP和DNNGP也表现出优于传统方法的性能，包括基于BLUP的方法、基于贝叶斯理论的方法和基于机器学习的方法。说明了深度学习技术在解决基因组预测任务方面的潜力。(2)与MLP和DNNGP相比，Mean Weather基线取得了更好的效果。虽然Mean Weather使用了类似于DNNGP的基于cnn的预测网络，但它使用了我们的多模态融合模块来整合环境信息，这与DNNGP不同。因此，Mean Weather的出色表现表明，我们的融合策略可以准确地建模G×E相互作用，我们的预测网络可以有效地利用融合的特征。(3)此外，使用Bi-LSTM或Transformer来处理环境输入，我们提出的方法始终优于所有竞争方法。特别是，相对于Mean Weather的改进表明，从整个生长时期的环境数据中提取适当的时间序列信息在基因组预测中起着重要作用。(4)在基因型和环境特定情景下获得的两个最高PCC值进一步验证了我们的框架对未知基因型和环境的强泛化性。这更符合现实世界的情况，这可能有助于作物育种者回答两个关键问题:“如果在已知环境条件下种植新创造的种质，可以获得什么样的目标性状值?”和“如果将现有的种质种植到未知的环境中，将获得什么样的目标性状值?””。

我们还研究了单个气候变量及其组合的影响(图9 9-10)，揭示了考虑更多样化的环境因素有助于构建更准确的基因组预测模型。幸运的是，与大多数现有方法相比，我们的框架使用每周环境数据作为顺序输入;因此，它可以通过简单地在每个时间步增加输入记录向量的长度，可以灵活地扩展以纳入额外的环境变量(例如，土壤条件、施肥、灌溉和微生物等)。此外，通过Bi-LSTM和Transformer实现，我们的环境特征提取器F_E(⋅)可以动态处理变长序列输入。这使我们能够使用统一的模型处理具有不同生长周期长度的作物样本，而无需修改其结构。最后，我们进行了可解释性分析，以探索所提出框架的预测机制。图11-13所示的可视化结果表明，基因型和环境数据对表型预测都有各自的贡献，并表明我们的框架可以从提取这两种类型输入的信息特征中获益。值得注意的是，不同的环境可能会极大地影响同一基因型的表达，从而验证了考虑外部生长环境对作物育种的重要性。

尽管具有上述优势，但我们的框架在处理多模态融合表示方面可能存在潜在的局限性。与之前的研究一样，我们建立了一个基于CNN架构的表型预测网络。这主要是因为其权值共享机制引入的模型参数相对较少，且其卷积操作具有一定的平移不变性。然而，由于相邻的SNP标记可以在原始基因序列中定位到距离较远的位置，因此使用局部卷积核。如在CNN中，可能无法正确地模拟这种非局部性。因此，尽管已经取得了令人印象深刻的性能，但CNN可能不是SNP序列建模的最佳选择。

此外，虽然我们的方法在所有三种场景中都产生了最好的结果，但与其他两种场景相比，其对特定环境场景的预测性能仍然显示出显着的差距。我们分析了这一现象背后的主要原因是，不同环境条件之间的相互关系可能相对弱于不同基因型序列之间的相互关系。这将在使用我们学习的模型正确估计训练过程中未遇到的未知环境的影响时带来困难，从而最终降低了环境特定场景的预测精度。

5.结论

在本研究中，我们组织了一个大规模的作物数据集，其中包含来自全球多个地点的综合基因型和表型数据，这些数据跨越数年，以及9种不同气候变量的相关实值环境记录。该数据集有可能缓解当前基因组选择研究中的数据稀缺性问题，因此可以为训练和评估基于深度学习的基因组预测模型提供有效支持，特别是对于那些研究G×E相互作用的模型。基于我们组织的数据集，我们开发了一个多模态融合框架，可以通过有效利用基因型和环境数据来实现高精度的表型预测。该框架展示了与现有的最先进的方法相比，包括最近提出的DNNGP模型，预测精度有了相当大的提高。更重要的是，通过从每周环境记录中捕获时间序列序列信息并通过多模态融合模块建模G×E相互作用，我们提出的框架显示出对未知基因型和环境的强大泛化能力，使其能够应用于更实际的现实世界植物育种计划中。因此，本研究的上述两大贡献可以促进基于深度学习的先进技术在基因组预测(选择)领域的有效性和适用性，无论是在数据集收集方面还是在模型设计方面。在我们未来的工作中，我们希望探索先进的技术，从环境数据中捕获更有效的特征，从而进一步提高我们的框架对未知环境的泛化能力。

代码地址

本研究的源代码可在GitHub存储库中公开获取：https://github.com/XiangXiangHotSpot/DeepGxE。

文献地址

文献地址：https://doi.org/10.1016/j.compag.2024.109833