0.   引言

石榴种植是陕西省西安市临潼区农业的重要产业，种植面积广阔。为实现高产高质，精准把握果树生长健康状态至关重要，而叶绿素含量作为表征作物光合作用效率、养分吸收、能量累积和抗逆能力的重要指标，是评估石榴树生长和健康的重要参数^[1]。因此，高效、精准地获取果园内石榴树的叶绿素含量，成为提升果园管理效率的关键。传统的叶绿素测定方法主要依靠化学分析，如分光光度计法、荧光光度计法等。尽管这些方法较为精准，但操作烦琐且实时性差。手持式叶绿素仪虽然方便携带且操作简单，但其测量范围有限，难以满足大面积果园高效管理的需求^[2]。因此，研发一种快速、准确的预测方法对于大面积果园管理具有重要意义。

随着计算机视觉与深度学习技术的迅猛发展，基于图像分析的叶绿素含量估算方法逐渐在农业领域受到关注。同时，无人机作为现代农业的新兴工具，凭其强大的环境适应性、操作灵活性及广泛覆盖性，在农业领域展现巨大潜力^[3]。

目前，针对农作物生物量反演的研究方法主要是经验统计回归与机器学习法。贺英等^[4]通过无人机获取玉米RGB图像，建立回归模型进行叶绿素含量预测。QIAO L等^[5]构建基于颜色和纹理特征的BP神经网络模型，用于估算玉米叶绿素含量。同时，多光谱遥感与深度学习方法被逐渐应用于作物生长参数估计^[6-7]。罗小波等^[8]利用多光谱无人机获取多波段反射率数据，综合对比全子集回归、偏最小二乘回归和深层神经网络（DNN）的反演精度。LIU P D等^[9]提出多光谱指数组合构建逐步线性回归（SLR）和反向传播人工神经网络（ANN）方法用于估算叶绿素含量。马纬等^[10]采用无人机搭载多光谱传感器对田间荞麦冠层叶片氮含量进行定量化估测，为荞麦叶片的信息化管理提供理论依据。

面对果园面积扩大带来的数据量激增及环境复杂性增大等问题，上述研究由于采用特征结构相对单一，可能受土壤条件及病虫害压力等多重因素干扰^[11]。为提高作物生长参数估计精度和稳定性，本研究提出一种基于无人机RGB与多光谱图像特征融合，构建卷积神经网络−双向门控循环单元（CNN-BiGRU）深度学习模型的叶绿素含量预测新方法，旨在充分利用卷积神经网络（CNN）在特征提取方面及双向门控循环单元（BiGRU）在处理长序列数据中的优势，通过多特征融合策略，深入挖掘数据间的复杂关系，以期实现大面积果园叶绿素含量的快速、准确预测，为果园现代化管理提供有力技术支撑。

1.   网络模型

1.1   卷积神经网络

CNN是一种深度前馈神经网络，灵感源于人类大脑神经元结构，通过局部连接和权值共享机制自动提取数据中的关键特征^[12]。其核心由卷积层、池化层及全连接层构成。卷积层负责通过卷积操作提取输入数据的高层次特征；池化层则对卷积输出进行特征选择与过滤，降低数据维度以防过拟合；全连接层对池化后的特征进行扁平化及非线性变换，输出分类或识别结果。这些层次共同作用下，有效捕获数据关键信息并降低特征提取复杂度。CNN结构如图1所示。

图  1  CNN结构

Figure  1.  Structure of CNN

下载: 全尺寸图片 幻灯片

1.2   双向门控循环单元

门控循环单元（GRU）是一种改进的循环神经网络（RNN）结构，在处理序列长期依赖时比传统RNN更有效^[13]。它通过引入重置门（Reset Gate）和更新门（Update Gate）机制，利用可学习参数灵活控制信息流动，从而捕捉序列的短期和长期依赖，提升模型的效率和表现。GRU结构如图2所示。

图  2  GRU模型

I_t为当前时刻的输入；h_t-1为上一时刻的隐状态；h_t为当前时刻的隐状态；R_t为重置门，控制当前输入与历史信息之间的权衡；Z_t为更新门，控制当前隐状态保留多少来自过去的信息及多少来自当前的候选状态；$ {\tilde h_{{t}}} $为当前时刻的新信息，用于与历史信息结合生成最终的隐状态

Figure  2.  Structure of GRU

下载: 全尺寸图片 幻灯片

传统GRU结构只能单向传播，t时刻的详细信息仅与过去的时间相关。然而，在时间序列任务中，如果结合t时刻对未来数据的影响，模型的预测效果将显著提升。因此构建BiGRU，如图3所示^[14]。BiGRU的关键思想是同时处理输入序列的前向和后向信息，将其分别输入到BiGRU中，并融合两个方向的隐藏状态。这种方式使模型能够全面捕捉序列的上下文信息，从而更准确地理解数据特征。

图  3  BiGRU结构

I₀、I₁、…、I_n为输入；O₀、O₁、…、O_n为输出

Figure  3.  Structure of BiGRU

下载: 全尺寸图片 幻灯片

1.3   结合双向门控循环单元的卷积神经网络

基于上述结构，本研究为实现在多类特征融合情况下对石榴树叶绿素含量准确且快速地预测，构建CNN-BiGRU，结构如图4所示。CNN-BiGRU结合CNN可以有效地从原始数据中提取出局部和层次化的特征，以及BiGRU捕获数据中依赖关系的优点，因此本模型拥有从数据中提取有效特征并做出准确预测的能力。同时，由于其强大的特征提取和序列建模能力，CNN-BiGRU还具有较好的泛化性能。

图  4  CNN-BiGRU结构

Figure  4.  Structure of CNN-BiGRU

下载: 全尺寸图片 幻灯片

2.   试验设计与分析

2.1   研究区位置

研究区位于陕西省西安市临潼区石榴红生态科技园（北纬34°27′，东经109°20′），以石榴树作为试验材料。临潼区位于东亚暖温带半湿润气候向内陆干旱气候的过渡带上，兼有两种气候的特点，属于大陆性暖温带季风气候。年平均最高气温19.4 °C，年平均最低气温8.5 °C，年平均日气温较差10.9 °C；年降雨量591.8 mm，满足石榴树生长需求。研究区正射影像如图5所示。

图  5  研究区正射影像

Figure  5.  Orthophoto map of study area

下载: 全尺寸图片 幻灯片

2.2   数据采集

2.2.1   石榴树冠层图像采集

在石榴树开花期（2024年5月9日），采用大疆Mavic 3M无人机在中午时段（12: 00—15: 00）以50 m高度飞行，获取果园内石榴树冠层的RGB图像及包含绿光、红光、红边和近红外波段的多光谱图像。随后，通过Pix4D软件（Pix4D， Lausanne，瑞士）拼接成TIF格式的遥感影像，并借助ENVI软件（Exelis Visual Information Solutions，美国）对多光谱图像进行校正和切割处理，获得石榴树冠层图像数据集^[15]。拼接过程如图6所示。

图  6  图像拼接示意

Figure  6.  Schematic representation of image stitching

下载: 全尺寸图片 幻灯片

2.2.2   叶绿素含量实际值测定

采用分光光度计法测量叶片叶绿素含量实际值。为保证叶绿素含量测定的时效性，在无人机采集图像的同时采集石榴树叶片，每棵石榴树选择大小均匀的健康叶片20片，并分别装袋冷藏封存，随后在实验室采用浸提法提取样品叶绿素含量。将丙酮、无水乙醇和蒸馏水3种溶液按体积比9∶9∶2配置混合溶液，选择石榴树的完全展开叶片，剪碎后混合均匀，称取0.4 g加入200 mL混合溶液。在实验室遮光环境下静置，直到样品完全发白，利用分光光度计测定提取液在663和645 nm处的吸光度，根据式（1）计算石榴叶样品的叶绿素含量^[16]。以此数据作为单棵石榴树叶绿素含量C_Chl。通过不断测定得到整个果园石榴树叶绿素含量数据并建立叶绿素含量数据集。

式中　D₆₆₃、D₆₄₅——样品在663和645 nm处吸光度

2.3   数据处理

由于石榴树冠层难以完全遮蔽土壤背景，并且土壤像元的色值参数与反射率相对于石榴树冠层有所不同。因此，为了精确获取石榴树冠层的特征和数据，避免土壤背景对数据分析的潜在干扰，需要对土壤背景进行剔除，保留冠层部分。

2.3.1   RGB图像处理

处理RGB图像时，使用Mean-Shift法进行图像分割剔除背景。该方法首先在颜色空间中找到颜色分布峰值，然后通过移动均值将相似颜色的像素进行聚类。根据聚类结果，选择性地移除或保留特定颜色簇，达到去除背景的效果^[17]。均值漂移基本公式为

式中　M_h——均值漂移向量

k——在当前邻域S_K中数据点数量

S_K——满足点到x的距离小于球半径h的数据点集合

j——当前邻域中数据点编号

x_j——球心x位置更新，更新公式为

M_k——每一次计算得出的漂移向量

2.3.2   光谱图像处理

而对于多光谱图像，需要在ENVI软件中计算归一化阴影植被指数（NSVI），采用阈值法将石榴树像元和土壤像元进行分离，以剔除土壤背景^[18]。

式中　I_NDV——归一化植被指数

R——红光波段反射率

R_NI——近红外波段反射率

I_SV——阴影植被指数

I_NSV——归一化阴影植被指数

I_{SV, max}、I_{SV, min}——阴影植被指数最大值和最小值

2.4   建立数据集

2.4.1   RGB特征参数集

将去除背景后的整幅果园正射图像进行切割，得到以单棵石榴树为样本的1033个石榴冠层图像，提取RGB图像的颜色特征和纹理特征参数，并将这些参数与地面叶绿素数据进行Pearson相关性分析^[19]。Pearson相关系数r的计算式为

式中　n——数据数量

x_i——第1组第i个数据

x——第1组数据平均数

y_i——第2组第i个数据

y——第 2 组数据平均数

r取值范围[−1，1]，其绝对值越越接近1，两组变量之间的相关性越强。

RGB图像特征参数与叶绿素含量相关性排序如图7所示。

图  7  RGB图像特征参数与叶绿素含量相关性排序

Figure  7.  Sorting chart of correlation between RGB image feature parameters and chlorophyll content

下载: 全尺寸图片 幻灯片

由图7可知，Red Mean、GBDI、NRI等14种RGB图像特征参数与叶绿素含量的相关系数r的绝对值＞0.8，因此选择这14种与叶绿素含量相关性较高的参数建立RGB特征集，其对应的计算公式如表1所示。

表  1  RGB图像特征参数

Table  1.  Characteristic parameters of RGB images

参数	公式
平均红色通道值（Red Mean）	$ R $
平均绿色通道值（Green Mean）	$ G $
平均蓝色通道值（Blue Mean）	B
红绿差值指数（RGDI）	$ R - G $
绿蓝差值指数（GBDI）	$ G - B $
红蓝比值指数（RBRI）	$ R/B $
平均明度值（Value）	$ V $
平均饱和值（Saturation）	$ S $
蓝红比值指数（BRRI）	$ B/R $
红蓝差异标准化值（RBDNSI）	$ {{(R - B)} \mathord{\left/ {\vphantom {{(R - B)} {(R + B + G)}}} \right. } {(R + B + G)}} $
归一化红蓝差异指（数NRBDI）	$ {{(R - B)} \mathord{\left/ {\vphantom {{(R - B)} {(R + B)}}} \right. } {(R + B)}} $
红光标准化值（NRI）	$ {R \mathord{\left/ {\vphantom {R {(R + B + G)}}} \right. } {(R + B + G)}} $
纹理均值（Mean）	$ \dfrac{1}{{L - 1}}\displaystyle\sum\limits_{i = 0}^{L - 1} i p({Z_i}) $
纹理熵（Entropy）	$ \displaystyle\sum\limits_{i = 0}^{L - 1} {p({Z_i}){{\log }_2}p({Z_i})} $
纹理一致性（Uniformity）	$ \displaystyle\sum\limits_{i = 0}^{L - 1} {{p^2}({Z_i})} $
注：L为灰度级数，i为灰度值的索引即对应的灰度值，Zi为灰度值i所对应的强度，p(Zi)为灰度值Zi的概率分布。

下载: 导出CSV 

| 显示表格

2.4.2   多光谱植被指数集

植被指数（VI）是对地表植被状况的简单、有效和经验的度量，可以通过两个或多个波段反射率的组合计算得出^[20]。

本研究通过利用ENVI软件获取单个样本多光谱图像的各波段反射率，并利用这些数据计算植被指数，最后将这些植被指数与地面叶绿素数据进行Pearson相关性分析。多光谱植被指数与叶绿素含量相关性排序如图8所示。

图  8  多光谱植被指数与叶绿素含量相关性排序

Figure  8.  Sorting chart of correlation between multispectral vegetation index and chlorophyll content

下载: 全尺寸图片 幻灯片

由图8可知，NDVI、NDRE、GNDVI等10种多光谱植被指数与叶绿素含量的相关系数r＞0.8，因此选择这10种相关性较高的植被指数建立多光谱特征集，其对应的计算公式如表2所示。

表  2  多光谱图像植被指数

Table  2.  Vegetation index of multispectral image

植被指数	公式
归一化植被指数（NDVI）	$ {I}_{\mathrm{N}\mathrm{D}\mathrm{V}}=\dfrac{{R}_{\mathrm{N}\mathrm{I}}-R}{{R}_{\mathrm{N}\mathrm{I}}+R} $
归一化差红边指数（NDRE）	$ {I}_{\mathrm{N}\mathrm{D}\mathrm{R}\mathrm{E}}=\dfrac{{R}_{\mathrm{N}\mathrm{I}}-{R}_{E}}{{R}_{\mathrm{N}\mathrm{I}}+{R}_{E}} $
归一化绿度植被指数（GNDVI）	$ {I}_{\mathrm{G}\mathrm{N}\mathrm{D}\mathrm{V}}=\dfrac{{R}_{\mathrm{N}\mathrm{I}}-G}{{R}_{\mathrm{N}\mathrm{I}}+G} $
比值植被指数（RVI）	$ {I}_{\mathrm{R}\mathrm{V}}=\dfrac{{R}_{\mathrm{N}\mathrm{I}}}{R} $
绿度比值植被指数（GRVI）	$ {I}_{\mathrm{G}\mathrm{R}\mathrm{V}}=\dfrac{{R}_{\mathrm{N}\mathrm{I}}}{G} $
红边比值植被指数（RERVI）	$ I_{\mathrm{RERV}}=\dfrac{R\mathrm{_{NI}}}{R_{\mathrm{E}}} $
增强型植被指数（EVI）	$ {I}_{\mathrm{E}\mathrm{V}}=\dfrac{{2.5(R}_{\mathrm{N}\mathrm{I}}-R)}{{R}_{\mathrm{N}\mathrm{I}}+6R-7.5B+1} $
三角植被指数（TVI）	ITV=0.5[(120RE−G)−200(R−G)]
作物氮反应指数 （NRI）	$ {I}_{\mathrm{N}\mathrm{R}}=\dfrac{G-R}{G+R} $
地面叶绿素指数（MTCI）	$ {I}_{\mathrm{M}\mathrm{T}\mathrm{C}}=\dfrac{{R}_{\mathrm{N}\mathrm{I}}-{R}_{\mathrm{E}}}{{R}_{\mathrm{E}}+R} $
注：R、G、RNI和RE分别为红光波段、绿光波段、近红外波段和红边波段的反射率。

下载: 导出CSV 

| 显示表格

2.4.3   融合特征集

特征融合作为一种高效的数据整合方法，其核心在于将多个独立的特征集或数据集合并为一个综合的、信息更为丰富的新数据集。这一过程旨在利用不同特征之间的互补性和交互作用，从而提升预测模型的准确性和整体性能。为了深入探究各类特征对预测模型效果的影响，以及进一步优化预测精度，本研究将RGB图像的颜色特征集与多光谱图像植被指数集进行有效的数据融合，生成融合特征集。融合特征集不仅保留RGB图像在色彩表现与纹理细节上的独特优势，还融合植被指数在反映植被生长状态、健康状况等方面的关键信息，进而促进模型对复杂环境下的叶绿素含量预测能力，为实现精准农业管理和决策支持奠定坚实基础。

2.5   模型训练

分别基于两种特征集及融合特征集建立模型并进行训练，整个数据集中建模集和验证集的比例7∶3。试验程序运行环境为笔记本电脑，操作系统 Windows 11，驱动程序为NVIDIA GeForce RTX 3050的31.0.15.2892版本，CUDA版本11.5。所有模型及试验均在同一环境下进行。将CNN-BiGRU与CNN、RF进行分析对比。CNN-BiGRU各类超参数设置：优化器Adam；批尺寸大小16；学习率设置0.001；BiGRU数64。

2.6   评价指标

选择决定系数、相对误差、均方根误差评估模型的性能，验证模型的决定系数越大，相应的均方根误差和相对误差越小，模型的预测能力越好。计算公式为

式中　R²——决定系数

E_RMS——均方根误差

E_R——相对误差

n——预测集样本数量

p(x_i)——预测值

y_i——实际值

y——实际平均值

3.   结果与分析

为了验证不同特征对模型训练和试验结果的影响，分别在3种不同的特征集上建立模型进行验证。使用决定系数、相对误差、均方根误差评估模型的性能，比较RF和CNN两种不同方法的预测结果^[21-22]。

3.1   不同特征下构建石榴树叶绿素含量预测模型

分别利用RGB图像特征参数集（RGB-Feature）、多光谱图像植被指数集（MSI-Feature）和特征融合集（Combine-Feature）构建石榴树叶绿素含量预测模型，结果如表3所示。

表  3  石榴树叶绿素含量模型预测结果

Table  3.  Prediction results of chlorophyll content model of pomegranate tree

模型	特征集	建模集			验证集
		决定系数	均方根误差		决定系数	相对误差	均方根误差
RF	RGB-Feature	0.8798	1.7832		0.8673	0.0384	1.8359
	MSI-Feature	0.9038	1.5318		0.8791	0.0346	1.7518
	Combine-Feature	0.9250	1.3896		0.9092	0.0249	1.5294
CNN	RGB-Feature	0.9086	1.5407		0.8982	0.0284	1.6098
	MSI-Feature	0.9205	1.4952		0.9135	0.0235	1.5159
	Combine-Feature	0.9466	1.1807		0.9335	0.0171	1.2358
CNN-BiGRU	RGB-Feature	0.9311	1.3034		0.9247	0.0207	1.4161
	MSI-Feature	0.9558	0.9536		0.9369	0.0145	1.1268
	Combine-Feature	0.9853	0.6108		0.9737	0.0042	0.8233

下载: 导出CSV 

| 显示表格

由表3可知，在不同特征集下建立的3种模型中CNN-BiGRU的预测效果最好，相比于其他两个模型，精度有明显提升。尤其是在利用特征融合集构建石榴树叶绿素含量预测模型时，得到了最好的预测效果，CNN-BiGRU决定系数高达0.9737，而相对误差、均方根误差分别低至0.0042和0.8233。

3.2   最优石榴树叶绿素含量预测模型

在使用不同类别数据集进行建模时，CNN-BiGRU展现最佳的预测能力，当使用融合特征集作为输入时，CNN-BiGRU模型效果得到进一步提升。在融合特征集条件下不同模型预测效果如图9所示。

图  9  在融合特征集下石榴树叶绿素含量实际值与预测值关系

Figure  9.  Relationship between measured and predicted chlorophyll content of pomegranate trees under fusion feature set

下载: 全尺寸图片 幻灯片

利用融合特征集构建模型充分利用多种特征信息，不仅彰显多特征融合策略在提升模型预测能力方面的显著优势，还预示利用丰富且互补的特征信息进行复杂生物性状预测具有广阔的发展潜力和应用前景。本研究不仅验证CNN-BiGRU模型在叶绿素含量预测任务中的优越性，还强调特征融合作为提升模型性能重要手段的价值。经过综合对比，采用Combine-Feature特征集构建CNN-BiGRU模型可以实现石榴树叶绿素含量的精准预测。

4.   结束语

基于不同特征集构建的CNN-BiGRU深度融合预测模型，充分利用多种尺度特征信息，提高预测精度。CNN-BiGRU结合CNN自动提取特征和BiGRU捕获数据中依赖关系的优点，使CNN-BiGRU拥有从数据中提取有效特征并做出准确预测的能力。通过与RF、CNN进行对比分析表明，CNN-BiGRU在预测石榴树叶绿素含量方面展现更为优越的性能，尤其在使用Combine-Feature特征集时达到最好的预测效果。因此，使用多光谱无人机结合深度学习技术，可以快速、准确地从正射影像中预测石榴的叶绿素含量，为石榴树监测和叶绿素管理提供一种快速、低成本的方法。

与已有研究相比，本研究方法在预测精度和实时性方面有所改进，但仍需更多实证数据支持，进一步研究可考虑扩大样本量以验证模型的稳健性。此外，未来研究可进一步探讨不同环境条件及不同预测对象下模型的适用性，以及如何优化特征选择和模型参数设置，以提升预测精度和模型的泛化能力。