Recognizing tea diseases with fusion on 2D DWT and MobileNetV3
-
摘要:
针对现有茶叶病害识别方法病害信息挖掘不足导致识别准确率低的问题，该研究提出了一种基于二维离散小波变换(discrete wavelet transform, DWT)和MobileNetV3融合的茶叶病害识别模型CBAM-TealeafNet。为增强网络对病害频域特征的检测能力，将2D DWT获取的频域特征与bneck结构提取的深度特征融合，形成频域与深度特征融合的识别网络。为提高特征提取能力，在bneck结构中，嵌入卷积块注意模块 (convolutional block attention module, CBAM)，为特征通道分配相应权重。为解决样本类别不平衡对识别模型性能的影响，利用焦点损失函数取代交叉熵损失函数以提高识别精度。经验证，CBAM-TealeafNet在5种不同茶叶病害上整体识别准确率达到98.70%，参数量为3.16×106，相对MobileNetV3，准确率提升2.15个百分点，参数量降低25.12%。该方法可为茶树叶部等作物病害轻量级识别研究提供模型参考。
Abstract:Diseases have posed the serious threaten on the yield and quality of tea production. An accurate and rapid recognition of leaf diseases is essential to the instant diseases prevention of tea plantation. Deep learning can be expected to realize a rapid and accurate identification of tea diseases in natural environment with the advantages of low cost and high efficiency, compared with typical disease diagnosis. However, the previous models have much more parameters and computational complexity for the leaf diseases diagnosis. Furthermore, the lightweight models cannot fully meet the fine-grained feature extraction. In this study, a disease recognition network (CBAM-TealeafNet) was proposed to extract the frequency features by the 2D discrete wavelet transform (2D DWT) and depth features by the bneck structure. Frequency features were then decomposed to suppress the high-frequency components. The fused feature module was used to reduce the impact of noise on the features for the features enhancement. CBAM (convolutional block attention module) was embedded to improve the feature extraction capability in the bneck structure. The weights were allocated into the feature channels and spatial position features of diseases. The function of focal loss was employed to replace the primitive cross-entropy loss, in order to better resolve the imbalance influences on sample class for the high accuracies. Totally, 3, 260 disease images of Shaanxi Tea No.1 and Longjing No.43 were captured, including five tea disease categories: gloeosporium theae-sinensis miyake, colletotrichum camelliae massee, cercospora theae breadade haan, exobasidium vexans masse, and phyllosticta theicola petch. The real environment was also simulated to evaluate the datasets. The images were then enhanced. Experiments were carried out to validate the optimal model structure and the improvement analysis of each component. The model was optimized for the hyperparameters setting. The final optimal learning rate was 0.000 5, which was derived from an initial learning rate range of 0.000 05-0.005. In addition, the whole recognition structure and the base model structure of MobileNetV3 were optimized to determine the optimal number of fusion layers and the fusion ratio on frequency and depth feature channels. The results showed that the CBAM-TealeafNet model was achieved in the higher accuracy on the tea disease recognition, compared with the previous models. The number of parameters was ranked secondly last only to MCA-MobileNet model. The CBAM-TealeafNet model increased the accuracy by 2.15%, whereas, the number of parameters decreased by 25.12%, compared with the NobiNetV3. Misidentification images and confusion matrix indicated that the CBAM-TealeafNet shared the better performance to highly distinguish between foreground and background, thus greatly improving the situation of disease confusion. In addition, the functions of cross-entropy and focal loss were compared to verify the accuracy of recognition on the dataset imbalance. Moreover, the CBAM model performed the superior to the SENet and ECANet, in terms of performance improvement. The CBAM-TealeafNet was employed to recognize the tea diseases. An accuracy of 98.70% and a F1-Score of 98.69% were achieved with the parameter number of 3.16×106 and FLOPs (floating-point operations) of 4.5×108. The CBAM-TealeafNet can be expected to effectively identify the diseases under the complicated environment, particulary with the characters of less parameter memory and higher inference speed. Misidentification of CBAM-TealeafNet will be reduced in future investigation. This finding can also provide a strong reference for the model construction on the recognition of common tea leaf diseases.
-
Keywords:
- diseases /
- image recognition /
- tea /
- 2D DWT /
- features fusion /
- CBAM /
- focal loss
-
0. 引 言
病害是影响茶叶产量和品质的重要因素之一。2021年中国茶园面积为330.8万hm2，相比2020年提升2.83%[1]。但受叶枯病等相关病害影响，茶叶产量每年减少约20%[2]，社会和经济效益受到损失[3]。因此，准确、快速的识别与诊断茶叶病害是防止茶叶产量和品质降低的重要手段。
近年来，基于机器和深度学习的茶叶病害识别方法已得到了广泛应用[4-8]，然而，基于机器学习的识别分类方法需要大量的图像分割及特征提取，但是农作物病斑复杂，难以确保分割出来的区域就是目标特征区域，因此该类方法存在鲁棒性低、 泛化能力弱等问题[9-10]。针对机器学习方法存在的问题，越来越多的学者采用深度学习模型识别茶叶病害[11-13]。如，HU等[14]为提取茶叶病害特征，集成2个卷积神经网络(convolutional neural network, CNN)构建MergeModel模型用于小样本茶叶病害的识别，其浮点运算次数(floating-point operations, FLOPs)达到1.6×1010。此外，针对茶叶病害样本分布不均匀导致识别效果差的问题，李子茂等[15]以DenseNet为基础构建的SE-DenseNet-FL模型在茶白星病、茶轮斑病和茶煤病等5类病害上识别准确率达到92.66%。以上茶叶病害识别模型采用大型CNN进行改进，计算较为复杂，参数量略大，且部署和应用要求较高，因此，高准确率的轻量级识别模型在实际生产中更具应用价值。在轻量型神经网络的应用中，MobileNet常被用作基础模型[16-18]。为减少模型参数量和运算量，使模型更为轻量化的同时保证良好的识别结果，研究人员对模型结构进行改进，并嵌入注意力机制 [19-21]。但在茶叶病害识别方面，由于数据集规模小，部分图像病害病斑分布相对稀疏，现有轻量化模型针对该问题难以达到高精度分类效果。
在真实场景下的病害识别中，由于特征提取受复杂背景影响，特征自身分布复杂，模型的抗干扰和特征提取能力下降，进而导致病害信息挖掘不足。为此CHOUDHARY等[22-23]等利用小波提取单通道图像频域特征，并将其作为模型输入，均取得了良好的识别效果。若能把各颜色通道的频域和卷积特征融合[24]，在减少噪声影响的同时获取多源信息，发挥小波在病害特征提取方面的多分辨率分析能力，模型分类的准确率将进一步得到提升。鉴于此，本文通过二维离散小波变换(discrete wavelet transform, DWT)获取频域特征，并与MobileNetV3提取特征进行融合。注意力机制能够有针对性地学习特征信息，是提高识别准确率的有效手段[25-28]，将MobileNetV3中的原始注意力模块SENet[29]优化为CBAM[30]，完成CBAM-TealeafNet模型的构建。在云纹叶枯病、茶赤叶斑病、茶圆赤星病、茶饼病与茶炭疽病5类茶叶病害数据集上通过试验验证该模型对茶叶病害识别的有效性。
1. 材料与方法
1.1 试验数据
1.1.1 数据样本采集
茶叶病害图像采集于陕西省汉中市西乡县的西北农林科技大学西乡茶叶试验示范站及周边茶园(107°40'51.8016" E，32°57'56.0556" N，海拔400～500 m)。采集时间2022年5月2日至5月9日。使用Redmi K40手机采集了陕茶1号和龙井43上的云纹叶枯病、茶赤叶斑病、茶圆赤星病、茶饼病与茶炭疽病5类病害图像数据，各类病害特点如表1所示。为提高训练样本的多样性，在不同环境下多角度摄取图像数据。图像样本实例如图1所示，在陕西省茶叶产业技术体系首席专家团队及植保专家指导下，共采集样本3 260幅。
表 1 茶叶病害特点Table 1. diseases’ characteristics in tea leaf病害类型
Diseases特点
Characteristics数量Amounts 原始图像
Original image增强后图像
Enhanced image茶炭疽病
Goeosporium theae-sinensis Myake病斑呈半圆形或不规则形，初始产生水渍状黄褐色小点，扩展后病斑为焦黄色 638 3 828 云纹叶枯病
Clletotrichum camelliae Mssee病斑初呈黄褐色水渍状，逐渐扩展为近圆形或不规则褐色大斑 582 3 492 茶圆赤星病
Crcospora theae beadad Haan初生褐色小点，部分沾染泥泞图像与其相似。后扩大成为圆形病斑，中央凹陷 709 4 254 茶饼病
Exobasidium vexans Masse初呈淡黄色水渍状病斑，中期背面凸起呈馒头状。后期病斑萎缩呈褐色枯斑 679 4 074 茶赤叶斑病
Phyllosticta theicola Petch病斑初呈浅褐色，后扩展到半叶或全叶的不规则病斑，颜色逐渐呈红褐色 652 3 912 1.1.2 预处理与数据集
为降低复杂背景对特征提取的影响，对数据样本进行裁剪处理。即截取图像中目标的外接矩形框，然后进行剪切扩充操作，用0像素值将图像填充使其宽高相等，并将数据集中图像尺寸统一为224×224×3。
同一叶片在不同拍摄环境下状态表现不同，其大小、位置、方向以及明暗度都会发生明显变化。为提高网络模型的泛化能力，对数据集进行增强处理。云纹叶枯病病斑部分区域因为光照和角度呈赤色，同原本的褐色混杂后呈模糊状态。同时茶叶病害病斑不规则且大小不同，不同光照环境下图像明晰程度不同，部分病害叶片图像受雨露和泥泞影响也会产生噪点，故采用以下5种数据增强方式：1）模糊；2）缩放；3）旋转；4）亮化暗化；5）添加噪声。数据增强前后的样本数量变化如表1所示，按照6:2:2划分训练集、验证集和测试集。
1.2 方 法
1.2.1 茶叶病害整体识别模型
实际应用中要求茶叶病害识别模型轻量化、识别精度高，故本文以MobileNetV3为基模型，频域和深度特征融合为基础提取特征，使用CBAM优化基模型中的SENet，构建如图2所示的网络模型。模型输入为224×224的3通道RGB图像，输出对应5类茶叶病害类型。在MobileNetV3模型中存在多处下采样过程，随网络的加深特征图尺寸逐渐减半，而每次的2D DWT也会导致频域特征矩阵宽高上的缩减。基于上述频域和深度特征通道的数量关系，2D DWT可在网络的特征矩阵尺寸缩减时与空间域特征进行融合，丰富提取到的病害特征。
![]()
图 2 CBAM-TealeafNet网络结构注：CBAM，积块注意模块Figure 2. The network structure of CBAM-TealeafNetNote: CBAM, convolutional block attention module逆残差结构可在接收丰富特征信息的同时显著减少模型推理过程所需内存[31]，h-swish激活函数可保留特征信息的多样性，增强病害特征的表达能力。优化后的bneck结构如图3所示，利用逆残差结构处理输入特征，用1×1卷积进行升维处理，通过3×3的可分离卷积实现降维，通过CBAM调整特征权重，h-swish作为激活函数来提高网络的准确性。
为确定最优基模型结构并尽量缩减参数量，以输入特征图尺寸变化为依据，MobileNetV3的bneck结构数可划分为(2, 2, 3, 6, 2)。模型参数量大小主要由最后两部分bneck结构数影响，设置4个模型的bneck数分别为(2, 2, 3, 2, 1)、(2, 2, 3, 2, 2)、(2, 2, 3, 4, 1)和(2, 2, 3, 4, 2)，采用准确率(Accuracy)、精确率(Precision)、召回率(Recall)以及F1值(F1-score)作为评价指标进行性能对比[32]。实际应用中也需要平衡摸型参数量和模型识别速度，故比较模型的参数量和FLOPs，验证后选择结构为(2, 2, 3, 2, 1)的模型与频域特征融合。
颜色是区分不同病害的重要依据，为保留颜色特征，对输入图像的R、G、B通道分别进行1级小波分解，重构后经3×3卷积调整为112×112×16的特征图。将特征图送入第一层特征融合模块时，首先利用Stride为1的bneck对特征图进行升维后降维处理，加速模型收敛的同时减少参数量，再通过Stride为2的bneck调整特征图为56×56×24。同时，进行2级小波分解并重构形成12通道特征图，利用卷积调整通道数，完成频域和深度特征第1层融合。茶赤叶斑病和云纹叶枯病发病区域相近，病斑状态相似，病斑特征差异不大。在空间域特征提取时采用CBAM为特征层赋予不同权重，降低特征冗余产生影响，能有效提高对细小差异病斑图像特征的学习能力，最终将得到的56×56×48特征图作为下一层输入。
在后续2层频域和深度特征融合中，深度特征均通过两类不同Stride的bneck完成特征提取和下采样。频域特征则通过对上一层小波分解得到的低频特征信息再次进行2D DWT操作。两者拼接后送入到下一层，频域与空间域特征持续融合，网络中的下采样过程也通过2D DWT以及降维操作代替，可降低有用特征的损失。网络尾部则保持MobileNetV3原有的结构不变，损失函数使用Focal Loss[33]来降低易分类样本权重，缓解样本不均衡带来的问题。
1.2.2 频域和深度特征融合
自然状态下采集的茶叶病害图像，往往存在光照阴影、杂草、枝干等非结构化、交叉重叠的复杂背景，会有一定程度的误识别。2D DWT不仅可以降低噪声影响，弱化其他干扰因素，其多分辨率分解能力还可聚焦茶叶病害图像的细节信息。此外，对图像的RGB通道分别处理，也可保留茶叶病害图像颜色信息。故使用2D DWT有助于提取用于区分茶叶病害的高阶抽象特征，提高模型识别效果。2D DWT经一次分解后，可获得1个包含图像低频信息的小波子带和3个体现高频信息的小波子带，高频特征存储病害部位的细节信息，低频特征存储病叶的基础结构等特征信息。经多次频域特征提取后，可在抑制冗余特征的同时获得较为充分、丰富的病害特征。本文采用Haar小波完成4个层级小波分解，结果如图4所示。大部分噪声存在于分解后的高频分量，下一级小波分解对象是低频分量，经多个层级的小波分解，噪声被逐步抑制。
设计频域和深度特征融合方式如图5所示，输入为上一级频域和深度特征拼接后形成的特征矩阵。在深度特征的提取过程中，经多个bneck结构获取输入特征图的空间域特征，频域特征提取过程中特征矩阵尺寸会减半，为融合特征，利用步长为2的bneck结构调整空间域特征可保证两者尺寸一致。频域特征的提取则是对上一层小波分解得到的低频分量再次通过2D DWT获取该分量的1个低频特征和3个高频特征。任意频率特征矩阵仅包含病害的部分信息，故将特征矩阵进行通道叠加形成多通道特征矩阵。为保证频域和深度特征在网络中权重相同，通过卷积调整通道数一致。最后将2个分支得到的尺寸一致的特征图整体进行通道叠加，完成频域和深度特征的融合。
1.2.3 环境配置与参数设置
模型的构建与改进基于TensorFlow2.8.0框架，在Ubuntu20.04系统下进行模型的训练与测试。服务器上CPU为Intel Xeon E5-2690 V4，配置12G显存NVIDIA GeForce RTX 3080Ti进行加速，cuda版本为11.4.0，cudnn8.2.4。
学习率是影响模型性能的重要因素，学习率过大会导致训练集准确率高于测试集，过小则会延长训练时间。将模型在0.005、0.001、0.000 5、0.000 1和0.000 05的学习率下分别进行训练，准确率对比曲线如图6所示。学习率为0.005时梯度爆炸，训练集准确率最高为24.25%。当学习率为0.000 5时训练集准确率已经达到98.70%，此时模型最快达到峰值，再降低学习率时准确率反而下降。综合收敛速度和准确率考虑确定学习率为0.000 5。
2. 结果与分析
2.1 数据集质量测评
数据集质量对模型性能影响明显，为探究数据增强前后数据集质量变化，将CBAM-TealeafNet模型在增强前后的数据集上分别进行训练，绘制如图7所示曲线。
由图7可知原始数据集由于样本量相对较少导致模型准确率低且易过拟合，识别性能差，数据质量不高。经数据增强后，训练得到的模型准确率得到提升且收敛速度加快，极大改善了过拟合现象。综上，通过数据增强，可得到高质量数据集，从而提高本文模型的识别准确率，同时，数据增强有助于防止过拟合，增强模型的泛化能力。
2.2 模型结构优化试验结果
不同bneck结构数的模型在测试集上的试验结果如表2。由表2可知由于使用bneck中的逆残差结构，网络的特征提取能力得以保留，bneck结构数为(2, 2, 3, 2, 1) 和(2, 2, 3, 4, 1)的模型相较于MobileNetV3在参数量上缩减幅度最大，结构为(2, 2, 3, 4, 1)的模型在准确率上的降幅要远低于结构为(2, 2, 3, 2, 1)的模型，故选择该结构的模型与频域特征进行融合。
表 2 模型结构优化试验结果Table 2. Results with model structure optimization优化方法
Optimistic
methods参数设置
Param settings准确率
Accuracy/%F1-Score/% 参数量
ParametersFLOPs/ 109 缩减bneck
结构数
Reduce bneck
structures(2, 2, 3, 2, 1) 96.14 96.01 2.94×106 0.30 (2, 2, 3, 2, 2) 96.16 96.01 3.74×106 0.33 (2, 2, 3, 4, 1) 96.40 96.08 3.01×106 0.33 (2, 2, 3, 4, 2) 96.44 96.24 3.81×106 0.36 (2, 2, 3, 6, 2) 96.55 96.48 4.22×106 0.42 调整融合
层数
Adjust fusion layers1 97.11 97.12 3.13×106 0.43 2 98.52 98.45 3.14×106 0.44 3 98.70 98.67 3.16×106 0.45 4 98.74 98.73 3.34×106 0.47 调整融合
比例
Adjust fision ratios0.5 97.70 97.66 3.15×106 0.43 1.0 98.70 98.67 3.16×106 0.45 1.5 98.49 98.46 3.18×106 0.48 2.0 98.19 98.17 3.20×106 0.50 注：FLOPs，浮点运算次数。
Note: FLOPs, floating-point operations.为进一步确定模型在茶叶病害识别任务中的最佳结构，对不同频域和深度特征融合层数下的CBAM-TealeafNet模型进行试验。由表2可知，随融合层数的增加参数量和FLOPs略有增多，而准确率提升幅度较大。相比层数1，层数3准确率提高了1.69个百分点，参数量和FLOPs增加了0.95%和4.65%。此外，模型总体上随着层数的增加识别准确率不断提升，但仅通过增加层数来提高识别准确率会导致参数量过大。4层频域和深度特征融合模型的参数量相对于3层增加明显，最终确定频域和深度特征融合层数为3。
在频域和深度特征融合过程中，不同频域和深度特征通道数比例下的模型识别效果存在差异，为确定最优的通道数比例，将其设置为0.5、1.0、1.5和2.0，并在同一测试集上就各项指标进行对比。通过表2可以发现频域和深度特征通道数比例为1.0时，模型准确率相对要高，故在特征融合时将通道数翻倍。
2.3 模型对比试验结果
为验证本文频域和深度特征融合模型的有效性，将CBAM-TealeafNet与MobileNetV3、其他作物轻量级识别模型以及茶叶病害识别模型在茶叶病害数据集上进行比较，同时，为探究CBAM和Focal Loss对模型的提升效果，与仅含有特征融合的TealeafNet作对比。测试集上不同评价指标对比结果如表3所示。
表 3 不同模型性能对比Table 3. Performance comparison with different models模型
Models准确率
Accuracy/
%精确率
Precision/
%召回率
Recall/
%F1-Score/ % 参数量
ParametersFLOPs/ 109 MobileNetV3 96.55 96.45 96.52 96.48 4.22×106 0.42 MCA-MobileNet[21] 94.81 94.82 94.73 94.71 7.50×10 5 0.24 LMA_CNNs[20] 97.78 97.72 97.75 97.73 1.28×107 3.88 VGG16[5] 97.34 97.40 97.32 97.32 1.38×108 15.48 改进的AlexNet[11] 92.13 92.18 91.94 91.98 1.70×107 0 .18 LeafNet[12] 97.19 97.11 97.21 97.14 2.40×107 0.80 MergeModel[14] 97.56 97.61 97.64 97.60 3.74×108 16.27 SE-DenseNet-FL[15] 98.12 98.14 98.10 98.11 1.26×107 11.58 TealeafNet 98.06 98.02 98.05 98.03 3.05×106 0.41 CBAM-TealeafNet 9 8.70 98.69 98.67 98.67 3.16×106 0.45 总体来看，CBAM-TealeafNet的识别表现最好，达到了最高的平均识别准确率98.70%，F1值也高于其他模型。首先，CBAM-TealeafNet的FLOPs相对于MobileNetV3增加了7.10%，为4.5×108，原因在于频域和深度特征的融合增加了计算量。然而，本文方法对茶叶病害特征相对MobileNetV3提取丰富且全面，平均识别准确率、精确率、召回率和F1-Score分别提升了2.15、2.24、2.15和2.19个百分点，参数量缩减了25.12%，为3.16×106。其次，在其他轻量级识别模型中，MCA-MobileNet虽然参数量最低，但其准确率不高，低于95%。而LMA_CNNs在准确性和轻量性方面也稍有不足。然后，本文模型的特征提取能力均优于其他茶叶病害识别模型，准确率和参数量方面都存在一定优势。最后，CBAM-TealeafNet在原TealeafNet的基础上准确率提高了0.62个百分点，表明CBAM和Focal Loss对最终分类效果的提升产生了积极作用。综上所述，CBAM-TealeafNet与其余模型相比优势明显，且取得了最高的识别准确率。
分析各对比模型在测试集上的误识别图像，发现改进的AlexNet和LeafNet对应的误识别图像背景多存在其他叶片和枝干，说明其对茶叶病害特征提取不足，易受背景影响。SE-DenseNet-FL模型的误识别样本多为加噪图像，说明其易受噪点影响。相比之下，CBAM-TealeafNet误识别样本数相对较少，能够很好的抑制背景和噪声影响，模型鲁棒性得到验证。
为确定本文模型对局部遮挡较小图像的识别效果，取该类型图像作为测试集对模型进行验证。该测试集上平均识别准确率为98.30%，其中云纹叶枯病病害图像识别准确率最低，但仍在96%以上。由于茶圆赤星病病害叶片上病斑数量从几个到几十个不等，病斑区域无法被完全遮挡，其识别准确率为99.75%，未曾受到影响。因此，小区域遮挡基本不影响本文模型对茶叶病害的检查和识别。
2.4 消融试验
为验证Focal Loss损失函数对模型性能的提升效果，探究不同注意力模块对识别性能影响，分别对交叉熵函数和焦点损失函数基于不同注意力模块下的TealeafNet模型进行对比，试验结果如表4。相对交叉熵函数Focal Loss能带来优化作用有以下两方面原因：1）茶叶病害数据集中各类别占比不平衡。茶炭疽病以及茶饼病的样本数量相对其他病害样本略低，易分类病害占据loss相当比重，交叉熵函数会使模型优化方向存在偏差；2）分类难度的不同。云纹叶枯病和茶赤叶斑病病害区域的相似性以及茶圆赤星病病斑尺寸小、分布密集的特点都提高了识别难度。Focal Loss相较于交叉熵函数可以通过调整超参数减少茶炭疽病和茶饼病等易分类样本的比例，并在训练时关注难以分类的样本，随时调整模型优化方向。
表 4 不同损失函数和注意力机制下性能对比Table 4. Performance comparison under different loss functions and attention mechanisms损失函数
Loss functuins注意力机制
Attention
mechanisms准确率
Accuracy/%精确率
Precision/%召回率
Recall/%F1-Score/% Cross Entropy SENet 98.06 98.02 98.05 98.03 ECA 98.28 98.30 98.13 98.19 CBAM 98.65 98.59 98.62 98.60 Focal Loss SENet 98.24 98.21 98.15 98.18 ECA 98.59 98.51 98.68 98.57 CBAM 98.70 98.69 98.67 98.67 在Focal Loss函数下，CBAM模块相对于SENet、ECA准确率分别提高了0.46和0.11个百分点。SENet通过自动学习方式获取特征图每个通道的重要程度并赋予权重，从而让神经网络重点关注重要特征通道。由2D DWT得到的病害特征具有关联性，采用通道叠加方式时关联性并未得到合理的利用。而CBAM不仅可利用不同通道的信息确定其相互依赖关系，对特征图加权，还可增强模型对于不同空间位置特征的处理能力。空间和通道注意力结合提取和选择病害特征，非病害特征的提取受到抑制，带来了明显的准确率提升效果。
2.5 误识别原因分析
为验证本文模型相比MobileNetV3带来的性能提升，基于测试集绘制MobileNetV3和CBAM-TealeafNet对应的混淆矩阵, 如图8所示。其中混淆矩阵对角线代表被正确分类的数量，行代表预测标签，列为真实标签。由图8a可以看出MobileNetV3将较多的茶饼病和茶炭疽病识别为了其他病害类型，而基于频域和深度特征融合的CBAM-TealeafNet能够很好地提取频域和空间域特征，对前景和背景的区分程度高，极大改善了病害混淆的情况，体现出良好的鲁棒性、有效性。但模型将茶赤叶斑病错误识别为茶圆赤星病的数量提升，考虑是由于模型更侧重于细节纹理信息的提取，部分加噪的茶赤叶斑病被误识别为茶圆赤星病。
在图8b中，10幅属于炭疽病的图像被误分类为茶饼病，误分类图像如图9a所示。分析发现，误识别图像经过亮化和暗化处理后颜色呈现灰白色，茶饼病后期与炭疽病发病区域均在叶片边缘且褐色和灰白色混杂，模型未能正确区分。11幅茶赤叶斑病图像被误分类为茶圆赤星病，误分类图像如图9b所示。经过对测试集样本的分析得知，误识别样本大都经过加噪处理且本身病斑区域较小，与茶圆赤星病表征相近，导致识别错误。
3. 结 论
本文针对茶叶病害信息挖掘不足导致识别效果不佳的问题提出了一种基于2D DWT和MobileNetV3的茶叶病害识别模型CBAM-TealeafNet，主要结论如下：
1）CBAM-TealeafNet对茶叶病害特征提取相对MobileNetV3丰富且全面，识别准确率提升了2.15个百分点，参数量缩减了25.12%。说明频域和深度特征融合能有效减少因网络深度增加造成的病害特征信息的丢失，同时，改进后的模型具有更少的参数内存，便于应用生产实际。
2） CBAM-TealeafNet在原TealeafNet的基础上准确率提高了0.62个百分点，表明CBAM和Focal Loss对最终分类效果的提升产生了积极作用。在Focal Loss函数下，CBAM模块相对于SENet、ECA准确率分别提高了0.46和0.11个百分点。说明引入CBAM后可有效加强模型提取重要病害特征能力，Focal Loss能有效缓解样本分布不平衡带来的问题，提高对难以分类的样本的识别率。
CBAM-TealeafNet对茶叶的云纹叶枯病、茶赤叶斑病、茶圆赤星病、茶饼病与茶炭疽病5类病害识别效果明显，可为秦巴山区的病害识别提供参考。但未对更多的病害类型以及病害严重程度进行识别和诊断，本文将继续优化模型对细粒度特征的提取能力，扩大应用范围。
-
![]()
图 2 CBAM-TealeafNet网络结构
注：CBAM，积块注意模块
Figure 2. The network structure of CBAM-TealeafNet
Note: CBAM, convolutional block attention module
表 1 茶叶病害特点
Table 1 diseases’ characteristics in tea leaf
病害类型
Diseases特点
Characteristics数量Amounts 原始图像
Original image增强后图像
Enhanced image茶炭疽病
Goeosporium theae-sinensis Myake病斑呈半圆形或不规则形，初始产生水渍状黄褐色小点，扩展后病斑为焦黄色 638 3 828 云纹叶枯病
Clletotrichum camelliae Mssee病斑初呈黄褐色水渍状，逐渐扩展为近圆形或不规则褐色大斑 582 3 492 茶圆赤星病
Crcospora theae beadad Haan初生褐色小点，部分沾染泥泞图像与其相似。后扩大成为圆形病斑，中央凹陷 709 4 254 茶饼病
Exobasidium vexans Masse初呈淡黄色水渍状病斑，中期背面凸起呈馒头状。后期病斑萎缩呈褐色枯斑 679 4 074 茶赤叶斑病
Phyllosticta theicola Petch病斑初呈浅褐色，后扩展到半叶或全叶的不规则病斑，颜色逐渐呈红褐色 652 3 912 
下载: 导出CSV
表 2 模型结构优化试验结果
Table 2 Results with model structure optimization
优化方法
Optimistic
methods参数设置
Param settings准确率
Accuracy/%F1-Score/% 参数量
ParametersFLOPs/ 109 缩减bneck
结构数
Reduce bneck
structures(2, 2, 3, 2, 1) 96.14 96.01 2.94×106 0.30 (2, 2, 3, 2, 2) 96.16 96.01 3.74×106 0.33 (2, 2, 3, 4, 1) 96.40 96.08 3.01×106 0.33 (2, 2, 3, 4, 2) 96.44 96.24 3.81×106 0.36 (2, 2, 3, 6, 2) 96.55 96.48 4.22×106 0.42 调整融合
层数
Adjust fusion layers1 97.11 97.12 3.13×106 0.43 2 98.52 98.45 3.14×106 0.44 3 98.70 98.67 3.16×106 0.45 4 98.74 98.73 3.34×106 0.47 调整融合
比例
Adjust fision ratios0.5 97.70 97.66 3.15×106 0.43 1.0 98.70 98.67 3.16×106 0.45 1.5 98.49 98.46 3.18×106 0.48 2.0 98.19 98.17 3.20×106 0.50 注：FLOPs，浮点运算次数。
Note: FLOPs, floating-point operations.
下载: 导出CSV
表 3 不同模型性能对比
Table 3 Performance comparison with different models
模型
Models准确率
Accuracy/
%精确率
Precision/
%召回率
Recall/
%F1-Score/ % 参数量
ParametersFLOPs/ 109 MobileNetV3 96.55 96.45 96.52 96.48 4.22×106 0.42 MCA-MobileNet[21] 94.81 94.82 94.73 94.71 7.50×10 5 0.24 LMA_CNNs[20] 97.78 97.72 97.75 97.73 1.28×107 3.88 VGG16[5] 97.34 97.40 97.32 97.32 1.38×108 15.48 改进的AlexNet[11] 92.13 92.18 91.94 91.98 1.70×107 0 .18 LeafNet[12] 97.19 97.11 97.21 97.14 2.40×107 0.80 MergeModel[14] 97.56 97.61 97.64 97.60 3.74×108 16.27 SE-DenseNet-FL[15] 98.12 98.14 98.10 98.11 1.26×107 11.58 TealeafNet 98.06 98.02 98.05 98.03 3.05×106 0.41 CBAM-TealeafNet 9 8.70 98.69 98.67 98.67 3.16×106 0.45
下载: 导出CSV
表 4 不同损失函数和注意力机制下性能对比
Table 4 Performance comparison under different loss functions and attention mechanisms
损失函数
Loss functuins注意力机制
Attention
mechanisms准确率
Accuracy/%精确率
Precision/%召回率
Recall/%F1-Score/% Cross Entropy SENet 98.06 98.02 98.05 98.03 ECA 98.28 98.30 98.13 98.19 CBAM 98.65 98.59 98.62 98.60 Focal Loss SENet 98.24 98.21 98.15 98.18 ECA 98.59 98.51 98.68 98.57 CBAM 98.70 98.69 98.67 98.67
下载: 导出CSV
-
[1] 中国国家统计局. 中国统计年鉴-2022[M]. 北京:中国统计出版社,2022. [2] XUE Z, XU R, BAI D, et al. YOLO-Tea: A tea disease detection model improved by YOLOv5[J]. Forests, 2023, 14(2): 415. DOI: 10.3390/f14020415
[3] 王玉春,刘守安,卢秦华,等. 中国茶树炭疽菌属病害研究进展及展望[J]. 植物保护学报,2019,46(5):954-963. WANG Yuchun, LIU Shou'an, LU Qinhua, et al. Research progress and prospects of Colletotrichum species causing tea plant diseases in China[J]. Journal of Plant Protection, 2019, 46(5): 954-963. (in Chinese with English abstract)
[4] HU G S, WAN M Z, WEI K, et al. Computer vision based method for severity estimation of tea leaf blight in natural scene images[J]. European Journal of Agronomy, 2023, 144: 126756 DOI: 10.1016/j.eja.2023.126756
[5] Hu G S, WU H Y, ZHANG Y, et al. A low shot learning method for tea leaf's disease identification[J]. Computers and Electronics in Agriculture, 2019, 163: 104852-104852 DOI: 10.1016/j.compag.2019.104852
[6] 张国忠,吕紫薇,刘浩蓬,等. 基于改进DenseNet和迁移学习的荷叶病虫害识别模型[J]. 农业工程学报,2023,39(8):188-196. ZHANG Guozhong, LYU Ziwei, LIU Haopeng, et al. Model for identifying lotus leaf pests and diseases using improved DenseNet and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(8): 188-196. (in Chinese with English abstract)
[7] KAMILARIS A, PRENAFETA-BOLDU F X. Deep learning in agriculture: A survey[J]. Computers and Electronics in Agriculture, 2018, 147: 70-90. DOI: 10.1016/j.compag.2018.02.016
[8] LIU J, WANG X W. Plant diseases and pests detection based on deep learning: A review[J]. Plant Methods, 2021, 17: 1-18. DOI: 10.1186/s13007-020-00700-7
[9] Hossain M S, Mou R M, Hasan M M, et al. Recognition and detection of tealeaf’s diseases using support vector machine[C]// Penang: 2018 IEEE 14th International Colloquium on Signal Processing & Its Applications (CSPA), 2018: 150-154.
[10] SUN Y Y, JIANG Z H, ZHANG L P, et al. SLIC_SVM based leaf diseases saliency map extraction of tea plant[J]. Computers and Electronics in Agriculture, 2019, 157: 102-109. DOI: 10.1016/j.compag.2018.12.042
[11] SUN X X, MU S M, XU Y Y, et al. Image recognition of tea leaf diseases based on convolutional neural network[C]// Ji'nan: International Conference on Security, Pattern Analysis, and Cybernetics (SPAC), 2018: 304-309.
[12] CHEN J, LIU Q, GAO L. Visual tea leaf disease recognition using a convolutional neural network model[J]. Symmetry, 2019, 11(3): 343. DOI: 10.3390/sym11030343
[13] 王瑞鹏,陈锋军,朱学岩,等. 采用改进的EfficientNet识别苹果叶片病害[J]. 农业工程学报,2023,39(18):201-210. WANG Ruipeng, CHEN Fengjun, ZHU Xueyan, et al. Identifying apple leaf diseases using improved EfficientNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(18): 201-210. (in Chinese with English abstract)
[14] HU G S, FANG M. Using a multi-convolutional neural network to automatically identify small-sample tea leaf diseases[J]. Sustainable Computing:Informatics and Systems, 2022, 35: 100696. DOI: 10.1016/j.suscom.2022.100696
[15] 李子茂,徐杰,郑禄,等. 基于改进DenseNet的茶叶病害小样本识别方法[J]. 农业工程学报,2022,38(10):182-190. DOI: 10.11975/j.issn.1002-6819.2022.10.022 LI Zimao, XU Jie, ZHENG Lu, et al. Small sample recognition method of tea disease based on improved DenseNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(10): 182-190. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.2022.10.022
[16] ULLAH Z, ALSUBAIE N, JAMJOOM M, et al. EffiMob-Net: A deep learning-based hybrid model for detection and identification of tomato diseases using leaf images[J]. Agriculture, 2023, 13(3): 737. DOI: 10.3390/agriculture13030737
[17] 刘洋,冯全,王书志. 基于轻量级CNN的植物病害识别方法及移动端应用[J]. 农业工程学报,2019,35(17):194-204. LIU Yang, FENG Quan, WANG Shuzhi. Plant disease identification method based on lightweight CNN and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 194-204. (in Chinese with English abstract)
[18] 彭玉寒,李书琴. 基于重参数化MobileNetV2的农作物叶片病害识别模型[J]. 农业工程学报,2023,39(17):132-140. PENG Yuhan, LI Shuqin. Recognizing crop leaf diseases using reparameterized MobileNetV2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(17): 132-140. (in Chinese with English abstract)
[19] BI C, WANG J M, DUAN Y L, et al. MobileNet based apple leaf diseases identification[J]. Mobile Networks and Applications, 2022 , 27( 1 ): 172-180.
[20] 王泽钧,马凤英,张瑜,等. 基于注意力机制和多尺度轻量型网络的农作物病害识别[J]. 农业工程学报,2022,38(增刊):176-183. WANG Zejun, MA Fengying, ZHANG Yu, et al. Crop disease recognition using attention mechanism and multi-scale lightweight network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(Suppl): 176-183. (in Chinese with English abstract)
[21] 王志强,于雪莹,杨晓婧,等. 基于WGAN和MCA-MobileNet的番茄叶片病害识别[J]. 农业机械学报,2023,54(5):244-252. DOI: 10.6041/j.issn.1000-1298.2023.05.025 WANG Zhiqiang, YU Xueying, YANG Xiaojing, et al. Tomato leaf diseases recognition based on WGAN and MCA-MobileNet[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(5): 244-252. (in Chinese with English abstract) DOI: 10.6041/j.issn.1000-1298.2023.05.025
[22] CHOUDHARY M, SANYAL B, MOHAPATRA R K. Plant disease identification using discrete wavelet transform and convolutional neural network[C]// Singapore: Computational Intelligence in Machine Learning: Select Proceedings of ICCIML 2021, 2022: 213-220.
[23] YAG I, ALTAN A. Artificial intelligence-based robust hybrid algorithm design and implementation for real-time detection of plant diseases in agricultural environments[J]. Biology (Basel, Switzerland), 2022, 11(12): 1732.
[24] 黄铝文,谦博,关非凡,等. 基于小波变换与卷积神经网络的羊脸识别模型[J]. 农业机械学报,2023,54(5):278-287. HUANG Lyuwen, QIAN Bo, GUAN Feifan, et al. Goat face recognition model based on wavelet transform and convolutional neural networks[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(5): 278-287. (in Chinese with English abstract)
[25] ZHAO Y, CHEN J G, XU X, et al. SEV-Net: Residual network embedded with attention mechanism for plant disease severity detection[J]. Concurrency and Computation:Practice and Experience, 2021, 33(10): e6161. DOI: 10.1002/cpe.6161
[26] GAO R H, WANG R, FENG L, et al. Dual-branch, efficient, channel attention-based crop disease identification[J]. Computers and Electronics in Agriculture, 2021, 190: 106410. DOI: 10.1016/j.compag.2021.106410
[27] 贾兆红,张袁源,王海涛,等. 基于Res2Net和双线性注意力的番茄病害时期识别方法[J]. 农业机械学报,2022,53(7):259-266. JIA Zhaohong, ZHANG Yuanyuan, WANG Haitao, et al. Identification method of tomato disease period based on Res2Net and bilinear attention mechanism[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(7): 259-266. (in Chinese with English abstract)
[28] 彭红星,徐慧明,刘华鼐. 融合双分支特征和注意力机制的葡萄病虫害识别模型[J]. 农业工程学报,2022,38(10):156-165. PENG Hongxing, XU Huiming, LIU Huanai, et al. Model for identifying grape pests and diseases based on two-branch feature fusion and attention mechanism[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(10): 156-165. (in Chinese with English abstract)
[29] HU J, SHEN L, ALBANIE S, et al. Squeeze-and-excitation networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(8): 2011-2023. DOI: 10.1109/TPAMI.2019.2913372
[30] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional bock attention module[C]// Munich: Proceedings of the European Conference on Computer Vision (ECCV), 2018: 3-19.
[31] 孙俊,朱伟栋,罗元秋,等. 基于改进MobileNet-V2的田间农作物叶片病害识别[J]. 农业工程学报,2021,37(22):161-169. SUN Jun, ZHU Weidong, LUO Yuanqiu, et al. Recognizing the diseases of crop leaves in fields using improved Mobilenet-V2[J]. Transactions of the Chinese Society for Agricultural Machinery (Transactions of the CSAE), 2021, 37(22): 161-169. (in Chinese with English abstract)
[32] 徐艳蕾,孔朔琳,陈清源,等. 基于Transformer的强泛化苹果叶片病害识别模型[J]. 农业工程学报,2022,38(16):198-206. DOI: 10.11975/j.issn.1002-6819.2022.16.022 XU Yanlei, KONG Shuolin, CHEN Qingyuan, et al. Model for identifying strong generalization apple leaf disease using Transformer[J]. Transactions of the Chinese Society for Agricultural Machinery (Transactions of the CSAE), 2022, 38(16): 198-206. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.2022.16.022
[33] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2020, 42(2): 318-327.
-
期刊类型引用(9)
1. 曾鹏滔，撒金海，余兰灿，刘嘉. 基于改进MobileNetV3-Small的玉米叶部病害识别. 微电子学与计算机. 2025(04): 98-105 . 
百度学术
2. 向玉云，陈思远，高爽，李书琴. 基于自适应BayesShrink和频-空特征融合的作物病害识别方法. 农业工程学报. 2025(06): 204-215 . 本站查看
3. 王金鹏，何萌，甄乾广，周宏平. 基于COF-YOLOv5s的油茶果识别定位. 农业工程学报. 2024(13): 179-188 . 本站查看
4. 蔡晓明，边磊，罗宗秀，李兆群，修春丽，付楠霞，陈宗懋. 2023年茶树病虫害防控研究进展. 中国茶叶. 2024(10): 1-7 . 百度学术
5. 刘鹏，张天翼，冉鑫，史佳霖，毕誉轩，王彩霞. 基于PBM-YOLOv8的水稻病虫害检测. 农业工程学报. 2024(20): 147-156 . 本站查看
6. 金晨. 基于改进MobileNetV3的茶叶病害识别方法. 福建茶叶. 2024(12): 25-27 . 百度学术
7. 刘梦姝，张春琪，晁金阳，唐彬，张鹏磊，李民赞，孙红. 基于YOLO v8n改进的小麦病害检测系统. 农业机械学报. 2024(S1): 280-287+355 . 百度学术
8. 佳林·海茹拉，李永可. 基于改进MobileViTv3的树木叶片图像分类算法研究. 电脑知识与技术. 2024(36): 10-13+19 . 百度学术
9. 俞焘杰，陈建能，彭伟杰，李亚涛，喻陈楠，武传宇. 基于Tea DCGAN网络和Fake Tea框架的茶鲜叶数据增强方法. 农业工程学报. 2024(23): 274-282 . 本站查看
其他类型引用(5)
计量
- 文章访问数: 3
- HTML全文浏览量: 1
- PDF下载量: 1
- 被引次数: 14
下载:
