Potato pickup harvesting impurity detection method based on PLP-net lightweight model
-
摘要:
针对目前马铃薯杂质检测算法存在的运算量高、内存占用大、实时性差等问题,该研究提出了一种基于PLP-net的轻量化检测模型。首先,通过重构骨干网络架构并优化检测头网络,显著降低模型运算量;其次,引入ECA(efficient channel attention)注意力机制强化关键特征提取能力,并采用Focal-DIoU损失函数(focal and distance-IoU loss)优化边界框回归过程来解决数据集中杂质样本失衡的问题,构建基础模型PL-net。然后,基于模型稀疏化训练结果,精确剪除冗余通道,有效缩减运算量及内存占用,提升模型实时性,后经微调训练后构建PLP-net轻量化模型。为实现工程化应用,该研究采用TensorRT推理部署框架将PLP-net部署至嵌入式设备,并基于PyQt5(Python Qt5 binding)框架开发了可视化交互系统以满足马铃薯杂质检测的生产需求。试验结果表明:与YOLO v8n模型相比,PLP-net在计算效率方面实现明显提升,浮点运算量降低7.2 G,模型体积压缩2.1 MB,推理速度提升99.4帧/s。使用TensorRT加速和未使用TensorRT加速的PLP-net模型相较于YOLO v8n分别提升18.4帧/s和11.4帧/s。PLP-net模型可为后续马铃薯杂质智能分拣提供技术支撑。
Abstract:Potatoes can be the fourth largest food crop in the world. However, conventional harvesting has not fully met the requirement of large-scale production in recent years. Particularly, manual inspection of the impurity sorting has severely constrained the harvesting efficiency. Impurity detection is often required for the intelligence level. Furthermore, existing detection has commonly suffered from high computational complexity, excessive memory consumption, and low real-time performance. Particularly, the complex environments of potato pickup harvesters can also exacerbate the difficulty in the detection. In this study, an efficient impurity detection was developed for the unmanned impurity sorting in the potato pickup harvesters. A lightweight model (named PLP-net) was proposed using YOLOv8n. Firstly, the backbone network (P-Backbone) and detection head (P-Head) were redesigned from the original model. The P-Backbone preserved the original semantic information, according to the down-sampling branch. The multi-scale features were integrated to significantly enhance the feature extraction. The P-Head was used to eliminate the small-object detection head for the medium and large targets. The detection was improved to tailor for the impurity scene. Secondly, the ECA attention mechanism was introduced into the C2f module of the model. The appropriate weights were assigned to the different features. The critical information was focused on suppressing the irrelevant details. The accuracy of impurity recognition was enhanced for the favorable conditions after pruning. Additionally, the Focal-DIoU loss function was adopted to alleviate the imbalanced distribution of the positive and negative samples in the impurity datasets. The Focal Loss and DIoU functions were combined to reduce the loss contribution from the easily classified samples. The bounding box regression was optimized to accelerate the convergence. Finally, a structured pruning pipeline was achieved in sparse training, channel pruning, and model finetuning. The redundant channels were effectively eliminated for the lightweight model. The computational load and memory usage were reduced to maintain high accuracy. A series of experiments were carried out to evaluate the performance of the improved model. Multiple metrics were employed, including precision, recall, mean average precision (mAP), floating-point operations (FLOPs), frames per second (FPS), and model size. Ablation tests demonstrate that the superior overall performance of the PLP-net model was achieved, with a substantial reduction of 7.2 GFLOPs in the computational complexity, a 99.4 FPS improvement in frame rate, a 2.1 MB reduction in model size, and only marginal accuracy degradation. The computational efficiency, real-time capability, and memory footprint were highly suitable for the deployment of the embedded devices. The TensorRT inference framework was also utilized to deploy the PLP-net model on an industrial computer. There was an accelerated inference speed of 52.7 FPS—1.7 times faster than its pre-optimized version. An impurity detection was developed using PyQt5 supports multiple input modalities, including images, videos, and camera feeds. The real-time outputs facilitated the operator's observation of the detection, such as the detection time, target counts, and positional coordinates. In summary, the robust performance of impurity detection was achieved with the lightweight PLP-net model in the practical potato scene. A reliable technical solution can be offered for unmanned sorting in potato pickup harvesters. This advancement can also provide a strong practical reference and theoretical support to the intelligent application in the potato industry.
-
Keywords:
- potato impurities /
- PLP-net /
- lightweighting /
- model pruning /
- model deployment
-
0. 引 言
马铃薯是继小麦、稻谷和玉米后全球最重要的粮食作物[1-2]。在马铃薯捡拾收获机作业过程中,混合在马铃薯流中的土块、石块以及秧蔓等外源性物体统称为马铃薯杂质。目前,马铃薯捡拾收获机中对于马铃薯和马铃薯杂质的分拣仍需人工完成[3]。人工作业不仅效率低,且劳动强度大。因此,研发一款马铃薯杂质智能分拣装备已成为提升马铃薯收获效率的关键,而提出一种面向马铃薯捡拾收获机薯杂分拣场景的马铃薯杂质快速检测方法是研发该装备的首要前提。
近年来机器视觉与深度学习算法的快速发展为该方法的提出提供了新的理论支撑。黄少华等[4]提出一种基于改进YOLOv5的茶叶杂质检测算法,结果表明:改进后的算法均优于主流的目标检测算法。WU等[5]使用改进后的Mask RCNN检测破碎水稻颗粒和杂质的分割精度较改进前分别提高了6.13%和9.19%。RONG等[6]提出基于多尺度残差全卷积网络的分割方法检测胡桃揪中的杂质,能够正确分割测试图像99.4%的物体区域。上述方法可有效解决其领域内杂质检测的难题,但由于马铃薯杂质分拣场景具有实时性要求高、杂质种类复杂等特殊性,故无法满足马铃薯杂质检测的需求。
为实现马铃薯杂质的检测,AL-MALLAHI等[7]设计一种基于紫外成像技术的马铃薯与土块的检测系统,该系统可识别出98.79%的马铃薯和98.28%的土块。孙卫孝等[8]提出一种基于主动热红外成像的马铃薯与杂质分类方法,识别成功率为97.08%。上述研究可实现马铃薯与杂质的分类,但无法满足马铃薯杂质分拣场景实时性的要求。王相友等[9]提出一种基于改进YOLO v4模型的马铃薯中土块、石块检测方法,该方法在保证检测准确率的前提下,利用通道剪枝算法对模型进行剪枝,以简化模型结构、降低运算量。该方法运算量小、实时性高,但未考虑杂质成分中土块占比过高、石块和秧蔓数量过少造成类别分布不均,导致模型训练效率下降的问题。
在实际应用中,马铃薯捡拾收获机作业时无法携带高算力设备且杂质检测速度越快越有利于后续分拣,为解决此类难题,模型轻量化成为近年来目标检测算法发展的新趋势。杨森等[10]提出了一种基于YOLOv8n的轻量化番茄叶片病虫害识别模型,实现了模型参数量及检测时间的大幅缩减,但同时平均检测精度下降了0.3%。SITU等提出了一种基于YOLO网络实时下水道缺陷检测方法,其剪枝后的模型与Yolo v5s相比在精确度、召回率及平均精度均值上分别下降了2.0个百分点、1.2个百分点、0.5个百分点。上述方法表明剪枝算法可实现模型的有效轻量化。同时也表明模型轻量化效果与模型精度之间存在矛盾关系,即模型轻量化越好,精度下降越多。为此,面向实际应用场景来平衡轻量化效果与精度的关系是解决此矛盾的关键所在。
在解决马铃薯与杂质检测的实际工作时,模型的部署也是极为关键的一步。为实现网络模型的部署应用,WANG等[11]提出了一种猫脸检测系统,并通过TensorRT优化进行实时处理,优化后的模型将推理时间从50.1 ms显著缩短到0.9 ms,且不会影响准确性。HONG [12]等使用优化Yolox神经网络,试验结果表明,帧率有了显著提高,从10.1帧/s增加到14.3帧/s。上述研究表明使用TensorRT部署可缩短检测时间,提高模型实时性能。
综上所述,本研究在深入分析马铃薯杂质检测工作场景要求的前提下,做了以下工作:提出了一种运算量小,实时性好的轻量化模型(PLP-net),该模型所需算力成本低,可显著降低用户使用成本,利于马铃薯杂质检测产业的长期发展。使用TensorRT推理部署框架,将PLP-net模型部署到嵌入式设备,有利于PLP-net模型的产业化应用。基于PyQt5研发出一套马铃薯杂质检测系统,便于工作人员观察,以期为马铃薯杂质分拣提供技术参考。
1. 材料与方法
为满足马铃薯杂质分离场景的要求,使用基于Yolo v8n提出的PLP-net的轻量化模型对马铃薯杂质进行实例分割,本文研究路线如图1所示。
如图1a所示:通过对Yolo v8n的骨干提取网络及检测头重新设计并在C2f模块中引入ECA注意力机制,构建P-net模型。其次,更换模型的损失函数为Focal DIoU,建立PL-net模型。最后,利用模型剪枝删减冗余通道,建立轻量化PLP-net模型(本文最终模型)。
如图1b所示:模型剪枝算法包括稀疏训练、通道剪枝和模型微调3个过程。首先对初始网络进行稀疏训练以区分重要通道与冗余通道,然后,使用通道剪枝方法将初始网络中冗余通道删减得到剪枝网络。模型微调用于对剪枝网络重新训练,以达到精度回升的目的。
如图1c所示:首先对采集到的原始数据进行数据增强,对增强后的数据人工标注形成马铃薯杂质数据集,将马铃薯杂质数据输入PLP-net模型中进行训练,以实现对马铃薯杂质快速、准确的实例分割。
1.1 数据采集与预处理
马铃薯及杂质图像数据采集于山东省胶州市胶莱街道赵家营村(36°43′N,120°06′E),采集时间为2024年6月14日-2024年6月20日,图2为图像采集示意图。
如图2a黄圈标注,采集装置外部配备遮光罩以避免自然光对采集数据的影响,其安装在洪珠
2170 型马铃薯吨包联合收获机三级分拣装置处,使用相机(ZED 2i)对马铃薯流进行拍摄,相机拍摄频率为1s/张。图像采集时,相机(ZED 2i)固定在分拣平台上方75 cm处,相机左右有两条对称分布的条形LED光源提供稳定光照条件。
拍摄图像保存为
3000 像素×4000 像素的RGB图像,共采集图像1 008张。将采集到的1 008张原始图像使用Labelme软件进行标注,标注内容为马铃薯、土块、石块以及秧蔓4个类别,其中,马铃薯标签设置为“potato”,土块标签设置为“clod”(占比83.58%),石块标签设置为“stone”(占比9.24%),秧蔓标签设置“seeding”(占比6.67%),其他占比0.5%。马铃薯流中主要杂质物为土块、石块和秧蔓,其他杂质物数量远少于土块、石块以及秧蔓。因此,本研究选择土块、石块和秧蔓作为主要研究对象。图3显示数据集图像强化及马铃薯杂质类别示例,数据集按照8∶1∶1的比例随机划分[13]为训练集、验证集及测试集,为增加训练数据集中马铃薯杂质的样本数量,提高模型的鲁棒性以及模型的泛化能力,使用改变亮度、加噪声、加随机点、平移和翻转等数据增强方法将数据集扩大为 5 040张图像,各集合图像数量如表1所示。
表 1 马铃薯杂质数据集组成Table 1. Potato impurity dataset composition类别
class训练集
Train set验证集
Validation set测试集
Test set合计
Total图像数量
Number of images4 033 503 504 5 040 马铃薯
Potato12 215 1 315 1 235 14 765 土块
Clod10 315 1 160 1 125 12 600 秧蔓
Seeding805 125 70 1 000 石块
Stone1 170 85 130 1 385 1.2 PLP—net轻量化模型设计
在实际应用中,马铃薯捡拾收获机作业时无法携带高算力设备且杂质检测速度越快越有利于后续分拣,对模型实行轻量化是解决该问题的关键。Yolo v8n是Yolo v8系列中最小的网络,更易满足模型轻量化要求[14]。因此,本研究模型(PLP-net)基于Yolo v8n提出,PLP-net结构如图4所示。
图 4 PLP—net结构图注:Conv为卷积模块,Maxpool为最大池化,Concat为特征连接模块,C2f为跨阶段部分特征融合模块,ECA为高效的通道注意力机制,SPPF为空间金字塔池化,Upsample为上采样模块,Detect为检测头,χ为输入特征图,$\tilde \chi $为输出特征图,C、H和W为特征图的通道数、高度和宽度,k为卷积核的大小,b,bgt为预测框与真实框的中心点,ρ为计算两个中心点间的欧式距离,c为能够同时包含预测框和真实框的最小外接矩形的对角线长度。Figure 4. PLP-net structure diagramNote: Conv is the convolution module, Maxpool is the maximum pooling,Concat is the feature connection module, C2f is the cross-stage partial feature fusion module, ECA is efficient channel attention, SPPF is spatial pyramid pooling, Upsample is the upsampling module, Detect is the detection head, $\chi $ is the input feature map, $\tilde \chi $ is the output feature map, C, H, and W represent the number of channels, height, and width of the feature map, k denotes the size of the convolution kernel, b and bgt is the center points of the predicted bounding box and the ground truth bounding box, ρ is the Euclidean distance between the two center points, c is the diagonal length of the smallest enclosing rectangle that can simultaneously contain both the predicted and ground truth bounding boxes.如图4a所示:针对于Yolo v8n原始的骨干提取网络,使用多次卷积操作得出的低维特征会丢失更多原始语义信息,本研究提出P-骨干提取网络(P-Backbone)设置下采样支路通过多次下采样保留数据原始语义信息并通过特征融合进一步丰富P-骨干提取网络提取的特征。P-骨干提取网络设置特征提取和下采样两条分支,其中特征提取分支将拍摄的马铃薯图像作为输入数据,输入Conv,之后依次输入Conv及C2f进行特征提取,自第一个Conv输出的结果同时作为下采样分支的输入进行最大池化,再与第二个Conv输出的结果进行特征融合,以此类推,最后将特征提取分支的最后一个C2f输出输入下采样分支进行最后一次特征融合,得到的计算结果经C2f-ECA后进行空间金字塔池化(SPPF),之后输入P-检测头(P-Head)网络。
如图4b所示:由于马铃薯捡拾收获机大都使用输送链来输送马铃薯,因此,混杂在马铃薯流中体积较小的马铃薯杂质可从输送链的间隙中掉落,故马铃薯杂质检测场景对于小目标的检测需求较弱。为此,P-检测头仅设置大目标以及中目标检测头。
1.3 ECA注意力机制
ECA注意力机制是一个轻量型的通道注意力模块,其通过为重要的特征生成高权重$\otimes $,为不重要的特征生成低权重的方式来提升本模型对于马铃薯杂质识别的精度,且由于ECA注意力机制抑制不重要特征的特性,可为后续剪枝操作提供一定的便利条件。为提高本模型精度,特别在Yolo v8n模型C2f模块中引入ECA注意力[15]。该机制首先对输入特征图进行全局自适应池化,得到一个聚合特征y,其次,使用一个一维卷积层对聚合特征y进行卷积操作,最后,将得到的通道权值向量y׳与原始输入特征图x进行逐元素相乘,实现通道加权,如式(1)、(2)所示。
$$ y{'} = \sigma (Conv1D(y,k)) $$ (1) $$ \tilde\chi=\chi\otimes y'.\text{expan}\text{d}_-\text{as}(\chi) $$ (2) 其中y׳是卷积并经过sigmoid激活后的输出,Conv1D表示一维卷积操作,σ表示sigmoid激活函数,k表示卷积核的大小,x是原始输入特征图,$\otimes $表示加权运算,expand_as(x)是将y׳的形状扩展到与x相同的操作。
1.4 Focal-DIoU损失函数
由于马铃薯捡拾收获场景中土块数量较多、石块与秧蔓数量较少,导致马铃薯杂质数据集中各类杂质数量相对不平衡,Yolo v8n模型采用CIoU损失函数来评估模型性能[16],CIoU损失函数解决该问题的能力较弱,为解决数据集中正负样本分布不均衡的问题,本研究采用FocalLoss函数[17],其通过降低简单负样本权重进行训练的方式来使检测模块区分马铃薯杂质类别。同时,为改善CIoU损失函数在计算上的复杂性以及对长宽比处理不够灵活的问题,ZHENG等[18]提出DIoU损失函数,DIoU在保持对边界框位置信息关注的同时,通过简化计算并更加灵活地处理不同长宽比的边界框。
FocalLoss结合DIoU构建Focal-DIoU损失函数,Focal-DIoU通过减少易分类样本在训练过程中的损失贡献,使得模型能够更专注于优化那些难以准确回归的边界框,有效解决DIoU在面对大量简单样本时可能导致的训练效率下降问题,加速模型的收敛速度并提升模型性能,FocalLoss公式如式(3)所示:
$$ \text{FocalLoss}=-\alpha(1-p_t)^{\gamma}\mathrm{\mathrm{\mathrm{\mathrm{\mathit{l}}\mathit{\mathit{\mathrm{\mathrm{g}}}}}}}p_t $$ (3) 式中pt表示模型预测概率,α表示平衡参数,用来平衡正负样本的比例,γ表示可调节的聚焦参数,用于减少易分类样本损失。
DIoU损失函数如式(4)所示:
$$ {\text{DIoU}} = {\text{IoU}} - \frac{{{\rho ^2}\left( {b,{b^{gt}}} \right)}}{{{c^2}}} $$ (4) 式中b,bgt分别代表预测框与真实框的中心点,ρ代表的是计算两个中心点间的欧式距离,c代表的是能够同时包含预测框和真实框的最小外接矩形的对角线长度,DIoU损失函数示意图如图4e所示。DIoU将目标与预测之间的距离,重叠率以及尺度都考虑进去,使得目标框回归变得更稳定。
1.5 模型剪枝
PL-net模型较Yolo v8n,其内部存有大量冗余通道,为进一步对模型轻量化,加快推理速度,继续采用结构化剪枝方法对模型继续压缩[19]。模型剪枝流程如图5所示,主要包括稀疏训练、通道剪枝、模型微调3个过程[20]。
本研究使用BN层缩放因子作剪枝的通道缩放因子,通过L1正则化稀疏训练BN层缩放因子,以此来评估通道贡献,自动捕获低贡献通道。批量归一化(BN)层用于对神经网络的内部激活进行规范化,使其稳定分布,从而加速训练过程并提高模型的泛化能力。设$ z_i $和$z_i^{{'}}$分别为BN层的输入和输出,B表示当前的小批量,BN层进行变换如式(5)、(6)所示:
$$ {\widehat{z}}_{i}=\frac{{z}_{i}-{\mu }_{B}}{\sqrt{{\sigma }_{B}^{2}+\epsilon }} $$ (5) $$ {\textit{z}}_i^{'}=\delta\hat{z}_i+\beta $$ (6) 其中${\hat {\textit{z}}}_i $是标准化后的输入,${\mu _B}$和$\sigma _B^2$分别是当前小批量B的均值和方差,$ \epsilon $是一个很小的正数用于数值稳定性,$ \delta $和$\beta $是可学习的参数。
根据稀疏训练的结果,删减低贡献通道,以此获得轻量化模型,最后,为补偿剪枝带来的精度损失对其进行微调,模型剪枝算法示意图如图1b所示[21]。
1.5.1 稀疏化训练
模型剪枝初期,关键在于对BN层进行稀疏化训练。标准的网络训练中BN层缩放因子趋于均值1的正态分布,而稀疏化训练通过在常规训练的损失函数中引入L1正则化项来约束BN层的缩放因子,旨在促使缩放因子的分布趋向于0,改进后的损失函数计算过程如式(7)所示:
$$ L = \sum_{(x,y)} l(f(x,W), y) + \lambda \sum_{\eta \in \Gamma} g(\eta) $$ (7) 式中(x,y)表示训练的输入和目标,W表示进行正常训练的权重,第1个求和项表示正常训练的一个损失项,第2个求和项表示对缩放因子进行L1正则化的稀疏处理,$ g\left( \eta \right) = \left| \eta \right| $表示稀疏训练的一个惩罚项,其中$\eta $为BN层的缩放因子,$\lambda $表示正常训练与稀疏训练的平衡因子,也称作稀疏正则项系数。
1.5.2 通道剪枝
经过稀疏训练后,根据批量归一化(BN)层缩放因子的分布均值进行排序。通过删除对应卷积层中贡献度较低的通道,可以有效实现模型的轻量化[22]。卷积神经网络中,BN层缩放因子接近0意味着通道贡献小,删除可减小模型规模。但需平衡模型大小与精度,合理剪枝可以最大化实用效益。
1.5.3 模型微调
经过剪枝处理后的模型在精度方面会有不同程度的损失,需要重新训练微调用以恢复模型性能,通过重新载入数据集文件及相应的配置文件,设置训练轮次为100轮,并使用剪枝处理后的权重文件来进行微调训练。
1.6 试验运行环境及评价指标
模型训练及试验所使用计算机配置为Xeon(R) Platinum 8336C,2.3 GHz处理器,运行内存为45 GB,存储内存为512 GB,Nvidia Geforce GTX 2080Ti GPU×2(22 GB内存),所用环境为Pytorch1.10.0,Cuda10.2,Python3.9。
工控机配置为Intel(R)Core(TM) i5-9300H,2.4 GHz处理器,运行内存为8 GB,存储内存为64 GB,Nvidia Geforce GTX
1650 GPU(4 GB内存),所用环境 Pytorch1.8.1,Cuda10.1,Python3.9。为客观评估模型性能,选取精确率(Precision)、召回率(Recall)、平均精度均值(mAP50)评价模型实例分割精度,上述指标越大,则表示模型对于马铃薯杂质实例分割精度越高。精确率(Precision),即在所有预测为正样本的结果中预测正确的比例,如式(8)所示。召回率,即在所有真实值为正样本的结果中预测正确的比例,如式(9)所示。以精确率和召回率作为两坐标PR曲线下的面积就是该类别的平均精度(average precision,AP),如(10)所示。平均精度均值(mAP50)指交并比为0.5时,所有类别的平均AP。为评估模型轻量化效果,选用浮点数计算量、模型大小作为评价模型计算性能及内存占用量的指标,上述指标越小,则表示模型轻量化的效果越好,浮点数计算量如(12)所示,选用帧率作为评估模型实时性的指标,帧率数值越大,则表示模型实时性越好。
$$ P=\frac{T_P}{T_P+F_P} $$ (8) $$ R=\frac{T_P}{T_P+F_N} $$ (9) $$ \mathrm{AP}=\int_0^1PR\mathrm{d}r $$ (10) $$ \text{mAP}50=\frac{1}{N(\text{classes})}\sum_{i=0}^n\text{AP} $$ (11) $$ {\text{FLOPs}} = 2HW{C_{out}}({C_{in}}{K^2} + 1) $$ (12) 其中TP指模型正确预测的正样本数量,FP指错误预测的正样本数量,FN指错误预测为负样本的数量。H×W为输出特征映射的大小,Cin为输入通道,K为内核大小,Cout为输出通道。
2. 结果与分析
2.1 模型剪枝的效果
2.1.1 稀疏化训练对模型的影响
为保证模型在稀疏训练的同时保证其分割性能,本文设置稀疏正则项系数λ及训练轮次作为试验因素进行多次试验。在选用不同稀疏正则项系数及训练轮次的情况下,模型BN层缩放因子均产生相应变化,通过Pytorch框架中的tensorboard模块进行数据的可视化,选用不同稀疏正则项系数及训练轮次情况下的BN层缩放因子分布变化如图6所示。
由图6a、6b、6d可知,在稀疏训练过程中不同λ取值会影响稀疏训练的效果。λ=0.01时,经过200轮稀疏训练后,模型大小分布情况无明显变化,无法区分找出缩放因子为0的通道层数,说明λ=0.01过小。λ=0.03时,经过200轮稀疏训练后,模型大小分布大部分趋近于0,但剪枝通道过多势必影响模型精度,说明λ=0.03过大。由图6c、6d可知,在稀疏训练过程中,训练轮数会影响稀疏训练结果。在训练轮次100轮的情况下,批量归一化(BN)层的缩放因子逐渐趋近于0,但尚未达到完全收敛的状态。随后,经过200轮稀疏化训练,批量归一化(BN)层的缩放因子趋近于0且呈现稳定状态,模型已经具备足够的稀疏性,满足进行剪枝试验的需求。
2.1.2 剪枝后模型变化
通过试验得出稀疏正则项系数为0.02,训练轮次在200轮时,模型BN层缩放因子接近于0的有3 188个,经过多次调整剪枝率的试验,本研究最终选定保留原始模型约50%的通道数作为优化后的结构,剪枝前后通道数量对比如图7所示。与剪枝前相比,剪枝后的模型通道数量大幅度缩减,通道数量由7 033减少至3 845,其中第36、58、62等层未进行删减,第27及37层删减最多,通道数量由256删减至1。通道数量的急剧减少表明在此类卷积层内部产生大量冗余通道堆积,本文推断是由于P-Backbone中多次特征融合引起的,针对冗余通道堆积的问题可通过剪枝将冗余通道删减以实现模型的有效轻量化。
2.1.3 微调后模型精度变化
在微调训练完成后,与剪枝处理之前的模型相比精准度略有下降,将经过剪枝处理的模型标记为"PLP-net"。图8直观展示剪枝前后模型性能变化。由于初始时采用预训练的权重进行加载,因此可以观察到,在微调训练的初始阶段,"PLP-net"(剪枝后)相较于PL-net(剪枝前)的模型,其收敛速度呈现出加速迹象。具体而言,PLP-net模型在精确率上相较于剪枝前下降约1.8个百分点,mAP50下降0.3个百分点,但浮点数计算量下降4.8 G,帧率增加50.44帧/s,模型的内存占用空间缩减50%,从而在模型效率与资源利用上实现优化。
2.2 模型性能分析
2.2.1 消融试验
为更全面直观对比本研究模型与Yolo v8n模型,本研究以精确率、召回率、平均精度均值作为评价模型性能指标,浮点运算量作为评价模型计算量指标,帧率作为评价模型实时性指标来进行消融试验,消融试验结果如表2所示。其中,P-Backbone、P-Head以及C2f-ECA的模型结构如图4所示。
表 2 消融试验结果对比Table 2. Comparison of ablation experimental results编号
NumberP-骨干提取网络
P-BackboneP-检测头
P-HeadC2f-ECA 损失函数
Loss剪枝
Prune精确率
Precision/%平均精度均值
mAP50/%浮点运算量
FLOPs/G帧率
Frames per second/
(帧·s−1)模型大小
Model
size/MB1 × × × × × 97.3 98.3 12.1 117.7 6.8 2 √ × × × × 96.1 98.0 20.9 112.4 8.8 3 √ √ × × × 94.8 94.7 9.8 151.2 9.4 4 √ √ √ × × 96.3 96.6 9.8 153.9 9.4 5 √ √ √ √ × 96.7 96.3 9.7 166.7 9.4 6 √ √ √ √ √ 94.9 96.0 4.9 217.1 4.7 注:Loss表示更改损失函数为Focal-DIoU,Prune表示使用模型剪枝,表中加粗数字为该试验指标下最优数据。
Note: Loss means to change the loss function to Focal-DIoU, Prune means to use the model for pruning, The bold numbers in the table are the best data under the test inde.如表2所示,相较于1号试验(即Yolo v8n),模型将骨干提取层更改为P-Backbone后(2号试验),模型在精确率、平均精度均值以及帧率方面均有下降,而浮点计算量却增加8.8 G,模型大小增加2.0 MB。出现此类情况是因为P-Backbone进行多次特征融合从而引入大量冗余通道,造成模型浮点计算量及模型大小指标上涨,这也是本研究在后续操作中引入模型剪枝的原因。相较于2号试验,当更改输出头为P-Head后(3号试验),模型在精确度、平均精度均值上分别下降1.3、3.3个百分点。但与此同时,浮点计算量大幅减少10.1 G,帧率提升38.8帧/s,模型大小增加0.6 MB。尽管3号试验在精度上有所损失,但其模型浮点计算量却减少约50%,模型的实时性有提升,试验结果表明P-Head对于缩减模型大小有作用。相较于3号试验,4号试验增加C2f-ECA模块,从试验数据可以看出,该改动使得模型在精确度、平均精度均值上分别提升1.5、1.9个百分点,表明引入C2f-ECA模块对于提升模型精度有增益。5号试验相较于4号试验更改损失函数。这一改变使得模型在精确度上提升0.4个百分点,但在平均精度均值上下降0.3个百分点。同时,浮点计算量减少0.1 G。这表明更改损失函数对模型性能有一定的提升作用,但效果不显著。6号试验相较于5号试验运用剪枝操作,这一操作导致模型在精确度、平均精度均值上分别下降1.8、0.3个百分点,然而模型在浮点计算量上减少近50%(4.8 G),模型大小减少50%(4.7 MB),帧率提升50.4帧/s。试验表明使用剪枝操作可对模型计算量、模型大小及模型实时性方面进行优化。
由于马铃薯捡拾收获机工作时无法携带高算力设备且杂质检测速度越快越有利于后续分拣,因此,本研究从产业需求出发,平衡模型轻量化效果与模型精度之间的关系,即损失少量精度来获得显著的轻量化效果,以实现模型实用效益最大化。综上,6号试验(PLP-net)为较佳模型。
2.2.2 不同模型性能对比
对比试验结果如表3所示。
表 3 本研究模型与不同模型性能对比Table 3. Comparison of the performance of this model with different models模型
Model召回率
Recall/%精确率
Precision/%平均精度均值
mAP50/%浮点运算量
FLOPs/G帧率
Frames per second/(帧·s−1)模型大小
Model size/MBYolo v8n 96.8 97.3 98.3 12.1 117.7 6.8 Yolov8-FasterNet 95.5 98.5 97.9 117.2 100.0 53.4 Yolov8-ShuffleNetV2 94.2 90.4 94.3 8.8 74.6 4.2 Yolov8-MobileNetV3 95.2 96.3 97.6 9.7 150.0 5.5 Yolov8-MobileNetV4 96.5 95.7 96.2 26.5 125.0 12.3 Yolo v9 t 96.3 98.4 98.1 41.0 49.2 6.4 Yolo v11n 96.1 98.3 98.9 10.4 162.5 6.0 PLP-net 96.1 94.9 96.0 4.9 217.1 4.7 注:表中加粗数字为该试验指标下最优数据。
Note:The bold numbers in the table are the best data under the test index.Yolov8-FasterNet模型[23]是将Yolo v8n的骨干提取网络更改为FasterNet网络,Yolov8-ShuffleNetV2[24]模型是将Yolo v8n的骨干提取网络更改为ShuffleNetV2网络,Yolov8-MobileNetV3[25]模型是将Yolo v8n的骨干提取网络更改为MobileNetV3,Yolov8-MobileNetV4[26]模型是将Yolo v8n的骨干提取网络更改为MobileNetV4。
Yolov8-FasterNet模型虽然在模型识别性能指标上与Yolo v8n相差无几,但其浮点数计算量和模型大小却非常大,这表明它对嵌入式设备的计算能力和内存需求较高,因此并不适合部署在嵌入式设备上。相比之下,Yolov8-ShuffleNetV2模型在精确率、平均精度均值方面低于PLP-net外的其他模型,且其帧率仅为74.6帧/s,表现出较差的实时性能。
在Yolo v8系列中,MobileNetV3与MobileNetV4模型的识别性能相近,但MobileNetV4的浮点数计算量约为MobileNetV3的3倍,模型大小约为其2倍。在计算量、实时性以及内存占用方面,Yolov8-MobileNetV4模型的表现远低于Yolov8-MobileNetV3模型。Yolo v9 t在精确率上较Yolo v8n提升0.9个百分点,但其帧率下降了68.5帧/s,表现出较差的实时性。Yolo v11n是Yolo系列的最新版本,与Yolo v8n相比该模型在精确度、平均精度均值性能指标上分别提升1.0个百分点、0.6个百分点,召回率上下降0.7个百分点。PLP-net模型的召回率比Yolo v8n低0.7个百分点、PLP-net模型的精确率比Yolov8-FasterNet低3.6个百分点、PLP-net模型的平均精度均值比Yolo v11n模型低2.9个百分点。然而,就浮点数计算量、帧率以及模型大小这3个指标而言,PLP-net表现更为优异。这充分说明该模型在计算量、实时性以及内存占用方面表现突出,综合表现优异,适合部署在嵌入式设备上。
Yolo v8n模型、Yolo v11n模型与PLP-net模型预测图如图9所示。相较于Yolo v8n模型与Yolo v11n模型的预测图,PLP-net模型对于马铃薯杂质的识别在置信度以及边缘分割上的效果不如Yolo v8n,但相较于Yolo v8n,PLP-net模型在浮点运算量方面减少7.2 G,在帧率方面提升99.4帧/s,在模型大小方面减少2.1 MB,该模型整体性能完全满足马铃薯杂质检测应用场景的各项性能要求。
图 9 不同模型预测图对比注:A:原图;B:PLP-net模型预测图;C:Yolo v8n模型预测图;D:Yolo v11n模型预测图;△表示置信度小于0.5。Figure 9. Comparison of prediction charts of different modelsNote:A: Original image B: PLP-net model prediction chart C: Yolo v8n model prediction chart D: Yolo v11n model prediction chart; △Indicates that the confidence level is less than 0.5.2.3 嵌入式设备部署试验
TensorRT是一个高性能的深度学习推理优化器,可为深度学习应用提供低延迟、高吞吐率的部署推理方案[27]。
为实现PLP-net马铃薯杂质识别模型的部署与应用,选择TensorRT推理部署框架,将PLP-net模型部署到嵌入式设备(工控机)。首先,将PLP-net模型权重文件导出为onnx格式的中间文件,并添加及优化模型节点,其次将onnx模型文件传输至工控机,使用TensorRT推理加速框架解析网络模型,利用C++接口层搭建模型,生成engine二进制文件,实现模型灵活部署,部署流程如图10所示。
为验证PLP-net模型部署后的性能,分别在主机端和工控机平台测试马铃薯杂质测试集100张图像,输入大小为640像素×640像素,PLP-net模型部署推理速度表4所示。试验结果表明,PLP-net模型在TensorRT加速和未加速时推理速度分别较Yolo v8n模型提升18.4帧/s、11.4帧/s,加速前,PLP-net模型由于工控机算力有限,推理速度较低,加速后,PLP-net模型推理速度达52.7帧/s,较加速前提升1.7倍。为方便操作人员更直观观察马铃薯杂质检测过程,本研究基于PyQt5研发出一款适用于Windows和Linux两种系统的马铃薯杂质检测系统,该系统支持待检测数据以图像、视频以及摄像头拍摄3种形式输入,并可以输出检测用时、目标数目以及目标位置等关键信息,马铃薯杂质检测系统界面如图11所示。
表 4 模型部署推理速度对比Table 4. Comparison of model deployment inference speeds(帧·s−1) 模型
Model主机端
Host side工控机平台Industrial computer 未加速
No accelerationTensorRT加速
TensorRT accelerationYolo v8n 117.7 19.6 34.3 PLP-net 217.1 31.0 52.7 3. 讨 论
1)在本团队赴内蒙古乌兰察布市、河北张北县等地调研马铃薯收获情况时发现,农民对于农机装备的价格十分敏感,即当一款农机装备价格过高时,农民购买积极性就会下降,农民购买积极性差就会导致企业研发积极性降低,长此以往,就会陷入恶性循环。为此,本研究以产业需求为导向,结合农民实际痛点,提出一款轻量化的马铃薯杂质检测模型,该模型面向马铃薯杂质分拣场景,平衡精度与轻量化效果的关系,可大幅降低工控机硬件成本,从而降低农民使用成本,提高农民购买积极性,进而提高企业研发积极性,促进马铃薯产业的良性发展。
2)同时调研还发现,在黏重土壤种植条件下,收获后的马铃薯及杂质会出现不同程度上的泥土附着现象,极易将马铃薯识别为土块或将石块识别为土块。当泥土附着越严重,杂质暴露面积越小,所能提取的特征越少。因此,黏重土壤下的杂质检测是马铃薯杂质检测中的难点,也是我们下一步工作的重点。目前,本团队已对黏重土壤条件下的马铃薯及杂质进行数据集构建,下一步将建立适用于黏重土壤条件下的马铃薯杂质检测方法。
4. 结 论
为实现马铃薯捡拾收获机分拣环节的无人化作业,解决现有马铃薯杂质检测模型存在计算量高、内存占用大、实时性差等问题,本研究提出一种基于PLP-net的轻量化模型的马铃薯杂质检测方法并在嵌入式设备上进行了部署与应用,主要结论如下:
1) 提出了一种新的轻量化网络模型(PLP-net)研究结果表明,PLP-net模型与Yolo v8n相比,在浮点运算量方面减少7.2 G,在帧率方面提升99.4帧/s,在模型大小方面减少2.1 MB,实现了模型的有效缩减。
2)选择TensorRT推理部署框架,将PLP-net模型部署到嵌入式设备(工控机),研究结果表明,PLP-net模型在工控机上的推理速度可以达52.7帧/s,较加速前提升1.7倍,可以满足马铃薯杂质检测应用场景的性能要求。
3)本研究基于PyQt5研发出一套马铃薯杂质检测系统,对于PLP-net模型的推广应用具有重要价值。
PLP-net模型在检测马铃薯杂质方面具有优越性,其部署在嵌入式设备(工控机)可满足马铃薯杂质检测场景性能要求,为后续马铃薯杂质智能分拣提供技术支撑,从而解决马铃薯捡拾收获机人工分拣难题,助力马铃薯产业发展。
-
图 4 PLP—net结构图
注:Conv为卷积模块,Maxpool为最大池化,Concat为特征连接模块,C2f为跨阶段部分特征融合模块,ECA为高效的通道注意力机制,SPPF为空间金字塔池化,Upsample为上采样模块,Detect为检测头,χ为输入特征图,$\tilde \chi $为输出特征图,C、H和W为特征图的通道数、高度和宽度,k为卷积核的大小,b,bgt为预测框与真实框的中心点,ρ为计算两个中心点间的欧式距离,c为能够同时包含预测框和真实框的最小外接矩形的对角线长度。
Figure 4. PLP-net structure diagram
Note: Conv is the convolution module, Maxpool is the maximum pooling,Concat is the feature connection module, C2f is the cross-stage partial feature fusion module, ECA is efficient channel attention, SPPF is spatial pyramid pooling, Upsample is the upsampling module, Detect is the detection head, $\chi $ is the input feature map, $\tilde \chi $ is the output feature map, C, H, and W represent the number of channels, height, and width of the feature map, k denotes the size of the convolution kernel, b and bgt is the center points of the predicted bounding box and the ground truth bounding box, ρ is the Euclidean distance between the two center points, c is the diagonal length of the smallest enclosing rectangle that can simultaneously contain both the predicted and ground truth bounding boxes.
图 9 不同模型预测图对比
注:A:原图;B:PLP-net模型预测图;C:Yolo v8n模型预测图;D:Yolo v11n模型预测图;△表示置信度小于0.5。
Figure 9. Comparison of prediction charts of different models
Note:A: Original image B: PLP-net model prediction chart C: Yolo v8n model prediction chart D: Yolo v11n model prediction chart; △Indicates that the confidence level is less than 0.5.
表 1 马铃薯杂质数据集组成
Table 1 Potato impurity dataset composition
类别
class训练集
Train set验证集
Validation set测试集
Test set合计
Total图像数量
Number of images4 033 503 504 5 040 马铃薯
Potato12 215 1 315 1 235 14 765 土块
Clod10 315 1 160 1 125 12 600 秧蔓
Seeding805 125 70 1 000 石块
Stone1 170 85 130 1 385 表 2 消融试验结果对比
Table 2 Comparison of ablation experimental results
编号
NumberP-骨干提取网络
P-BackboneP-检测头
P-HeadC2f-ECA 损失函数
Loss剪枝
Prune精确率
Precision/%平均精度均值
mAP50/%浮点运算量
FLOPs/G帧率
Frames per second/
(帧·s−1)模型大小
Model
size/MB1 × × × × × 97.3 98.3 12.1 117.7 6.8 2 √ × × × × 96.1 98.0 20.9 112.4 8.8 3 √ √ × × × 94.8 94.7 9.8 151.2 9.4 4 √ √ √ × × 96.3 96.6 9.8 153.9 9.4 5 √ √ √ √ × 96.7 96.3 9.7 166.7 9.4 6 √ √ √ √ √ 94.9 96.0 4.9 217.1 4.7 注:Loss表示更改损失函数为Focal-DIoU,Prune表示使用模型剪枝,表中加粗数字为该试验指标下最优数据。
Note: Loss means to change the loss function to Focal-DIoU, Prune means to use the model for pruning, The bold numbers in the table are the best data under the test inde.表 3 本研究模型与不同模型性能对比
Table 3 Comparison of the performance of this model with different models
模型
Model召回率
Recall/%精确率
Precision/%平均精度均值
mAP50/%浮点运算量
FLOPs/G帧率
Frames per second/(帧·s−1)模型大小
Model size/MBYolo v8n 96.8 97.3 98.3 12.1 117.7 6.8 Yolov8-FasterNet 95.5 98.5 97.9 117.2 100.0 53.4 Yolov8-ShuffleNetV2 94.2 90.4 94.3 8.8 74.6 4.2 Yolov8-MobileNetV3 95.2 96.3 97.6 9.7 150.0 5.5 Yolov8-MobileNetV4 96.5 95.7 96.2 26.5 125.0 12.3 Yolo v9 t 96.3 98.4 98.1 41.0 49.2 6.4 Yolo v11n 96.1 98.3 98.9 10.4 162.5 6.0 PLP-net 96.1 94.9 96.0 4.9 217.1 4.7 注:表中加粗数字为该试验指标下最优数据。
Note:The bold numbers in the table are the best data under the test index.表 4 模型部署推理速度对比
Table 4 Comparison of model deployment inference speeds
(帧·s−1) 模型
Model主机端
Host side工控机平台Industrial computer 未加速
No accelerationTensorRT加速
TensorRT accelerationYolo v8n 117.7 19.6 34.3 PLP-net 217.1 31.0 52.7 -
[1] MUNAWEERA T I K, JAYAWARDANA N U, RAJARATNAM R, et al. Modern plant biotechnology as a strategy in addressing climate change and attaining food security[J]. Agriculture & Food Security, 2022, 11(1): 26.
[2] 张万枝,张弘毅,刘树峰,等. 基于改进YOLOv7模型的马铃薯种薯芽眼检测[J]. 农业工程学报,2023,39(20):148-158. ZHANG Wanzhi, ZHANG Hongyi, LIU Shufeng, et al. Detection of potato seed buds based on an improved YOLOv7 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(20): 148-158. (in Chinese with English abstract)
[3] 李晓晖,魏忠彩,苏国粱,等. 基于气固耦合的气筛式薯-石清选装置参数优化与试验 [J]. 农业机械学报:2024, 55(1): 96-108 LI Xiaohui, WEI Zhongcai, SU Guoliang, et al. Parameter optimization and experiment of air-screen potato-stone cleaning device based on gas-solid coupling[J]. Transactions of the Chinese Society for Agricultural Machinery, 2024, 55(1): 96-108. (in Chinese with English abstract)
[4] 黄少华,梁喜凤. 基于改进YOLOv5的茶叶杂质检测算法 [J]. 农业工程学报,2022,38(17):329-336. HUANG Shaohua, LIANG Xifeng. Detecting the impurities in tea using an improved YOLOv5 model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(17): 329-336. (in Chinese with English abstract)
[5] WU Z, CHEN J, MA Z, et al. Development of a lightweight online detection system for impurity content and broken rate in rice for combine harvesters [J]. Computers and Electronics in Agriculture, 2024, 218:108689
[6] RONG D, WANG H, XIE L, et al. Impurity detection of juglans using deep learning and machine vision[J]. Computers and Electronics in Agriculture, 2020, 178: 105764. DOI: 10.1016/j.compag.2020.105764
[7] AL-MALLAHI A, KATAOKA T, OKAMOTO H, et al. Detection of potato tubers using an ultraviolet imaging-based machine vision system[J]. Biosystems Engineering, 2010, 105(2): 257-65. DOI: 10.1016/j.biosystemseng.2009.11.004
[8] 孙卫孝,刘发英,杨振宇,等. 基于主动热红外成像的马铃薯与杂质分类方法 [J]. 中国农机化学报,2024,45(2):143-150. SUN Weixiao, LIU Faying, YANG Zhenyu, et al. Classification of potato and impurities based on active thermal infrared imaging[J]. Journal of Chinese Agricultural Mechanization, 2024, 45(2): 143-150. (in Chinese with English abstract)
[9] 王相友,李晏兴,杨振宇,等. 基于改进YOLO v4模型的马铃薯中土块石块检测方法 [J]. 农业机械学报,2021,52(8):241-247,262. WANG Xiangyou, LI Yanxing, YANG Zhenyu, et al. Detection method of clods and stones from impurified potatoes based on improved YOLO v4 algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(8): 241-247, 262. (in Chinese with English abstract)
[10] 杨森,张鹏超,王磊,等. 集成改进YOLOv8n与通道剪枝的轻量化番茄叶片病虫害识别方法 [J]. 农业工程学报,2025,41(2):206-214. YANG Sen, ZHANG Pengchao, WANG Lei, et al. Identifying tomato leaf diseases and pests using lightweight improved YOLOv8n and channel pruning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2025, 41(2): 206-214. (in Chinese with English abstract)
[11] WANG T . Enhanced feline facial recognition: Advancing cat face detection with YOLOv8 and TensorRT[C]//Fourth International Conference on Computer Vision and Pattern Analysis (ICCPA 2024): 17-19 May 2024.Anshan, China. 2024.
[12] HONG H K, JEON J. An optimized multi-object tracking with TensorRT [C]//2023 International Technical Conference on Circuits/Systems, Computers, and Communications (ITC-CSCC), 2023: 1-4.
[13] 顾洪宇,李志合,李涛,等. 基于YOLOv5的马铃薯种薯芽眼轻量化检测算法[J]. 农业工程学报,2024,40(14):126-136. DOI: 10.11975/j.issn.1002-6819.202404033 GU Hongyu, LI Zhihe, LI Tao, et al. Lightweight detection algorithm of seed potato eyes based on YOLOv5[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(14): 126-136. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.202404033
[14] 潘玮,韦超,钱春雨,等. 面向无人机视角下小目标检测的YOLOv8s改进模型[J]. 计算机工程与应用,2024,60(9):142-150. DOI: 10.3778/j.issn.1002-8331.2312-0043 PAN Wei, WEI Chao, QIAN Chunyu, et al. Improved YOLOv8s model for small object detection from perspective of drones[J]. Computer Engineering and Applications, 2024, 60(9): 142-150. (in Chinese with English abstract) DOI: 10.3778/j.issn.1002-8331.2312-0043
[15] WANG Q L, WU B G, ZHU P F, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA: IEEE, 2020: 11531-11539.
[16] 许英超,刘书玮,王相友,等. 基于改进YOLOv8n的轻量化马铃薯表面缺陷在线检测方法[J]. 农业工程学报,2025,41(5):135-144. XU Yingchao, LIU Shuwei, WANG Xiangyou, et al. Lightweight online detection method for potato surface defects based on the improved YOLOv8n model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2025, 41(5): 135-144. (in Chinese with English abstract)
[17] TSUNG Y L, PRIYA G, ROSS G, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327. DOI: 10.1109/TPAMI.2018.2858826
[18] ZHENG Z, WANG P, LIU W, et al. Distance-IoU Loss: Faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2020, 34(7): 12993-13000.
[19] 王政,许兴时,华志新,等. 融合YOLO v5n与通道剪枝算法的轻量化奶牛发情行为识别 [J]. 农业工程学报,2022,38(23):130-140. WANG Zheng, XU Xingshi, HUA Zhixin, et al. Lightweight recognition for the oestrus behavior of dairy cows combining YOLO v5n and channel pruning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(23): 130-140. (in Chinese with English abstract)
[20] 冯敬翔. 基于迁移学习的卷积神经网络通道剪枝 [J]. 计算机与现代化,2021,(12):13-8. FENG Jingxiang. Channel pruning of convolutional neural network based on transfer learning[J]. Computer and Modernization, 2021, (12): 13-18. (in Chinese with English abstract)
[21] LIU Z,LI J,SHEN Z,et al. Learning efficient convolutional networks throughnetworkslimming[C]// Proceedingsof the 2017 IEEE International Conference on Computer Vision. Piscataway: IEEE,2017:2755-2763.
[22] 梁晓婷,庞琦,杨一,等. 基于YOLOv4模型剪枝的番茄缺陷在线检测 [J]. 农业工程学报,2022,38(6):283-92. LIANG Xiaoting, PANG QI, Yang Yi,et al. Online detection of tomato defects based on YOLOv4 model pruning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(6): 283-292. (in Chinese with English abstract)
[23] CHEN J, KAO S, HE H, et al. Run, Don't walk: Chasing higher FLOPS for faster neural networks[C]// 2023 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, Canada: IEEE, 2023: 12021-12031.
[24] MA N, ZHANG X, ZHENG H T, et al. ShuffleNet V2: Practical guidelines for efficient CNN architecture design[C]//; proceedings of the European Conference on Computer Vision, F, 2018 .
[25] HOWARD A, SANDLER M, CHEN B, et al. Searching for MobileNetV3[C]//; proceedings of the 2019 IEEE/CVF International Conference on Computer Vision (ICCV), F, 2020.
[26] QIN D, LEICHNER C, DELAKIS M, et al. MobileNetV4 Universal models for the mobile ecosystem[EB/OL]. (2024-0416)[2024-09-04] http://arxiv.org/abs/2404.10518v2
[27] 李茂,肖洋轶,宗望远,等. 基于改进YOLOv8模型的轻量化板栗果实识别方法 [J]. 农业工程学报,2024,40(1):201-209. LI Mao, XIAO Yangyi, ZONG Wangyuan, et al. Detecting chestnuts using improved lightweight YOLOv8[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(1): 201-209. (in Chinese with English abstract)