Sheep peripartum behavior recognition method based on improved YOLOv8n-pose
-
摘要:
在现代畜牧业中,自动化识别羊只围产期行为能及时发现潜在的健康问题和生产异常,从而有效保障羊只健康、降低出生羊羔死亡率、提升繁殖效益。针对羊只围产期部分行为特征的高度相似以及羊只生产环境中存在复杂光照条件和背景干扰等问题,该研究提出了一种改进YOLOv8n-Pose关键点检测模型与BP神经网络相结合的羊只围产期行为识别方法。首先,为提升关键点检测的精度,新增P2检测层,显著增强模型对小尺度特征的捕获能力,为复杂行为的关键点定位提供更精细的支持。其次,针对复杂环境中的特征表达问题,引入多尺度注意力模块(multi-scale attention block, MAB),以动态权重机制强化模型对全局与局部特征的交互建模能力,提升在复杂光照环境下的稳健性和泛化性能。此外,考虑到模型参数量较大导致部署困难,采用基于L1范数的剪枝策略,对优化后的模型进行参数压缩与冗余移除,既有效降低了计算复杂度,又保证了高效性与模型性能的平衡。最后,基于改进模型精准提取12个关键点坐标信息后,结合5个关节角度、2对关键点相对位置以及关键点识别个数,构建包含32个行为特征向量的多维数据集,并将其作为输入传递至BP神经网络进行羊只围产期行为分类。试验结果表明,在自建羊只围产期数据集上,改进的YOLOv8n-Pose模型检测羊只关键点较原模型平均精度值mAP50提升4.6个百分点,mAP50:95提升6.7个百分点。BP神经网络对羊只围产期行为进行分类,其F1分数达到95.7%。研究结果验证基于关键点的识别方法在复杂的围产期行为识别中具有明显优势,为畜牧业智能化管理提供有效的技术支持。
-
关键词:
- 行为识别 /
- YOLOv8n-Pose /
- 关键点检测 /
- 围产期 /
- BP神经网络
Abstract:An accurate and rapid identification of sheep periparturient behaviors can often be required to prevent the potential health risks and production abnormalities in modern animal husbandry. It is crucial to safeguard the ovine welfare for reproductive efficiency, thus reducing neonatal lamb mortality. However, some challenges still remain in the accurate recognition of the behavior during the periparturient period. Particularly, there is a high similarity between the behavioral traits and environmental interferences, such as the complex illumination and cluttered backgrounds in sheep farming. In this study, an advanced recognition was proposed to integrate an enhanced YOLOv8n-Pose key-point model with a backpropagation (BP) neural network. Specifically, an additional P2 detection layer was incorporated into the network architecture, in order to improve the precision of the key-point detection. The fine-grained and small-scale features were captured to accurately localize the anatomical key points in the complex behavioral scenarios. The detection layer was added for a higher degree of spatial resolution. Particularly, there were subtle movement variations in the periparturient sheep. Furthermore, a multi-scale attention block (MAB) module was introduced into the framework, in order to mitigate the feature representation in dynamic environments. A dynamic weighting module was employed to interactively learn the global and local spatial dependencies. Consequently, the robustness and generalization performance of the improved model was achieved under heterogeneous illumination. The MAB module effectively prioritized the most discriminative feature regions, thereby reducing the impact of the background noise and occlusions commonly observed in practical farming environments. The L1-norm channel pruning was systematically implemented to reduce the excessive parameters in the practical deployment constraints. The parameter compression was effectively optimized to eliminate the redundancy in the refined model. An optimal combination was achieved to balance computational efficiency and performance retention. The pruning was utilized to maintain the model integrity using structured sparsity, in order to significantly reduce the computational overhead. The real-time livestock monitoring was realized as suitable for edge computing. A multidimensional dataset of the behavioral feature was constructed to accurately extract the 12 key-point coordinates. Five joint angle parameters were integrated with two pairs of the key-point relative distance metrics, and the key-point detection confidence scores. The dataset was obtained with a 32-dimension feature vector. These feature representations were extracted to serve as the input into a BP neural network for the precise classification of the periparturient behaviors. The BP neural network was trained using adaptive learning. The complex spatiotemporal dependencies were effectively captured among the extracted features. The high classification accuracy was achieved after extraction. A series of experiments were conducted to evaluate the performance of the improved model on a self-developed dataset of periparturient sheep. The results demonstrated that the improved YOLOv8n-Pose model achieved a notable 4.6 percentage point increase in the mean average precision (mAP50) and a 6.7 percentage point improvement in mAP50:95 for the key-point detection, compared with the baseline architecture. Moreover, the BP neural network exhibited outstanding performance in the classification. An F1-score of 95.7% was obtained to distinguish the critical periparturient behaviors. The superior efficacy of the key-point recognition was obtained to identify the periparturient behavior. Ultimately, the robust technical framework greatly contributed to the intelligent livestock systems. Full automation and precision monitoring were enhanced in sheep farming.
-
0. 引 言
羊在中国农业中占据重要地位,是草原牧区的经济支柱,也是农村农牧结合的关键组成部分[1]。在羊只养殖过程中,围产期行为的精准监测对提高羊群的繁殖效率和整体养殖效益至关重要[2]。然而,现行的监测方法主要基于人工观察和接触式传感器技术[3-4]。人工观察虽直观,但效率低下且难以实现对初生羔羊的及时监测,可能对羊只健康造成严重影响[5-6]。接触式传感器技术虽然提升了监测自动化水平,但其应用过程中存在动物应激、设备可靠性差(包括设备脱落)、数据完整性受损以及电池续航能力不足等问题[7-8]。因此,如何准确、及时、低成本且无应激地识别羊只的围产期行为,成为当前羊养殖产业亟待解决的关键问题[9]。
随着计算机视觉技术和深度学习的发展,基于视觉特征的动物行为识别作为一种非接触式、自动化且经济高效的检测手段,已成为当前研究和应用的主流方法[10]。该方法主要分为基于整体图像特征和基于关键点特征两类[11]。基于整体图像特征的识别方法通过从图像中检测目标区域并提取区域的视觉特征,再基于传统机器学习或深度学习算法进行动物行为检测[12]。然而,该方法由于从整张图像中提取到的特征是比较粗粒度的,对于复杂行为和相似行为的识别较为困难[13]。基于关键点特征的方法通过关键点定位构建骨架结构,能够更精准地捕捉行为的细微变化,为行为分类算法的特征提取提供关键性指导。
在基于整体图像特征的识别方法中,韩丁[13]通过K-means聚类算法识别草原放牧绵羊的站立、卧息、行走行为,识别率均超85%,为牧羊管理提供了技术支持。韩佳臻[14]利用SEDenseNet识别奶山羊的站立、趴卧和进食行为,平均准确率达89.2%。JIANG等[15]通过改进的YOLOv4模型检测羊只采食、饮水、活动和非活动行为,识别率分别为97.87%、98.27%、96.86%和96.92%,为群养牲畜行为识别提供了有效方法。阴旭强[16]采用改进YOLOv5算法识别奶牛行走、站立、躺卧、进食和饮水五类基本运动行为,识别精度达98.17%,证明该算法适用于自然场景下奶牛行为的准确识别。翟亚红等[17]使用改进的YOLOv5n模型识别舍养绵羊的进食、躺卧和站立行为,平均精度均达到95.8%。WU等[18]通过CNN-LSTM网络识别奶牛的饮水、行走、站立和休息行为,准确率均超过95.6%。
在基于关键点特征的识别方法中,FANG等[19]使用DeepLabCut模型进行肉鸡的姿态估计,利用关键点位置、凹陷、骨架形态、形状特征、骨架角度和伸长率6种特征实现肉鸡日常行为的精确分类;结果显示,休息行为的分类精度最高,达到96.23%,而行走和奔跑的精度较低,因其行走和奔跑行为的运动幅度相似导致分类错误。NASIRI等[20]利用DeepLabCut提取肉鸡骨骼关键点并通过LSTM模型评估跛行程度,平均准确率达97.50%。董力中等[21]结合OpenPose和ST-GCN识别猪只站立、行走和躺卧行为,姿态估计模型平均精度超93%,ST-GCN行为识别准确率为86.67%,证明了基于姿态与时序特征的方法在群猪行为识别方面具有一定可行性。
随着计算机视觉技术的快速发展,基于姿态估计的动物行为识别方法在畜禽健康监测与精准养殖中展现出重要应用价值。目前,以猪只、肉鸡等规模化养殖动物为对象的研究已取得显著进展,然而,针对围产期母羊的姿态估计与行为识别研究仍存在明显不足。由于羊只体型纤瘦、行为模式多样,且围产期行为具有瞬时性和弱显著性特征,现有算法在实际应用中面临三重挑战:羊蹄、新生羔羊等小尺度目标在复杂栏舍背景下易受遮挡和噪声干扰,导致关键点定位精度不足;养殖场光照条件多变(如夜间红外补光、强逆光),传统特征提取方法易出现梯度弥散,造成关键点特征退化;现有模型参数量庞大,难以在嵌入式设备中满足实时性需求,制约了技术落地应用。
针对上述问题,本研究提出了改进的YOLOv8n-Pose端到端网络模型。当前YOLOv8n-Pose模型其特征金字塔层级设计对小尺度关键点的细节特征捕捉能力有限,且缺乏对复杂光照特征的鲁棒性建模。针对小尺度关键点特征提取能力不足的问题,新增P2高分辨率检测层,通过融合浅层细节特征提升羊蹄、羊羔等微小目标的定位精度。针对复杂光照导致的特征退化问题,引入MAB多尺度注意力模块,利用通道-空间联合注意力机制动态分配特征权重,强化弱光照下关键点区域的响应强度。针对模型改进后引起模型参数量、计算量增大的问题,采用L1范数剪枝策略对模型进行参数优化,有效减少模型参数量以实现轻量化。在准确提取关键点坐标后,通过分析关节角度、关键点相对位置和关键点识别有效个数,构建了包含行为特征向量的多维数据集,并将其作为输入传递至BP神经网络,以期实现复杂场景下羊只围产期行为的精准识别。
1. 数据采集与处理
1.1 图像采集
本研究的图像采集工作于2023年7月-9月在河北省衡水市志豪畜牧科技有限公司养殖基地的保育圈舍进行,该圈舍专用于饲养和照料待产母羊,每个圈舍包含1~2只怀孕母羊。采集设备为海康威视摄像机,分辨率为(1 920×1 080)像素,摄像机安装于距离地面2 m处,并以65°的角度向下倾斜拍摄,以确保视频画面仅覆盖目标围栏中的羊只活动区域。视频数据通过EZ Station监控管理软件进行实时管理,采集示意图如图1所示。本试验采集了16只羊的围产期行为数据,包括站立、吃食、趴卧、产前、分娩和舔舐6种行为。行为示意图如图2所示。将采集的图像进行数据清洗、去除模糊和相似度过高图像,优先保留行为特征显著且涵盖不同个体、不同光照条件的代表性图像,确保数据的质量和代表性。并对图像进行随机裁剪、缩放、镜像等数据增强处理,以增加图像多样性,提升模型泛化能力。
1.2 数据集构建
1.2.1 骨架设计
在研究羊只姿态提取方法前,确立羊只骨骼关键点及其连接关系以构建完整的骨架模型至关重要[22]。通过对羊只骨架特征和器官位置的深入分析,设计了11个关键点和10对连接关系以全面捕捉羊只的姿态特征。如图3中骨架设计。同时为了深化对羊只生产行为的理解,特别是在分娩和舔舐这两种关键行为的辨识上,引入初生羊羔关键点作为第12个关键点。
图 3 数据集构建流程图注:编号1~11分别为头部、颈部、臀部、前肢左关节、前肢左蹄、前肢右关节、前肢右蹄、后肢左关节、后肢左蹄、后肢右关节、后肢右蹄。Figure 3. Dataset construction flowchartNote: Numbers 1 to 11 refer to the head, neck, buttocks, left forelimb joint, left forelimb hoof, right forelimb joint, right forelimb hoof, left hindlimb joint, left hindlimb hoof, right hindlimb joint, and right hindlimb hoof.1.2.2 数据集标注及划分
在完成骨架设计后,使用Labelme软件对图像中的羊只及其关键点进行精确标注,如图3中姿态估计标注。以目标最小外接矩形进行羊只标注,标注标签为“sheep”,12个关键点按“head”、“Body0”、“Body1”、“Fl_leg0”、“Fl_leg1”、“Fr_leg0”、“Fr_leg1”、“bl_leg0”、“bl_leg1”、“br_leg0”、“br_leg1”、“lamb”的顺序依次进行标注。
标注完成后,数据以JSON格式保存。为满足模型的训练需求,标注后的数据通过脚本转换为TXT格式的标注文件[23]。每个TXT文件包含目标的类别ID、边界框的中心点坐标、边界框的宽度和高度,以及按关键点顺序排列的关键点坐标和可见度信息。关键点的可见度信息以数值编码,0表示关键点不可见,1表示关键点被遮挡,2表示关键点可见且无遮挡。最终,共标注关键点图片3 000张,其中包括站立姿态432张、吃食姿态400张、趴卧姿态524张、产前姿态624张、分娩姿态562张、舔舐姿态458张。由于研究的重点是羊只的生产行为,因此产前姿态和分娩姿态的数据量较多,虽导致数据集中的样本数量存在不平衡,但能更好地捕捉和分析生产相关的关键姿态。为确保模型训练的充分性和测试的有效性,将数据按7:3的比例划分为训练集和测试集,以提供充足的训练样本并保留适量的测试样本,确保模型性能评估的准确性与可靠性。数据集构建流程如图3所示。
2. 羊只围产期行为识别方法
2.1 关键点提取方法
在羊只的姿态估计中,关键点提取是一项关键技术。通过提取羊只关键点,可获取与行为密切相关的关节位置和姿态信息,从而提高行为识别的准确性,为羊只的健康监测和生产管理提供有力的数据支持[24]。当前的姿态估计算法主要分为自底向上(bottom-up)和自顶向下(top-down)两类方法。自底向上方法首先检测图像中的所有关键点,再通过关键点的配对与连接构建完整的骨架结构[25]。该方法在处理密集场景中的多目标姿态估计时表现良好,但易受到遮挡和关键点错配的影响。而自顶向下方法则是通过目标检测算法定位目标区域,然后在每个目标区域内进行关键点检测[26]。由于该方法先进行目标区域分割,降低了误检与漏检的概率,因此在单目标或少目标场景的姿态估计中表现更为优异。鉴于保育圈舍内目标数量较少且分布相对分散的特点,本研究采用自顶向下的YOLOv8n-Pose方法对羊只进行2D姿态提取。
2.1.1 YOLOv8n-Pose模型及改进思路
YOLOv8n-Pose是在YOLOv8目标检测框架基础上扩展而来的单阶段姿态估计方法,不仅能够实现目标检测,还具备预测关键点位置的能力[27]。模型主要由输入端(Input)、主干网络(Backbone)、颈部(Neck)和头部(Head)四部分组成。原始的YOLOv8n-Pose模型主要针对人体17个关键点进行检测,本研究仅针对羊只的12个关键点,因此对原有的YOLOv8n-Pose模型进行三点改进以适应本研究应用场景。首先,增加P2检测层(见图4中*1)以增强模型对小尺度关键点的特征提取能力,从而提升对羊只小尺度关键点的检测精度。其次,在检测层前引入MAB多尺度注意力模块(见图4中*2),通过增强关键点区域特征权重,提升模型对复杂场景中关键点检测的准确性。最后,为满足模型在嵌入式或移动设备上的部署需求,采用基于L1范数的滤波器剪枝算法(见图4中*3),有效减少模型参数量,在确保检测精度的基础上显著降低计算复杂度。将改进后的网络命名为YOLOv8n-P2-MAB-L1-Pose(YOLOv8n-PML-Pose)关键点检测网络,改进后的整体网络模型如图4所示。
图 4 YOLOv8n-PML-Pose结构图注:*1为P2检测层模块,*2为MAB多尺度注意力模块,*3为L1范数通道剪枝方法,CBS为卷积+标准化+激活函数,C2f为跨阶段特征融合模块,SPFF为空间金字塔池化模块,Concat为通道数相加的特征融合方式,Upsample为上采样模块,MAB为多尺度注意力模块,P为特征图尺寸,Cin为输入通道数,C(i+1)1为第i+1层输出的通道数。Figure 4. YOLOv8n-PML-Pose structure diagramNote: * 1 is the P2 detection layer module, * 2 is the MAB multi-scale attention module, * 3 is the L1 norm channel pruning method; CBS stands for convolution + batch normalization + activation function, C2f is the cross-stage feature fusion module, SPFF denotes the spatial pyramid pooling module, Concat represents the feature fusion method by channel concatenation, Upsample refers to the upsampling module, MAB is the Multi-scale attention block, P indicates the feature map size, Cin signifies the input channel count, C(i+1)1 represents the output channel number of the (i+1)th layer.2.1.2 增加P2检测层
YOLOv8n-Pose模型采用了特征金字塔网络(feature pyramid networks, FPN)结构,以增强对不同尺度目标的检测能力[28,29]。FPN通过引入多分辨率特征图,将低层特征图中的细节信息与高层特征图中的语义信息进行融合,有效解决了目标在图像中不同比例展示的问题,从而提升了模型在多尺度目标检测中的性能[30]。在原始的YOLOv8n-Pose模型中,检测层包括P3、P4和P5,分别对应特征图尺寸为(80×80)、(40×40)和(20×20)像素。然而,在羊只关键点检测任务中,由于羊只关键点的像素面积较小,较深层的特征图在下采样过程中容易丢失重要的细节信息,导致关键点定位不准确或完全忽略。
针对这一问题,本研究在YOLOv8n-Pose模型中新增了P2检测层,特征图尺寸为(160×160)像素,较原始模型中的P3、P4、P5检测层具有更高的分辨率,如图5所示。通过结合P2层的高分辨率细节信息与高层特征图的语义信息,模型在提升小尺度关键点检测精度的同时,增强了整体的检测性能。优化了原始YOLOv8n-Pose在低分辨率特征图上可能产生的关键信息丢失问题,为羊只行为识别的准确性和可靠性提供了有力支持。
2.1.3 引入MAB多尺度注意力模块
羊只生活环境复杂,且生产行为多发生于夜间,弱光照条件进一步加剧了特征信息的丢失和背景干扰,导致目标边缘模糊化,增加了模型在关键细节识别上的难度。为解决这一问题,本研究在YOLOv8n-Pose模型中引入了MAB多尺度注意力模块,如图6所示。MAB模块通过结合多尺度大核注意力(multi-scale large kernel attention, MLKA)与门控空间注意单元(gated spatial attention unit, GSAU),实现了全局与局部特征信息的高效融合,从而增强了模型在低光照和复杂背景场景下的鲁棒性。在MLKA模块中,通过分解大核卷积(large kernel attention, LKA)建立长距离依赖关系,并结合多尺度机制对输入特征分组处理,生成多尺度注意力图。这一设计使模型在感知不同尺度的细节信息时更加灵活,尤其对复杂背景中的目标表现出更高的敏感性。通过引入动态空间门,模型显著减轻了因背景干扰引起的块效应,深度卷积进一步加强了目标区域的显著性,使得模型在低光照和复杂背景下能够更加精准地提取目标特征。该方法可有效改进羊只生产环境中面临复杂光照的问题,提高关键点识别精度。
图 6 MAB多尺度注意力模块注:LN为层归一化,PWConv为逐点卷积,Split为特征分割,LKAi为大核注意力机制,Gi为深度卷积生成的第i个门控函数。Figure 6. MAB multi-scale attention moduleNote: LN denotes layer normalization, PWConv represents pointwise convolution, Split indicates feature splitting, LKAi stands for the large kernel attention mechanism, and Gi refers to the i-th gating function generated by depthwise convolution.2.1.4 基于L1范数通道剪枝
在羊只生产行为识别任务中,实时监控和高效行为识别的需求尤为紧迫。随着模型的深度增加,计算复杂度和参数存储需求也显著增长,这对模型的存储和计算能力提出了较高要求[30]。过于庞大的模型不仅会导致计算效率低下,还可能无法在现场设备上实现实时处理,影响行为识别的实时性和精度。
针对上述问题,本研究引入了基于L1范数的通道剪枝技术,以有效减轻计算负担并提高推理速度。基于L1范数的剪枝方法通过删除权重较小的卷积核及其对应的特征图,减少了冗余计算和参数量,从而实现模型的压缩和加速。如图7所示,针对输入通道为$ {n}_{i} $,宽度和高度分别为$ {w}_{i} $和$ {h}_{i} $的特征图$ {x}_{i} $,使用$ {n}_{i+1} $个过滤器进行卷积。每个过滤器的权重L1范数被用来衡量其在卷积操作中的贡献程度,通过对L1范数进行排序,识别并删除权重较小的卷积核及其对应的特征图。剪枝的数量m依据预定的修剪比例确定,且与被剪枝特征图相连接的卷积核也会被移除(如图中深色部分所示)。完成剪枝后,模型将进入再训练阶段,以恢复在关键点检测任务中的精度。通过这一优化,模型不仅能够有效减少计算负担,还能确保在资源受限的设备上高效运行,从而支持实时且高效的羊只生产行为监测与管理。
2.2 关键特征构造方法
在羊只围产期行为识别中,捕捉各行为状态下的姿态变化对于提高分类准确性具有关键意义。经研究发现,不同行为状态下,关节角度存在显著差异,同时关键点之间的相对位置以及关键点的检测个数也为行为判别提供了有力依据[31]。因此,本研究构造的关键特征体系以关节角度为核心,同时辅以关键点相对位置及关键点识别个数信息。不同行为姿态示意图如图8所示。在站立时,羊只的头部保持较高位置,四肢直立,前腿和后腿的关节角度接近180°。吃食时,羊只的姿态与站立类似,整体依然直立,但羊只头部向下接近地面。在趴卧状态下,羊只紧贴地面并四肢弯曲,头部接近地面,呈放松姿态。产前姿势与趴卧相似,但后腿呈现绷直状态,四肢关节角度显著增大,呈现出紧张的待产姿态。分娩姿态与产前的区别在于羊羔的出现。舔舐行为与吃食类似,四肢仍保持站立状态,但羊只头部向下靠近羊羔。
关节角度是表征羊只姿态动态变化的核心特征。基于2.1节中模型提取的关键点坐标信息,本研究通过向量夹角计算各关节角度,具体的角度计算如式(1)所示
$$ \theta =\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{\left({x}_{2}-{x}_{1}\right)\left({x}_{3}-{x}_{2}\right)+\left({y}_{2}-{y}_{1}\right)\left({y}_{3}-{y}_{2}\right)}{\sqrt{{\left({x}_{2}-{x}_{1}\right)}^{2}+{\left({y}_{2}-{y}_{1}\right)}^{2}}\cdot \sqrt{{\left({x}_{3}-{x}_{2}\right)}^{2}+{\left({y}_{3}-{y}_{2}\right)}^{2}}}\right) $$ (1) 其中($ {x}_{1},{y}_{1} $),($ {x}_{2}{,y}_{2} $),($ {x}_{3},{y}_{3} $)分别代表3个关键点的坐标,$ \theta $为由这3个点构成的角度(°)。为降低因关键点未被准确检测或坐标信息缺失而引入的误差,设定阈值:若构成某角度的3个关键点中至少有两点的检测精度低于0.5,则将该角度值置为−1,以示数据无效。
为进一步补充关节角度未能完全反映的姿态信息,本研究选取“头部—右前蹄”和“头部—左前蹄”两组关键点对,分别计算它们的欧氏距离。这两组距离特征能够有效表征羊只头部的空间位置变化,尤其在区分“站立”与“吃食”行为时具有重要作用。为解决部分关键点因遮挡或低光照等原因检测不全的问题,本研究统计每幅图像中可见性标记为2(无遮挡)的关键点个数,并对羊羔关键点采用二值标记(检测到取1,否则取0)。这一特征在区分“分娩”与“产前”行为时尤为重要。
为定量评估各特征在行为分类中的贡献,本研究对各行为状态下各特征的均值进行统计,并采用多元回归模型以这些均值作为自变量、行为类别作为因变量,最终通过回归系数确定各特征的权重。表1展示了关节角度、相对位置以及关键点识别个数在不同行为状态下的均值分布及其对应的权重分配情况。
表 1 特征平均值及权重分配表Table 1. Average angles and weight assignment table特征类型
Feature type特征名称
Feature Name站立
Stand吃食
Eat趴卧
Down产前
Work分娩
Produce舔舐
Lick权重
Weight关节角度
Joint angle/(°)Angle0 129.5 144.6 151.8 129.2 137.8 123.1 -0.17 Angle1 156.4 167.5 33.7 54.1 94.6 117.7 0.25 Angle2 156.6 164.8 37.9 51.1 80.6 163.1 -0.09 Angle3 139.1 156.7 41.8 137.5 158.9 138.2 0.23 Angle4 133.1 154.7 42.1 154.3 156.4 126.7 0.26 相对位置
Relative position/pixel头部—右前蹄距离 120.3 85.2 135.7 130.5 145.8 90.1 0.15 头部—左前蹄距离 125.6 87.7 128.5 132.4 143.7 88.7 0.18 关键点数量
Number of key points有效关键点总数 11 11 9 9 10 12 0.10 表1结果显示,Angle1、Angle3和Angle4的正向权重表明它们在行为判别中起到了显著的正向作用,而Angle0与Angle2的负向权重则提示其贡献较弱;相对位置特征与羊羔关键点存在性特征的权重较高,进一步验证了它们在行为识别中的关键作用,有助于提升分类模型的区分能力和整体性能。
2.3 BP神经网络分类方法
在完成羊只关键点检测与关节角度计算后,通过关键点坐标、关节角度、关键点相对位置、关键点识别个数对羊只行为进行分类。该分类任务涉及的特征参数较为精简,包括12个关键点的横纵坐标、5个关键关节角度、2对关键点相对位置和1个关键点识别个数,共计32个特征参数。为了满足模型轻量化和分类速度优化的需求,本研究选用BP神经网络作为羊只行为识别的分类模型[32],其分类流程如图9所示。首先,将监控设备采集的图像输入模型;随后,利用改进的YOLOv8n-PML-Pose模型对图像进行姿态估计,提取羊只的12个关键点坐标,为特征构造提供核心数据;基于关键点坐标构建关键特征向量,形成行为识别的输入数据集;最后,采用BP神经网络进行分类,其输入层包含32个神经元,分别对应32个特征参数。通过反向传播算法,网络有效学习并提取不同行为模式的特征,最终准确输出行为分类结果。
3. 结果与分析
3.1 训练环境配置
本试验中所用模型的运行都是在同一服务器上,服务器配置如表2所示。设置训练迭代周期(epochs)为300,每批次输入图像数量(batch size)为16,初始学习率(lr0)为0.01,动量因子(momentum)为0.937,试验中均开启了Mosaic数据增强技术,以丰富训练数据的多样性,提升模型的泛化能力。
表 2 服务器配置与运行环境Table 2. Server configuration and operating environment硬件
Hardware配置
Configuration运行包
Run package版本
VersionOS Windows10 Python 3.10 CPU Intel(R)Core(TM)i9-13900K PyTorch 2.0.1 GPU NVIDIA GeForce RTX3090 Cuda 11.6 3.2 关键点评价指标
本研究采用精度(Precision,P)、召回率(Recall,R)、mAP50和mAP50:95作为关键点检测模型的主要评价指标。精度反映预测结果中正样本的准确性;召回率则衡量实际正样本中被正确识别的比例[33]。mAP50表示关键点相似度(object keypoint similarity,OKS)阈值固定为0.5时的平均精度,mAP50:95表示OKS阈值从0.5~0.95(步长为0.05)范围内的平均精度,其中OKS是在COCO姿态估计挑战赛中提出的,用于衡量预测点坐标与真实点坐标之间的相似度,类似于目标检测中的交并比(IOU)。OKS的计算式为
$$ \mathrm{O}\mathrm{K}\mathrm{S}=\frac{\sum_i^{ }\mathrm{exp}\left(-\dfrac{i_2^d}{2s^2i_2^K}\right)\delta\left(v_i > 0\right)}{\sum_i^{ }\delta\left(v_i > 0\right)} $$ (2) 其中$ {v}_{i} $是可见性标记,其值为0时表示不可见,值为1时表示被遮挡,值为2时表示可见。$ \delta $在条件成立时为1($ {v}_{i} > $0),否则为0。$ s $表示图像像素面积,$ {d}_{i} $表示检测中第i个关键点与目标中对应关键点的欧拉距离,$ {K}_{i} $为关键点i的归一化因子。
当OKS大于给定阈值T时,检测结果视为真阳性,基于此可以计算得出平均精度(average precision,AP),对设定的多个阈值所得到的多个AP进行综合加权平均,即为mAP。
此外,为评价关键点检测的性能,将浮点运算量(floating point operations, FLOPs)与参数量(parameters)作为重要的轻量化评估指标也纳入评价[34]。浮点运算量的计算方式是将各层参数量乘以输入数据的维度,然后对所有层的结果求和。参数量表示模型中的参数数量,通常用于衡量模型的复杂度和容量。
3.3 模型对比
在羊只检测的应用场景中,为全面验证YOLOv8n-Pose在关键点检测任务中的性能优势,本研究在统一试验环境下,对SimCC、HRNet、HigherHRNet、YOLOv11s-Pose与YOLOv8n-Pose关键点检测算法对同一数据集进行对比试验。试验结果如表3所示。从检测精度来看,YOLOv8n-Pose的mAP50指标上达到86.6%,相较于SimCC、HRNet、HigherHRNet和YOLOv11s-Pose分别提升了2.7、2.3、1.1及0.4个百分点。从模型复杂度和计算成本角度分析,YOLOv8n-Pose的参数量仅为3.09 M,相比于SimCC、HRNet、HigherHRNet和YOLOv11s-Pose模型分别减少了24.45 、60.51 、25.51 和6.32 M。浮点运算量为8.8 G,相比于其余模型分别减少8.9 、27 、39.1 和12.5 G。试验结果表明YOLOv8n-Pose在关键点检测任务中具备显著的准确性优势和模型轻量化特性。
表 3 不同模型对比测试结果Table 3. Comparative test results of different models模型
Model精度P/% 召回率R/% mAP50/% mAP50:95/% 参数量
Parameters/M浮点运算量
FLOPs/GSimCC 86.7 83.6 83.9 47.8 28.54 17.3 HRNet 87.2 83.9 84.3 48.7 63.60 35.4 HigherHRNet 87.6 84.0 85.5 49.2 28.6 47.9 YOLOv11s-Pose 88.2 85.8 86.2 59.8 9.41 21.3 YOLOv8n-Pose 88.7 88.1 86.6 50.4 3.09 8.8 注:P为精度,R为召回率。 Note:P stands for precision, R stands for recall. 3.4 消融试验
为验证P2检测层和MAB多尺度注意力模块对模型YOLOv8n-Pose的贡献,在数据集上进行消融试验。表4为YOLOv8n-Pose、P2检测层和MAB多尺度注意力模块的不同组合方案得到的试验结果。由表4可知,在YOLOv8n-Pose增加P2检测层,其P、R、mAP50和mAP50:95分别提升3.2、0.2、1.2和3.7个百分点。试验结果表明,P2检测层有利于羊只的关键点特征提取。引入MAB多尺度注意力模块后,其P、R、mAP50和mAP50:95分别提升4.2、1.1、3.8和4.8个百分点。结合P2检测层和MAB多尺度注意力模块的双重改进,模型最终在P、R、mAP50和mAP50:95上分别较原始YOLOv8n-Pose提升了5.5、2.0、4.6和7.0个百分点。
表 4 消融试验结果Table 4. Ablation experiment resultsYOLOv8n-Pose P2 MAB 精度
P/%召回率
R/%mAP50/% mAP50:95/% √ 88.7 88.1 86.6 50.4 √ √ 91.9 88.3 87.8 54.1 √ √ 92.9 89.2 90.4 55.2 √ √ √ 94.2 90.1 91.2 57.4 为直观验证P2检测层和MAB多尺度注意力模块对关键点检测性能的提升作用,采用基于梯度加权类激活映射方法(axiom-based grad-cam, XGradCAM)对羊只关键区域进行热力图可视化分析,如图10所示。在正常光照条件下,YOLOv8n-Pose、YOLOv8n-P2-Pose和YOLOv8n-MAB-Pose均能准确捕捉关键点特征,注意力分布无显著差异。然而,在夜间弱光照条件下,YOLOv8n-Pose模型的注意力分布较为分散,对关键特征区域的关注能力有所下降,引入P2检测层后,由于其通过高分辨率特征图捕获了更多细粒度信息,使得模型对小目标(羊蹄)的定位上得到改善。引入MAB模块后,模型注意力分布更加集中,能够更精准地聚焦于羊只的关键区域。试验结果表明,P2检测层和MAB模块显著增强了模型对关键区域的感知能力,提高了关键点检测的鲁棒性和精度,有助于模型在复杂环境中的可靠应用。
3.5 轻量化试验
为了评估改进后模型的轻量化效果,本研究采用L1范数、Slim(network slimming)、Random和Lamp(layer-adaptive magnitude-based pruning)剪枝进行对比。L1范数剪枝通过计算过滤器权重的L1范数,裁剪掉权重较小的卷积核及其对应的特征图。而Slim剪枝基于批归一化(BN)层中的缩放因子来判断通道的重要性,保留缩放因子较大的通道。Random剪枝则采用随机方式修剪模型的参数。Lamp剪枝通过计算每个连接的Lamp分数,裁剪掉得分较低的连接。
表5展示了不同剪枝策略对YOLOv8n-P2-MAB-Pose模型轻量化效果的对比。L1范数剪枝的浮点运算量从24.4 G至17.0 G,参数量从4.77 M降至3.74 M,分别降低了30.3%和21.6%;同时,模型mAP50保持稳定为91.2%。
表 5 轻量化消融试验结果Table 5. Lightweight ablation experiment results模型
Model浮点运算量
FLOPs/
G参数量
Parameters/
M精度
P/%召回率
R/%mAP50/
%mAP50:
95/
%YOLOv8n-P2-MAB-Pose 24.4 4.77 94.2 90.1 91.2 57.4 YOLOv8n-P2-MAB-Pose+L1 17.0 3.74 94.1 89.6 91.2 57.1 YOLOv8n-P2-MAB-Pose+Random 18.8 5.12 93.9 88.2 90.7 56.9 YOLOv8n-P2-MAB-Pose+Slim 16.2 3.95 93.7 88.1 90.3 56.7 YOLOv8n-P2-MAB-Pose+Lamp 19.5 5.53 94.0 88.5 90.9 57.1 Random剪枝虽然减少了浮点运算量和参数量,但mAP50相较于L1范数剪枝下降0.5个百分点;Slim剪枝虽在轻量化上表现较好,但其精度损失较大,相较于L1范数剪枝mAP50值下降0.9个百分点;Lamp剪枝精度下降幅度较小,但仍未能达到L1范数剪枝的精度保持水平。试验结果表明,L1范数剪枝在各策略中表现最佳,能够在显著减小计算复杂度的同时mAP50较原基线模型提升4.6个百分点,mAP50:95提升6.7个百分点,适合在资源受限的环境下部署。
3.6 不同环境下检测结果
为验证改进模型YOLOv8n-PML-Pose在复杂环境条件下的关键点检测性能,本研究在正常光照、模糊光照、曝光及弱光照4种条件下,对比分析了原始YOLOv8n-Pose模型与改进YOLOv8n-PML-Pose模型的检测效果。试验结果如图11所示。
在正常光照条件下,对比图11中的b和c可以发现,原始YOLOv8n-Pose模型受背景颜色干扰的影响,在羊只腿部区域存在关键点定位偏移现象。而改进后的YOLOv8n-PML-Pose模型通过优化关键点检测模块,有效提升了关键点定位的准确性。同时,其预测框的置信度显著提高,进一步验证了模型在正常光照条件下的性能优势。
在模糊光照条件下,光照不均匀和模糊效应导致图像边缘区域的特征模糊化。通过对比图11中b和c可以看出,原始模型在识别腿部边缘关键点时存在明显的定位偏移现象。而YOLOv8n-PML-Pose模型通过强化全局与局部信息的交互建模能力,有效抑制了模糊引起的特征丢失问题,确保了关键点定位的集中性和精确性,提高了模型在模糊光照条件下的鲁棒性。
在曝光条件下,过强的光照导致图像中的细节信息被压缩,高亮背景区域将对目标关键点的定位产生干扰。对比图11中的b和c可知,原始YOLOv8n-Pose模型在高亮区域出现了严重的漏检现象,关键点检测性能显著下降。而改进后的YOLOv8n-PML-Pose模型通过增强对高亮区域的特征提取能力,成功抑制了过曝区域的干扰,显著提升了关键点的可检测性,避免了漏检问题的发生。
在弱光照条件下,由于环境光线不足,关键点定位的复杂性显著增加。通过对比图11中的b和c可以观察到,原始YOLOv8n-Pose模型在识别母羊分娩行为时,存在多个腿部关键点定位偏移以及羊羔关键点漏检的现象,导致行为特征捕获不完整。而改进后的YOLOv8n-PML-Pose模型通过引入增强低光特征提取的模块与多尺度信息融合策略,不仅实现了关键点的精准定位,还能高效捕捉羊羔关键点。改进模型显著提升了在复杂光照条件下的稳健性和鲁棒性,为母羊分娩行为的高精度检测提供了技术保障。
综上试验结果表明,YOLOv8n-PML-Pose模型在各种光照条件下的表现均显著优于原始YOLOv8n-Pose模型,特别是在复杂的光照环境下,其通过P2检测侧层、MAB多尺度注意力和L1范数剪枝等创新性改进显著提升了模型的鲁棒性和精度。
3.7 行为识别结果
本研究利用改进的YOLOv8n-PML-Pose模型对羊只围产期行为进行关键点检测,精准提取羊只身体关键部位的二维坐标信息后,基于关键点的空间分布关系,计算角度、相对位置和识别个数特征,全面表征羊只在不同行为中的姿态变化。通过这一方法,构建了3 000条涵盖6种不同行为特征参数的数据集,数据以CSV格式保存。为了更全面地评估模型性能,采用k折交叉验证(k-fold cross-validation)方法,将数据集划分为k个子集(k=5),每次选择其中一个子集作为验证集,其他子集作为训练集。为验证BP神经网络在该任务中的适用性,本文在相同数据集与特征输入条件下,对比了支持向量机(support vector machine, SVM)、随机森林(random forest, RF)和长短时记忆网络(long short-term memory, LSTM)等主流分类模型。表6展示了各模型在行为识别任务中的测试结果。
表 6 行为识别模型测试结果Table 6. Behavioral recognition model test results模型
Model精度
P/%召回率
R/%F1分数
F1 score/%计算时间
Calculation time/msSVM 91.0 89.5 90.2 5.4 RF 92.1 90.7 91.4 4.8 LSTM 95.6 94.3 94.9 12.5 BP 96.0 95.5 95.7 3.2 从表6的试验结果可以看出,BP神经网络在6种行为类别的识别任务中表现优于SVM、RF和LSTM模型。其中,相较于SVM和RF,BP神经网络的F1分别提高了5.5和4.3个百分点。虽然LSTM在处理时序信息方面具有一定优势,但由于本研究基于单帧关键点数据进行分类,其时序特征未能充分发挥,同时LSTM模型计算开销较大,远高于BP神经网络。因此,综合考虑分类精度、计算复杂度及实时性要求,BP 神经网络在本研究任务中实现了更为理想的平衡,展现出较强的实际应用潜力。
4. 结 论
本研究针对羊只围产期行为识别中存在的小尺度目标特征提取不足、复杂光照条件下特征鲁棒性下降以及模型实时性与轻量化需求等关键问题,提出了一种基于改进YOLOv8n-Pose关键点检测模型与BP神经网络相结合的识别方法。主要结论如下:
1)关键点检测性能提升:为解决小尺度目标(如羊蹄、新生羔羊)特征提取不足及复杂背景和多变光照条件下检测困难的问题,本研究在YOLOv8n-Pose模型中引入了P2检测层以增强高分辨率特征提取能力,并结合MAB多尺度注意力模块提高对复杂光照条件下的特征鲁棒性。试验结果表明,引入P2检测层和MAB多尺度注意力模块后,关键点检测的精度、召回率、平均精度值mAP50和mAP50:90分别提升了5.5、2.0、4.6和7.0个百分点,显著增强了模型对小尺度目标的检测能力及复杂环境下的稳定性。
2)模型轻量化与实时性保障:为满足嵌入式设备和实时监控的需求,本文对模型进行了剪枝优化。通过对L1、Lamp、Random和Slim剪枝算法的比较,发现采用L1剪枝后,模型参数量和计算量分别降低了30.3%和21.6%,且检测精度保持稳定,实现了精度与轻量化的有效平衡,为模型在资源受限设备上的部署提供了技术支持。
3)基于关键点的行为分类:在准确提取羊只关键点坐标的基础上,本文利用关节角度、关键点相对位置和关键点识别个数构建了32个行为特征向量,并采用BP神经网络对围产期6种行为进行分类。试验结果表明,其F1分数达到95.7%,充分验证了基于关键点的姿态估计方法在复杂行为识别任务中的可行性与鲁棒性。
本研究通过改进YOLOv8n-Pose模型及其后续处理方法,有效解决了羊只围产期行为识别中的关键问题,为智能化畜牧管理提供了高效、精准的技术支持。未来将进一步拓展至基于视频的姿态行为识别分析,充分利用行为序列中的时序信息,提升对复杂行为模式的识别能力,满足智能畜牧管理的更高需求。
-
图 3 数据集构建流程图
注:编号1~11分别为头部、颈部、臀部、前肢左关节、前肢左蹄、前肢右关节、前肢右蹄、后肢左关节、后肢左蹄、后肢右关节、后肢右蹄。
Figure 3. Dataset construction flowchart
Note: Numbers 1 to 11 refer to the head, neck, buttocks, left forelimb joint, left forelimb hoof, right forelimb joint, right forelimb hoof, left hindlimb joint, left hindlimb hoof, right hindlimb joint, and right hindlimb hoof.
图 4 YOLOv8n-PML-Pose结构图
注:*1为P2检测层模块,*2为MAB多尺度注意力模块,*3为L1范数通道剪枝方法,CBS为卷积+标准化+激活函数,C2f为跨阶段特征融合模块,SPFF为空间金字塔池化模块,Concat为通道数相加的特征融合方式,Upsample为上采样模块,MAB为多尺度注意力模块,P为特征图尺寸,Cin为输入通道数,C(i+1)1为第i+1层输出的通道数。
Figure 4. YOLOv8n-PML-Pose structure diagram
Note: * 1 is the P2 detection layer module, * 2 is the MAB multi-scale attention module, * 3 is the L1 norm channel pruning method; CBS stands for convolution + batch normalization + activation function, C2f is the cross-stage feature fusion module, SPFF denotes the spatial pyramid pooling module, Concat represents the feature fusion method by channel concatenation, Upsample refers to the upsampling module, MAB is the Multi-scale attention block, P indicates the feature map size, Cin signifies the input channel count, C(i+1)1 represents the output channel number of the (i+1)th layer.
图 6 MAB多尺度注意力模块
注:LN为层归一化,PWConv为逐点卷积,Split为特征分割,LKAi为大核注意力机制,Gi为深度卷积生成的第i个门控函数。
Figure 6. MAB multi-scale attention module
Note: LN denotes layer normalization, PWConv represents pointwise convolution, Split indicates feature splitting, LKAi stands for the large kernel attention mechanism, and Gi refers to the i-th gating function generated by depthwise convolution.
表 1 特征平均值及权重分配表
Table 1 Average angles and weight assignment table
特征类型
Feature type特征名称
Feature Name站立
Stand吃食
Eat趴卧
Down产前
Work分娩
Produce舔舐
Lick权重
Weight关节角度
Joint angle/(°)Angle0 129.5 144.6 151.8 129.2 137.8 123.1 -0.17 Angle1 156.4 167.5 33.7 54.1 94.6 117.7 0.25 Angle2 156.6 164.8 37.9 51.1 80.6 163.1 -0.09 Angle3 139.1 156.7 41.8 137.5 158.9 138.2 0.23 Angle4 133.1 154.7 42.1 154.3 156.4 126.7 0.26 相对位置
Relative position/pixel头部—右前蹄距离 120.3 85.2 135.7 130.5 145.8 90.1 0.15 头部—左前蹄距离 125.6 87.7 128.5 132.4 143.7 88.7 0.18 关键点数量
Number of key points有效关键点总数 11 11 9 9 10 12 0.10 表 2 服务器配置与运行环境
Table 2 Server configuration and operating environment
硬件
Hardware配置
Configuration运行包
Run package版本
VersionOS Windows10 Python 3.10 CPU Intel(R)Core(TM)i9-13900K PyTorch 2.0.1 GPU NVIDIA GeForce RTX3090 Cuda 11.6 表 3 不同模型对比测试结果
Table 3 Comparative test results of different models
模型
Model精度P/% 召回率R/% mAP50/% mAP50:95/% 参数量
Parameters/M浮点运算量
FLOPs/GSimCC 86.7 83.6 83.9 47.8 28.54 17.3 HRNet 87.2 83.9 84.3 48.7 63.60 35.4 HigherHRNet 87.6 84.0 85.5 49.2 28.6 47.9 YOLOv11s-Pose 88.2 85.8 86.2 59.8 9.41 21.3 YOLOv8n-Pose 88.7 88.1 86.6 50.4 3.09 8.8 注:P为精度,R为召回率。 Note:P stands for precision, R stands for recall. 表 4 消融试验结果
Table 4 Ablation experiment results
YOLOv8n-Pose P2 MAB 精度
P/%召回率
R/%mAP50/% mAP50:95/% √ 88.7 88.1 86.6 50.4 √ √ 91.9 88.3 87.8 54.1 √ √ 92.9 89.2 90.4 55.2 √ √ √ 94.2 90.1 91.2 57.4 表 5 轻量化消融试验结果
Table 5 Lightweight ablation experiment results
模型
Model浮点运算量
FLOPs/
G参数量
Parameters/
M精度
P/%召回率
R/%mAP50/
%mAP50:
95/
%YOLOv8n-P2-MAB-Pose 24.4 4.77 94.2 90.1 91.2 57.4 YOLOv8n-P2-MAB-Pose+L1 17.0 3.74 94.1 89.6 91.2 57.1 YOLOv8n-P2-MAB-Pose+Random 18.8 5.12 93.9 88.2 90.7 56.9 YOLOv8n-P2-MAB-Pose+Slim 16.2 3.95 93.7 88.1 90.3 56.7 YOLOv8n-P2-MAB-Pose+Lamp 19.5 5.53 94.0 88.5 90.9 57.1 表 6 行为识别模型测试结果
Table 6 Behavioral recognition model test results
模型
Model精度
P/%召回率
R/%F1分数
F1 score/%计算时间
Calculation time/msSVM 91.0 89.5 90.2 5.4 RF 92.1 90.7 91.4 4.8 LSTM 95.6 94.3 94.9 12.5 BP 96.0 95.5 95.7 3.2 -
[1] 吴启超,张高振,简保权,等. 饲养密度对北方地区断奶羔羊生长性能及生理生化的影响[J]. 农业工程学报,2024,40(16):211-219. DOI: 10.11975/j.issn.1002-6819.202403147 WU Qichao, ZHANG Gaozhen, JIAN Baoquan, et al. Effects of stocking density on the growth performance, physiology, and biochemistry of weaned lambs in northern China[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(16): 211-219. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.202403147
[2] 高彩菊. 基于改进Faster R-CNN的母羊哺乳姿态识别研究[D]. 保定:河北农业大学,2022. GAO Caiju. Research on Ewe Nursing Posture Recognition Based on Improved Faster R-CNN[D]. Baoding: Hebei Agricultural University, 2022. (in Chinese with English abstract)
[3] 石红霄,高方馀,刘同海,等. 基于传感器技术的自由放牧羊行为识别研究进展[J]. 农业工程学报,2023,39(17):1-18. SHI Hongxiao, GAO Fangyu, LIU Tonghai, et al. Research progress on behavior recognition of free-grazing sheep based on sensor technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(17): 1-18. (in Chinese with English abstract)
[4] 林庆霞,顾兴健,陈新文,等. 基于状态向量增强ByteTrack的新生羔羊活动量自动计算方法[J]. 农业工程学报,2024,40(13):146-155. LIN Qingxia, GU Xingjian, CHEN Xinwen, et al. Method for the automatic calculation of newborn lambs activity using ByteTrack algorithm enhanced by state vector[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(13): 146-155. (in Chinese with English abstract)
[5] 梁喜凤,魏志卫. 基于改进CycleGAN与YOLOv8的夜间番茄茎、枝分割方法[J]. 农业工程学报,2025,41(8):147-155. LIANG Xifeng, WEI Zhiwei. Segmenting tomato stems and branches at night time using improved CycleGAN and YOLOv8[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2025, 41(8): 147-155. (in Chinese with English abstract)
[6] 刘成,岳训. 基于YOLO v5+DeepSORT算法的羊群游走同步群体决策行为研究[J]. 农业机械学报,2024,55(6):229-236. LIU Cheng, YUE Xun. Research on herd wandering synchronous group decision behavior based on YOLO v5+DeepSORT algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2024, 55(6): 229-236. (in Chinese with English abstract)
[7] 付辰伏,任力生,王芳. 自动化场景区分下FABF-YOLOv8s轻量化肉牛行为识别方法[J]. 农业工程学报,2024,40(15):152-163. FU Chenfu, REN Lisheng, WANG Fang. Recognizing beef cattle behavior under automatic scene distinction using lightweight FABF-YOLOv8s[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(15): 152-163. (in Chinese with English abstract)
[8] 赵晓霞,程曼,袁洪波. 基于StrongSORT算法的羊只多目标跟踪方法[J]. 中国农机化学报,2024,45(8):180-188,195. ZHAO Xiaoxia, CHENG Man, YUAN Hongbo. Sheep multi-target tracking method based on StrongSORT algorithm[J]. Journal of Chinese Agricultural Mechanization, 2024, 45(8): 180-188. (in Chinese with English abstract)
[9] 王旺,王福顺,张伟进,等. 基于改进YOLO v8s的羊只行为识别方法[J]. 农业机械学报,2024,55(7):325-335. WANG Wang, WANG Fushun, ZHANG Weijin, et al. Sheep behavior recognition method based on improved YOLO v8s[J]. Transactions of the Chinese Society for Agricultural Machinery, 2024, 55(7): 325-335. (in Chinese with English abstract)
[10] 郭阳阳. 基于机器视觉的奶牛身体区域检测与典型行为分类方法[D]. 杨凌:西北农林科技大学,2021. GUO Yangyang. Machine Vision-based Detection of Dairy Cow Body Regions and Classification Methods for Typical Behaviors[D]. Yangling: Northwest A&F University, 2021. (in Chinese with English abstract)
[11] 吴赛赛,吴建寨,程国栋,等. 基于姿态估计的动物行为识别研究进展[J]. 中国农业大学学报,2023,28(6):22-35. WU Saisai, WU Jianzhai, CHENG Guodong, et al. Advances in animal behavior recognition based on attitude estimation[J]. Journal of China Agricultural University, 2023, 28(6): 22-35. (in Chinese with English abstract)
[12] 孙诗文. 智慧牧业中基于深度学习的羊分娩场景识别算法应用研究[D]. 呼和浩特:内蒙古工业大学,2019. SUN Shiwen. Application Research of Deep Learning-based Sheep Parturition Scene Recognition Algorithm In Smart Livestock Farming [D]. Hohhot: Inner Mongolia University of Technology, 2019. (in Chinese with English abstract)
[13] 韩丁. 草原放牧绵羊牧食行为检测识别方法研究[D]. 呼和浩特:内蒙古农业大学,2018. HAN Ding. Research on Detection and Recognition Methods of Grazing Behavior in Grassland Sheep[D]. Hohhot: Inner Mongolia Agricultural University, 2018. (in Chinese with English abstract)
[14] 韩佳臻. 基于卷积神经网络的奶山羊行为识别方法研究[D]. 杨凌:西北农林科技大学,2019. HAN Jiazhen. Research on Behavior Recognition Methods of Dairy Goats Based on Convolutional Neural Networks [D]. Yangling: Northwest A&F University, 2019. (in Chinese with English abstract)
[15] JIANG M, RAO Y, ZHANG J, et al. Automatic behavior recognition of group-housed goats using deep learning[J]. Computers and Electronics in Agriculture, 2020, 177: 105706. DOI: 10.1016/j.compag.2020.105706
[16] 阴旭强. 基于深度学习的奶牛基本运动行为识别方法研究[D]. 杨凌:西北农林科技大学,2021. Yin Xuqiang. Research on Recognition Methods of Dairy Cow Basic Movement Behaviors Based on Deep Learning [D]. Yangling: Northwest A&F University, 2021. (in Chinese with English abstract)
[17] 翟亚红,王杰,徐龙艳,等. 基于改进YOLO v5n的舍养绵羊行为识别方法[J]. 农业机械学报,2024,55(4):231-240. ZHAI Yahong, WANG Jie, XU Longyan, et al. Behavior recognition of domesticated sheep based on improved YOLO v5n[J]. Transactions of the Chinese Society for Agricultural Machinery, 2024, 55(4): 231-240. (in Chinese with English abstract)
[18] WU D, WANG Y, HAN M, et al. Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment[J]. Computers and Electronics in Agriculture, 2021, 182: 106016. DOI: 10.1016/j.compag.2021.106016
[19] FANG C, ZHANG T, ZHENG H, et al. Pose estimation and behavior classification of broiler chickens based on deep neural networks[J]. Computers and Electronics in Agriculture, 2021, 180: 105863. DOI: 10.1016/j.compag.2020.105863
[20] NASIRI A, YODER J, ZHAO Y, et al. Pose estimation-based lameness recognition in broiler using CNN-LSTM network[J]. Computers and Electronics in Agriculture, 2022, 197: 106931. DOI: 10.1016/j.compag.2022.106931
[21] 董力中,孟祥宝,潘明,等. 基于姿态与时序特征的猪只行为识别方法[J]. 农业工程学报,2022,38(5):148-157. DONG Lizhong, MENG Xiangbao, PAN Ming, et. al. Recognizing pig behavior on posture and temporal features using computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(5): 148-157. (in Chinese with English abstract)
[22] WANG A, CHEN H, LIU Let al. Yolov10: Real-time end-to-end object detection[J]. Advances in Neural Information Processing Systems, 2024, 37: 107984-108011.
[23] 刘莫尘,褚镇源,崔明诗,等. 基于改进YOLO v8-Pose的红熟期草莓识别和果柄检测[J]. 农业机械学报,2023,54(S2):244-251. LIU Mochen, ZHU Zhenyuan, CUI Mingshi, et al. Red ripe strawberry recognition and stem detection based on improved YOLO v8-Pose[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(S2): 244-251. (in Chinese with English abstract)
[24] 籍海娜. 基于骨骼关键点的羊只姿态估计算法设计与实现[D]. 太古:山西农业大学,2022. JI Haina. Design and Implementation of Sheep Pose Estimation Algorithm Based on Skeletal Keypoints [D]. Taigu: Shanxi Agricultural University, 2022. (in Chinese with English abstract)
[25] 李佳宁,王东凯,张史梁. 基于深度学习的二维人体姿态估计:现状及展望[J]. 计算机学报,2024,47(1):231-250. LI Jianing, WANG dongkai. ZHANG Shiliang. Two-dimensional human Pose estimation based on deep learning: current status and prospects[J]. Chinese Journal Of Computer, 2024, 47(1): 231-250. (in Chinese with English abstract)
[26] 黄志杰,徐爱俊,周素茵,等. 融合重参数化和注意力机制的猪脸关键点检测方法[J]. 农业工程学报,2023,39(12):141-149. DOI: 10.11975/j.issn.1002-6819.202303201 HUANG Zhijie, XU Aijun, ZHOU Suyin, et al. Key point detection method for pig face fusing reparameterization and attention mechanisms[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(12): 141-149. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.202303201
[27] 张睿泽,郭威,杨观赐,等. 基于人体骨骼关键点的心血管患者康复训练动作评估方法[J]. 计算机应用研究,2024,41(8):2441-2447. ZHANG Ruize, GUO Wei, YANG Guanci, et al. An evaluation method of rehabilitation exercises for cardiovascular patients based on the key points of human bone[J]. Computer Application Research, 2024, 41(8): 2441-2447. (in Chinese with English abstract)
[28] 徐寅哲,屠佳佳,李洲,等. 基于关键点检测的坐姿识别方法[J]. 软件工程,2024,27(4):33-37. XU Yinzhe, TU Jiajia, LI Zhou, et al. Posture recognition method based on key point detection[J] Software Engineering, 2024, 27(4): 33-37. (in Chinese with English abstract)
[29] 田有文,覃上声,闫玉博,等. 基于改进YOLOv8的田间复杂环境下蓝莓成熟度检测[J]. 农业工程学报,2024,40(16):153-162. DOI: 10.11975/j.issn.1002-6819.202312044 TIAN Youwen, QIN Shangsheng, YAN Yubo, et al. Detecting blueberry maturity under complex field conditions using improved YOLOv8[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(16): 153-162. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.202312044
[30] 李茂,肖洋轶,宗望远,等. 基于改进YOLOv8模型的轻量化板栗果实识别方法[J]. 农业工程学报,2024,40(1):201-209. LI Mao, XIAO Yangyi, ZONG Wangyuan, et al. Detecting chestnuts using improved lightweight YOLOv8[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(1): 201-209. (in Chinese with English abstract)
[31] 申阳,王冲宇,赵佳怡,等. 基于改进YOLOv8和多目标跟踪的鱼苗计数方法[J]. 农业工程学报,2024,40(16):163-170. SHEN Yang, WANG Chongyu, ZHAO Jiayi, et al. Fry counting method using improved YOLOv8 and multi-target tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(16): 163-170. (in Chinese with English abstract)
[32] 马超伟,张浩,马新明,等. 基于改进YOLOv8的轻量化小麦病害检测方法[J]. 农业工程学报,2024,40(5):187-195. MA Chaowei, ZHANG Hao, MA Xinming, et al. Method for the lightweight detection of wheat disease using improved YOLOv8[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(5): 187-195. (in Chinese with English abstract)
[33] 刘鹏,张天翼,冉鑫,等. 基于PBM-YOLOv8的水稻病虫害检测[J]. 农业工程学报,2024,40(20):147-156. DOI: 10.11975/j.issn.1002-6819.202405194 LIU Peng, ZHANG Tianyi, RAN Xin, et al. Detecting rice disease using PBM-YOLOv8[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2024, 40(20): 147-156. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.202405194
[34] 苏宇,肖志云,鲍鹏飞. 采用改进YOLOv5s检测牧区牲畜[J]. 农业工程学报,2023,39(24):165-176. DOI: 10.11975/j.issn.1002-6819.202308231 SU Yu, XIAO Zhiyun, BAO Pengfei. Livestock detection in pastoral areas using improved YOLOv5s[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(24): 165-176. (in Chinese with English abstract) DOI: 10.11975/j.issn.1002-6819.202308231