Plant Phenomics | 基于可平衡特征金字塔網絡的小蘋果檢測模型

小目標果實的精準檢測對于果園產量預測與生長監測至關重要。隨著深度學習理論研究的深入，其具有自動提取特征和高精度檢測的優勢，成為果園目標識別的重要手段。然而，小尺度果實的檢測精度僅為大尺度果實的1/2，其根本原因：小尺度果實占據圖像像素相對較少，經特征提取操作后，可映射到小果實的特征逐漸減少，甚至消失。因此，如何在特征融合階段平衡不同尺度果實特征以緩解小尺度果實特征丟失，仍然是一個亟待解決的難題。
 

近日，Plant Phenomics在線發表了山東師范大學、機械工業設施農業測控技術與裝備重點實驗室、國家蘋果工程技術研究中心與卡迪夫大學合作的題為BFP Net: Balanced Feature Pyramid Network for Small Apple Detection in Complex Orchard Environment的研究論文。

本研究以蘋果園為研究對象，針對不同尺度特征不平衡的問題，從特征金字塔網絡等比例逐元素特征融合與不同層級特征這兩個角度出發，提出了可平衡的特征金字塔網絡（圖1），以提高小蘋果檢測的精確度。可平衡的特征金字塔網絡具體做出了如下貢獻：（1）針對等比例逐元素特征融合的問題，借助類加權機制對橫向連接與自頂向下結構的特征進行加權融合；（2）針對不同層級之間多尺度果實特征的不平衡問題，首先在FPN最底層嵌入一個信息豐富的擴展特征，即將特征提取網絡ResNet50中conv1的輸出引入到FPN最底層作為擴展特征。為更好的保留蘋果特征信息，設計了解耦-聚合塊，在擴展特征上從空間感知與內容感知兩個角度解析-聚合多尺度小蘋果特征；（3）為降低擴展特征的噪聲干擾，使擴展特征與標準特征金字塔網絡輸出特征分布趨于一致，設計了一個散度蒸餾損失函數，將有用的知識從標準FPN的最淺層特征遷移到擴展特征中；（4）本研究不僅在小蘋果數據集GreenApple和MinneApple上進行訓練與測試，還在通用目標檢測數據集Pascal VOC上驗證BFP Net的有效性，證明了小蘋果檢測模型BFP Net在其他領域也具有較強的應用潛力。
 

圖1 可平衡特征金字塔網絡的整體流程

實驗結果表明：提出的BFP Net在GreenApple與MinneApple測試集上能夠提升小蘋果檢測精確度，預測結果展示見圖2。BFP Net的小蘋果檢測精確度結果優于CARAFE、SABL與Groie等當前流行的深度學習網絡。BFP Net與CARAFE在不同尺度下蘋果精確度-召回率曲線展示見圖3。BFP Net在農業領域之外的通用目標檢測數據集Pascal VOC上也展現出了較好的目標檢測性能，證明其具備較強的泛化性能。
 

圖2 GreenApple（上）與MinneApple（下）測試集上預測結果
 

圖3 不同尺度果實精確度與召回率的性能評估

作者介紹

孫美麗，山東師范大學計算機科學與技術專業碩士生，研究方向為人工智能、農業信息技術，以第一作者在Plant Phenomics、Journal of King Saud University-Computer and Information Sciences、Complex & Intelligent Systems、Frontiers in Plant Science上發表學術論文4篇。
 

賈偉寬，山東師范大學副教授，碩士生導師，主要從事人工智能、智慧農業、農業信息技術與裝備等方向研究，近五年主持省部級以上科研項目4項，以第一作者或通訊作者在Plant Phenomics、Precision Agriculture、Computers and Electronics in Agriculture、IEEE Transactions on Industrial Informatics等期刊上發表論文30余篇。

論文鏈接：
https://doi.org/10.34133/2022/‍989246‍4

——推薦閱讀——
Prediction of the Maturity of Greenhouse Grapes Based on Imaging Technology
https://doi.org/10.34133/2022/9753427
Plant Phenomics | 基于表型圖像信息與反向神經網絡預測溫室葡萄成熟度
Wheat Ear Segmentation Based on a Multisensor System and Superpixel Classification
https://doi.org/10.34133/2022/9841985
Plant Phenomics | 基于多傳感器系統和超像素分類的麥穗圖像分割

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內不定期開展作者分享會、專刊發布會等高質量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。科瑞唯安JCR2021影響因子為6.061，位于農藝學、植物科學、遙感一區，生物大類一區（Top期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。
中文內容僅供參考，一切內容以英文原版為準。
特邀作者：孫美麗、賈偉寬
編輯：王慧敏（實習）
審核：孔敏、王平