在植物遙感和近程傳感領(lǐng)域，深度學(xué)習(xí)和多模態(tài)技術(shù)被廣泛用于分析作物性狀。然而，許多深度學(xué)習(xí)模型依賴于標(biāo)注的數(shù)據(jù)集，這些數(shù)據(jù)集的獲取往往耗時(shí)耗力。

2024年5月，Plant Phenomics在線發(fā)表了University of California, Davis題為Simulation of Automatically Annotated Visible and Multi-/Hyperspectral Images Using the Helios 3D Plant and Radiative Transfer Modeling Framework的研究論文。

為了應(yīng)對(duì)這一挑戰(zhàn)，本文提出了基于Helios 3D植物建模軟件的輻射傳輸框架。該框架可以模擬RGB、多/高光譜、熱成像和深度相機(jī)，生成附帶參考標(biāo)注的植物圖像，例如植物的物理特征、葉片的化學(xué)濃度及生理特性。

圖1合成圖像生成框架的示意圖

圖1是合成圖像生成框架的示意圖。基于光線跟蹤的相機(jī)模型用于模擬從光源（例如太陽(yáng)和LED光）發(fā)射并被場(chǎng)景中的物體散射后到達(dá)相機(jī)的輻射傳播。指定輻射源通量、物體反射率和透射率以及相機(jī)響應(yīng)的光譜分布，以定義輻射如何與物體表面和相機(jī)傳感器相互作用。基于prospect的葉片光學(xué)模型可以根據(jù)用戶指定的葉片化學(xué)濃度生成葉片光學(xué)性質(zhì)。最后，模擬相機(jī)生成可以任意自動(dòng)注釋的結(jié)果圖像。

圖2基于薄透鏡模型的基于光線跟蹤的相機(jī)模擬方法示意圖

圖2是基于薄透鏡模型的基于光線跟蹤的相機(jī)模擬方法示意圖。右圖:基于Bailey的模型，使用反向射線追蹤方法對(duì)每個(gè)葉片表面單元（黑色實(shí)體框）進(jìn)行輻射源采樣，以確定散射輻射通量。左圖:相機(jī)模型在鏡頭上隨機(jī)采樣，發(fā)射穿過(guò)焦平面的射線，查詢所碰到的表面元素的散射輻射通量和唯一標(biāo)識(shí)符。

圖3豆類植物的示例注釋合成圖像

圖3是豆類植物的示例注釋合成圖像。(A) 葉片葉綠素濃度分布圖（色標(biāo)單位為μg/cm2）， (B) 合成RGB圖像，(C) 植物分割圖，(D) 凈光合作用分布圖（色標(biāo)單位為μmol m-2s-1）。相機(jī)焦平面距離為1.35m, HFOV為11.5°，鏡頭直徑為0.02 m。豆葉分割的示例應(yīng)用初步證明，合成圖像可以直接作為高通量植物表型圖像設(shè)計(jì)的機(jī)器學(xué)習(xí)模型的輸入，以改進(jìn)模型訓(xùn)練。研究還表明，該模型可以完全基于合成圖像進(jìn)行訓(xùn)練，并且在應(yīng)用于真實(shí)圖像時(shí)表現(xiàn)良好。

該研究的主要?jiǎng)?chuàng)新點(diǎn)在于開發(fā)了一種基于物理的模擬環(huán)境，能夠生成包含光學(xué)和幾何標(biāo)注的高質(zhì)量合成植物圖像。研究表明，這一方法能夠減少對(duì)手工標(biāo)注數(shù)據(jù)的依賴，并通過(guò)合成圖像訓(xùn)練深度學(xué)習(xí)模型，進(jìn)行無(wú)監(jiān)督學(xué)習(xí)。文中展示了該模型在豆葉檢測(cè)和草莓果實(shí)檢測(cè)中的應(yīng)用，驗(yàn)證了其在高通量植物表型分析中的有效性。

論文鏈接：
https://doi.org/10.34133/plantphenomics.0189‍

——推薦閱讀——
Maximizing the Radiation Use Efficiency by Matching the Leaf Area and Leaf Nitrogen Vertical Distributions in a Maize Canopy: A Simulation Study
https://doi.org/10.34133/plantphenomics.0217
Plant Phenomics | 北京市農(nóng)林科學(xué)院基于冠層光合作用模型刻畫出玉米高光效理想株型
Time-Series Field Phenotyping of Soybean Growth Analysis Combining Multimodal Deep Learning and Dynamic Modelling
https://doi.org/10.34133/plantphenomics.0158
Plant Phenomics | 中科院東北地理與農(nóng)業(yè)生態(tài)研究所利用多模態(tài)深度學(xué)習(xí)和動(dòng)態(tài)系統(tǒng)建模基于長(zhǎng)勢(shì)的田間大豆種質(zhì)資源鑒定加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、專刊發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄。科睿唯安JCR2022影響因子為7.6，位于農(nóng)藝學(xué)一區(qū)（1/125名），植物科學(xué)一區(qū)（13/265名），遙感一區(qū)（6/62名）。2023年中科院期刊分區(qū)位于農(nóng)林科學(xué)大類一區(qū)。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目、2024年入選江蘇科技期刊卓越行動(dòng)計(jì)劃領(lǐng)軍期刊項(xiàng)目。

說(shuō)明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：趙毅（南京農(nóng)業(yè)大學(xué)）
編輯排版：王平、趙倩瑩（中國(guó)科學(xué)院大學(xué)）
審核：尹歡、孔敏