Plant Phenomics | GANana：用于水果三維重建的無監督域自適應體積回歸算法

三維重建技術目前已廣泛應用于高通量表型中，能夠從一張或多張圖像中提取出三維形態信息。以水果的三維模型為例，在三維信息中我們可以同時測量果實體積等多種表型性狀，進而為果實尺寸估計和質量控制乃至作物精確育種提供技術上的支持。近年來，研究者一直盡力將不同的重建方法應用于水果表型中，但其中許多方法都依賴于昂貴的硬件外設，如激光掃描儀、激光雷達等。

近日，Plant Phenomics 在線發表了題為GANana: Unsupervised Domain Adaptation for Volumetric Regression of Fruit的研究論文。

在該文中，作者致力于實現單目三維重建，即從單張二維圖像中還原出目標的三維結構，從而規避高昂的硬件成本并降低用戶的使用門檻。與其他的計算機視覺研究一樣，三維重建任務在大部分領域也依賴于高質量的大型數據集，且缺乏現成的訓練數據。因此，該文章提出了一種用于三維重建的無監督域適應方法，標注圖像僅存在于人工合成域中，并在模型訓練時補充來自目標真實域的未標注數據集。

該文章使用體積回歸網絡(VRN)來解決三維重建問題(Figure 1)，并使用在三維建模工具Blender中人工構建的香蕉三維模型生成了包含25000對數據的訓練集，之后通過生成對抗網絡增強每張圖像，并引入體積一致性損失來提高用實際圖像進行三維重建時的性能(Figure 2)。該文章利用了計算機合成的方式降低了構建數據集所需的人工和時間成本，同時保證了在實際圖像處理中的性能。

盡管該文重點介紹了如何從二維圖像中重建香蕉的三維模型，但理論上來說該方法適用于其他任何植物品種和器官的三維重建任務。

Figure 1Results of our volumetric regression network. Output volumetric banana models resting on 2D input images.

Figure 2 The proposed volumetrically consistent CycleGAN (VCC) using our real banana dataset as a target.

論文鏈接

https://spj.sciencemag.org/journals/plantphenomics/2021/9874597/

——推薦閱讀——

Robust Surface Reconstruction of Plant Leaves from 3D Point Clouds 

https://spj.sciencemag.org/journals/plantphenomics/2021/3184185/

Plant Phenomics | 基于植物葉片三維點云的穩健表面重建

MVS-Pheno: A Portable and Low-Cost Phenotyping Platform for Maize Shoots Using Multiview Stereo 3D Reconstruction 

https://spj.sciencemag.org/journals/plantphenomics/2020/1848437/

Plant Phenomics | 基于多視角三維重建的低成本、便攜式玉米單株表型平臺—MVS-Pheno

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業大學和美國科學促進會（AAAS）合作創辦的英文學術期刊，于2019年1月正式上線發行，是Science合作出版的第二本期刊。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數據庫收錄。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內容僅供參考，一切內容以英文原版為準。

撰稿人：王棟

編輯：趙瑜涵（實習）

審核：卞越、孔敏