【儀表網(wǎng) 研發(fā)快訊】近日，清華大學(xué)深圳國際研究生院李星輝副教授團隊在數(shù)字光柵結(jié)構(gòu)光三維(Structured light 3D reconstruction technology，SL3D)重建領(lǐng)域?qū)崿F(xiàn)進展。針對高質(zhì)量三維重建所依賴的真實數(shù)據(jù)資源少，構(gòu)建策略效率低和前沿數(shù)據(jù)缺乏問題提出了創(chuàng)新性的解決方案。團隊深入研究了場景背景穩(wěn)定性對網(wǎng)絡(luò)前景預(yù)測精度的影響，并首次系統(tǒng)性探討了樣本空間分布頻率與模型性能之間的關(guān)系，從根本上提升了數(shù)據(jù)集構(gòu)建的科學(xué)性與效率。在此策略指導(dǎo)下，團隊開發(fā)了SL3D-BF(Structuredlight 3D dataset with background-to-foreground enhancement)，一個面向開放工業(yè)環(huán)境的結(jié)構(gòu)光三維點云數(shù)據(jù)集。數(shù)據(jù)集涵蓋超過2000多個復(fù)雜工業(yè)場景，包含10萬多幀高精度光柵圖像，支持對真實物體如雕塑、法蘭、輪轂、電池板、電機、齒輪和不銹鋼管等物體的高精度重建，全面展現(xiàn)了材質(zhì)多樣性和工業(yè)實際挑戰(zhàn)。該成果為深度學(xué)習(xí)驅(qū)動的結(jié)構(gòu)光三維重建技術(shù)提供了全流程的數(shù)據(jù)支撐和構(gòu)建范式，有望顯著推動智能制造、精密檢測等關(guān)鍵領(lǐng)域的三維感知能力。
圖1.數(shù)據(jù)集組成，特征數(shù)據(jù)和其在現(xiàn)代工業(yè)中的應(yīng)用場景示意
SL3D-BF不僅是一個大規(guī)模數(shù)據(jù)集，更是一項具備系統(tǒng)設(shè)計理念的數(shù)據(jù)工程創(chuàng)新。李星輝團隊自研的高精度結(jié)構(gòu)光點云采集系統(tǒng)，其標準球半徑測量誤差控制在十幾微米級別，為數(shù)據(jù)集的精度基準提供了強有力保障。團隊提出的背景增強與空間頻率分布優(yōu)化策略，有效降低了數(shù)據(jù)構(gòu)建成本，同時顯著提升了網(wǎng)絡(luò)的預(yù)測性能。實驗證明，在統(tǒng)一網(wǎng)絡(luò)架構(gòu)下，白板背景下的前景物體預(yù)測誤差相比黑色背景下降了高達82%(從0.45rad降至0.08rad)，凸顯背景穩(wěn)定性在三維重建中的關(guān)鍵作用。SL3D-BF是國內(nèi)外為數(shù)不多的覆蓋全過程數(shù)據(jù)鏈條的高精度數(shù)據(jù)集，提供從光柵到高密度3D點云的完整閉環(huán)信息，支持陰影抑制、前景顯著性增強等高級研究。數(shù)據(jù)集中還包含標準球子集，為3D點云重建精度的定量評估提供了客觀基準。
圖2.數(shù)據(jù)集場景背景對目標前景預(yù)測精度的影響。SF-AP代表端到端技術(shù)路線，SF-4ND代表分子分母技術(shù)路線
SL3D-BF已在多個新系統(tǒng)上完成遷移學(xué)習(xí)驗證，顯示出良好的泛化能力與廣泛適用性。該研究作為為計算機視覺與智能制造領(lǐng)域的重要公共資源，將推動結(jié)構(gòu)光三維重建技術(shù)在缺陷檢測、深度估計、語義分割等領(lǐng)域的跨界融合，并為深度學(xué)習(xí)模型在真實場景中的穩(wěn)健泛化提供堅實的實驗平臺。該數(shù)據(jù)集為結(jié)構(gòu)光三維技術(shù)的標準化與應(yīng)用奠定了基礎(chǔ)，助力我國在高端制造與智能感知領(lǐng)域走在國際前沿。
同時，盡管基于深度學(xué)習(xí)的SL3D技術(shù)近幾年來飛速發(fā)展，通過單幀輸入端到端預(yù)測的方式獲得高精度的3D點云仍然是一個尚未解決的挑戰(zhàn)。團隊提出了多路物理監(jiān)督輔助的單幀端到端絕對相位預(yù)測網(wǎng)絡(luò)(Multi-path branch auxiliary supervision network, MPS_XNet)。具體來說，MPS_XNet基于絕對相位時間展開物理模型的三個關(guān)鍵階段，分子、分母和包裹相位，作為輔助分支來幫助絕對相位主路進行長距離非線性預(yù)測。此外，基于此模型設(shè)計了專屬多路損失函數(shù)，促使網(wǎng)絡(luò)沿著模型定義的方向?qū)W習(xí)最優(yōu)路徑。MPS_XNet不僅彌補了單幀輸入信息的不足，而且通過將單個長距離預(yù)測難題轉(zhuǎn)換為多個短距離子任務(wù)，以可解釋的方式指導(dǎo)網(wǎng)絡(luò)訓(xùn)練，大幅提升了網(wǎng)絡(luò)預(yù)測精度。
圖3.MPS_XNet網(wǎng)絡(luò)模型
實驗表明，MPS_XNet在五個數(shù)據(jù)集(金屬工件和復(fù)雜輪廓)和研究提出的測量系統(tǒng)上均優(yōu)于現(xiàn)有的先進回歸網(wǎng)絡(luò)范式，此策略通過物理模型設(shè)計和20毫秒內(nèi)的任務(wù)分解消耗，在相位計算中平均誤差突破性的降低了90%。此策略可以用在通用的回歸網(wǎng)絡(luò)中，以加強單分支網(wǎng)絡(luò)的魯棒性和可解釋性，可以在工業(yè)和科學(xué)應(yīng)用中實現(xiàn)實時、高精度的3D測量。
圖4.MPS_XNet網(wǎng)絡(luò)在泛化數(shù)據(jù)集上的單幀輸入點云輸出
數(shù)據(jù)集相關(guān)研究成果以“SL3D-BF：一個具有背景到前景增強的真實世界結(jié)構(gòu)光3D數(shù)據(jù)集”(SL3D-BF: A Real-World Structured Light 3D Dataset with Background-to-Foreground Enhancement)為題，于5月19日發(fā)表于《IEEE電路與系統(tǒng)視頻技術(shù)匯刊》(IEEE Transactions on Circuits and Systems for VideoTechnology, TCSVT)。
物理監(jiān)督模型機制研究成果以“可靠的三維重建與單次數(shù)字光柵和物理模型監(jiān)督機器學(xué)習(xí)”(Reliable 3D Reconstruction with Single-Shot Digital Grating and Physical Model-Supervised Machine Learning)為題，于6月5日發(fā)表于《IEEE儀器與測量匯刊》(IEEE Transactions on Instrument and Measurement)。
兩篇的論文第一作者為清華大學(xué)深圳國際研究生院2021級博士生李一鳴，通訊作者為清華大學(xué)深圳國際研究生院副教授李星輝和鵬城實驗室副研究員梁驍俊。其他合作者包括清華大學(xué)深圳國際研究生院2023級碩士生陳偉康、李梓楠，2023級博士生王浩；鵬城實驗室高文院士、桂衛(wèi)華院士，助理研究員張超波；清華大學(xué)深圳國際研究生院研究員王曉浩。研究得到深圳市穩(wěn)定支持計劃項目、鵬城實驗室重大攻關(guān)項目的資助。
所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。