【儀表網(wǎng) 研發(fā)快訊】近日，中國科學技術(shù)大學工程科學學院機器人與智能裝備研究所董二寶副教授課題組發(fā)布了首個面向高空作業(yè)機器人的開源多模態(tài)感知數(shù)據(jù)集USTC FLICAR。該數(shù)據(jù)集以“USTC FLICAR: A sensors fusion dataset of LiDAR-inertial-camera for heavy-duty autonomous aerial work robots”為題在線發(fā)表于機器人領域知名期刊《The International Journal of Robotics Research》(IJRR)。
高空作業(yè)在工農(nóng)業(yè)生產(chǎn)和日常生活中發(fā)揮著重要作用，但同時也伴隨著較高的作業(yè)人員安全風險。推動高空作業(yè)的自動化和智能化發(fā)展將有助于保障作業(yè)人員人身安全，提高作業(yè)效率和質(zhì)量，具有重要的社會價值和經(jīng)濟效益。研究團隊展示了將自動駕駛感知系統(tǒng)與斗臂工程車相結(jié)合以創(chuàng)建多功能自主高空作業(yè)機器人平臺的潛力。USTC FLICAR數(shù)據(jù)集的數(shù)據(jù)采集系統(tǒng)配備了各種校準良好且時間同步的傳感器：四個3D激光雷達、兩個立體相機、兩個單目相機、慣性測量單元(IMU)和一個GNSS/INS定位系統(tǒng)。同時使用激光跟蹤儀記錄毫米級精度的地面坐標系下機器人平臺實況位置。
圖1. USTC FLICAR數(shù)據(jù)集的數(shù)據(jù)采集系統(tǒng)示意圖
研究團隊選取代表性高空作業(yè)場景，收集了包括一天中的不同時間和天氣等多種條件下的數(shù)據(jù)，以確保高空作業(yè)機器人的全天候運行。周圍的物體包括高壓線、樹木、建筑物、道路等。高空作業(yè)機器人平臺的軌跡包括空中的三維平動、俯仰和旋轉(zhuǎn)。
USTC FLICAR數(shù)據(jù)集提供激光雷達點云數(shù)據(jù)、相機圖像數(shù)據(jù)、慣導位置姿態(tài)數(shù)據(jù)、地面真值數(shù)據(jù)，以及各傳感器之間的標定數(shù)據(jù)。這些數(shù)據(jù)將支持面向高空作業(yè)的同時定位與建圖(SLAM)、三維精確重構(gòu)、多模態(tài)融合感知、多傳感器標定等任務。
截至目前，USTC FLICAR數(shù)據(jù)集包含超過1.5TB的數(shù)據(jù)，包括4萬個立體圖像對、10萬個單目圖像、7萬幀激光雷達點云以及高頻IMU/INS和激光跟蹤儀運動測量數(shù)據(jù)。所有數(shù)據(jù)都可以以二進制格式(rosbags)和直接可讀格式下載，如純文本格式的數(shù)字數(shù)據(jù)、高質(zhì)量png格式的原始圖像數(shù)據(jù)。數(shù)據(jù)中還提供了一些有用的工具和SDK，以便快速使用。未來將繼續(xù)向數(shù)據(jù)集添加更多數(shù)據(jù)，以更充分地應對高空作業(yè)機器人面臨的技術(shù)挑戰(zhàn)。
圖2.同時間戳單組多傳感器數(shù)據(jù)可視化示例
為提升數(shù)據(jù)標注效率和質(zhì)量，研究團隊還基于基礎AI視覺大模型Segment Anything Model (SAM)進行語義標注，制作了Semantic FLICAR數(shù)據(jù)集。原始圖像數(shù)據(jù)由SAM模型自動生成全局掩模分割，然后由人類標注者通過感興趣區(qū)域的交互式提示進行協(xié)作細化，從而獲得精確詳細的標注。
圖3.基于SAM的語義標注數(shù)據(jù)引擎
中國科學技術(shù)大學計算機科學與技術(shù)學院2023屆本科生王梓名為論文第一作者，工程科學學院董二寶副教授為論文通訊作者。論文的合作者還包括計算機科學與技術(shù)學院張燕詠教授和吉建民副教授、工程科學學院2023屆碩士生劉昱江等。該研究工作得到了國家重點研發(fā)計劃、仲英青年學者項目和中央高校基本科研業(yè)務專項資金的支持。
近年來，中國科學技術(shù)大學工程科學學院機器人與智能裝備研究所董二寶副教授課題組承擔國家重點研發(fā)計劃“智能機器人”重點專項“面向電力行業(yè)的作業(yè)機器人系統(tǒng)研究及應用”項目的課題“配網(wǎng)帶電作業(yè)機器人技術(shù)研究”，在高空作業(yè)機器人領域開展了深入研究。團隊聯(lián)合國網(wǎng)安徽電力、國網(wǎng)山東電力等單位研究突破多項關(guān)鍵技術(shù)，設計研制出10kV配網(wǎng)帶電作業(yè)雙臂機器人系統(tǒng)，并在實際配電網(wǎng)架空線路上進行了示范應用，可替代人工在高空場景中完成帶電接火、斷引流線、安裝故障指示器、安裝驗電接地環(huán)、除枝清障、消缺等典型不停電作業(yè)功能，于2023年3月順利通過國家科技部高技術(shù)研究發(fā)展中心組織的綜合績效評價。相關(guān)成果還以“Intelligent power distribution live-line operation robot systems based on stereo camera”為題于2023年7月發(fā)表在電力領域知名期刊《High Voltage》上。上述工作為本論文USTC FLICAR數(shù)據(jù)集的構(gòu)建奠定了堅實的基礎條件，同時數(shù)據(jù)集的發(fā)布也將進一步推動高空作業(yè)機器人的研究發(fā)展和推廣應用。
圖4.配網(wǎng)帶電作業(yè)雙臂機器人的示范應用現(xiàn)場
所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。