《人工智能 邊端設備模型部署工具鏈功能要求》團體標準征求意見

　　【儀表網 行業標準】按照中國電子工業標準化技術協會團體標準制修訂項目工作安排，標準起草組已完成《人工智能 邊端設備模型部署工具鏈功能要求》團體標準(項目號：CESA-2022-039)征求意見稿的編制工作。現按照協會《團體標準制修訂程序(試行)》的要求，公開征求意見。 意見反饋郵箱standards@cesa.cn、yangyz@cesi.cn，截止時間2023年6月18日前。
 

　　隨著5G與AI的快速發展，邊端設備上運行AI算法成為了IoT的主流方式。對于移動終端和IoT設備，由于硬件資源限制，云側的模型和推理運行框架體積太大，無法直接部署，因此模型的壓縮和運行框架的輕量化成為移動終端和IoT設備上部署的關鍵。在AIoT的趨勢下，邊端設備資源受限的條件下，需部署輕量的AI算法模型用于語音、視覺等應用。致力于圍繞該產業的各個廠商設計生產了針對深度學習從訓練、優化、部署、硬件加速的各種工具。如主流的模型訓練框架TensorFlow、Pytorch、Caffe和MXNet等。硬件上如超低算力的MCU，定制化的AI芯片等以及語音模組、視覺模組等封裝模塊產品。該產業應用范圍廣泛，但缺少標準化流程及規范。
 

　　本標準針對以上問題，致力于解決AIoT產業所面臨的碎片化問題，加速AI的部署和普及，極大地降低了面對不同硬件和場景而遷移平臺的成本和開發周期。
 

　　本文件按照GB/T 1.1—2020《標準化工作導則 第1部分：標準化文件的結構和起草規則》的規定起草。
 

　　本文件給出了邊端設備模型部署工具鏈的組成框架，規定了其功能要求。本文件適用于人工智能領域深度學習模型在邊端設備實時性運行能力的設計、研發、推廣和應用。
 

　　模型壓縮模塊：
 

　　模型壓縮模塊要求包括：
 

　　a) 應支持一種主流訓練框架(如Tensorflow,Pytorch,MindSpore,PaddlePaddle 等)，宜支持一種以上訓練框架。
 

　　b) 應支持剪枝、量化、知識蒸餾三種模型壓縮功能，宜支持神經網絡搜索、超參數搜索、自定義算法接入。
 

　　c) 應支持主流數據格式的模型轉換。
 

　　d) 宜支持單卡訓練、多卡訓練及分布式訓練。
 

　　輔助功能模塊：
 

　　1.授權接口
 

　　授權接口要求包括：
 

　　a) 應支持在線授權方式。
 

　　b) 應支持離線授權方式。
 

　　2.模型版本管理
 

　　模型版本管理要求包括：
 

　　a) 應支持模型版本回退。
 

　　b) 應支持模型版本升級。
 

　　3.模型加密
 

　　模型加密要求包括：
 

　　a) 宜支持使用加密方式生成 Key 對模型進行加密，解析時使用 key 進行解碼。
 

　　4.測試集測試
 

　　測試集測試要求包括：
 

　　a) 應支持隨機輸入對模型進行推理，進行資源使用、響應時間測試。
 

　　b) 宜支持訓練模型的測試數據集對模型性能的評估。
 

　　5.性能評估
 

　　性能評估要求包括：
 

　　a) 應支持對模型的參數量、運算量的評估。
 

　　b) 宜支持神經網絡每層的參數量評估、運算量評估、數據類型及計算單元的顯示。
 

　　c) 宜支持典型模型的端到端效率，內存占用、內存帶寬、利用率的顯示。
 

　　d) 宜支持每層的讀寫帶寬、超參和量化信息導出。
 

　　6.可視化界面
 

　　可視化界面要求包括：
 

　　a) 應支持對模型結構的顯示。
 

　　b) 宜支持訓練過程的可視化追蹤，包括損失函數值，性能，超參數組等。
 

　　c) 宜支持可視化工具鏈使用。
 

　　d) 宜支持運行時，各計算單元工作狀態、利用率查看。
 

　　更多詳情請見附件。