15.3k 人追蹤
追蹤

聚焦邊緣智能計算，「OPEN AI LAB 」要10倍提升AI開發部署效率



2021年1月17日 週日 下午1:18·9 分鐘 (閱讀時間)


隨著越來越多的物聯網終端設備在各個行業加速部署，邊緣計算的重要性日益凸顯，AI算法也正在逐步從雲端下沉到邊緣節點中去運行。據IDC預計，到2025年，全球將有1500億個終端設備接入網絡，其中超過70%的數據將在網絡邊緣側被結構化處理。
36氪近期接觸到的OPEN AI LAB（開放智能）成立於2016年，專注邊緣智能計算及應用，提供邊緣AI推理框架Tengine和AI應用開發及部署平台OmniMaster等軟件產品，並以此為基礎，為行業客戶提供完整軟硬件解決方案，加速AI產業化部署。
聚焦邊緣端部署痛點，推出邊緣AI推理框架Tengine
由於邊緣計算相較於過去單純的雲計算來說成本低、實時性好，大量邊緣計算節點開始部署，邊緣節點也在逐步實現智能化。但在推進過程中，AI算法模型從雲端到邊緣端的遷移部署環節過程繁雜，痛點具體表現為：

• 芯片及硬件多樣性使得前端適配兼容問題凸顯：由於對性能、接口、功耗、價格、可靠性、環境適應性等因素的要求千差萬別，大量AI芯片及硬件開始湧現，特別是NPU及RISC-V架構的推進，生態日益碎片化，但目前缺乏合適的中間層和計算庫及統一的平台和穩定接口，使得跨硬件向上兼容成為難點；
• 軟件層面的訓練框架多樣性使得模型遷移效率問題顯現：在把雲端上訓練好的AI算法模型遷移到算力有限的前端硬件過程中，算法開發人員需要做大量模型量化、優化甚至算子層面的調整工作，過程繁雜，更非其擅長的領域。

這些問題一方面使得芯片公司不僅需要在硬件層面提升算力，還需要向上延伸提供各種配套AI應用開發的SDK工具，幫助AI算法開發者有效利用芯片的算力，另一方面導致算法公司為了避免雲端模型遷移到前端出現性能差、精度低的問題，需要花費大量成本投入到邊緣側底層的適配優化中去。
於是大量AI科技初創公司在尋找到算法應用場景後做全棧工程化，包含了底層芯片及硬件的選型甚至自研，數據採集、算法訓練、優化、部署，甚至業務SaaS開發，從芯片到雲，形成煙囪式的垂直化，這種模式兼容性差、開發成本高。
因此從行業整體上來看，問題就體現為產業鏈分工並不清晰。解決好這一行業痛點是實現AI在各行業規模應用的關鍵突破口。由此可見，邊緣AI計算產業鏈亟需可將算法和芯片連接、開放兼容的中間件，以細化行業分工程度。
基於此，OPEN AI LAB自2017年開始設計開發邊緣AI計算框架Tengine，並對Tengine進行了項目開源，其GitHub Star 已超過4300枚，目前也面向企業客戶提供商業化的Tengine產品及服務。
目前Tengine向下兼容幾乎所有主流國產智能芯片，向上支撐主流訓練框架及網絡模型。Tengine在產品架構上主要具有以下特點：

• 算力兼容：跨芯片統一API接口，解決應用程序在不同開發平台上切換底層硬件接口的問題，用戶使用Tengine可同時調用CPU、NPU、GPU等不同計算單元來完成AI異構計算。
• 框架兼容：Tengine兼容支持TensorFlow、Caffe、MXNet 、PyTorch、ONNX等業內主流框架。實際開發過程中，Tengine會將其訓練框架轉換為適配底層的Tengine模型，降低不同訓練框架在面對不同硬件及場景的遷移成本。
• 遷移加速：針對AIoT應用開發流程中的算法量化重訓練及前處理、後處理等繁瑣環節，Tengine配置了相應的圖編譯、圖優化、模型量化、精度調優及算法庫等一系列工具包，簡化和加速AI算法從雲端到嵌入式邊緣設備的遷移過程。

OPEN AI LAB創始人兼CEO金勇斌向36氪表示，Tengine之於AIoT，猶如Android之於移動互聯網。Tengine使得上層應用程序與底層硬件基於中間的開發平台實現適配兼容，從此，開發算法應用不需要再關心底層芯片，如同開發App可以不必關心APP將在哪款手機上運行。
OmniMaster：降低開發門檻，幫助企業實現AI算法的雲端訓練及邊緣部署
AI算法邊緣端部署痛點通過Tengine得以解決，但在算法模型在部署到前端之前，一方面先要在服務器端完成數據標註清洗、模型訓練、針對邊緣節點上的芯片做精度量化優化、性能評測等一系列流程後，再將算法向前端邊緣設備部署。
另一方面，算法的訓練數據通常分佈在私有化業務場景中，終端企業客戶希望保證數據的私密性和安全性，而終端企業客戶又往往不具備相應的技術開發能力，所以AI算法應用推進較為緩慢，成本較高。
基於此，公司進一步推出了AI應用開發及部署平台OmniMaster，OmniMaster可作為自動化工具幫助客戶實現場景確認、數據清洗標註、模型訓練、量化優化、邊緣部署等開發環節，幫助AI技術基礎薄弱的企業快速實現AI場景應用，為企業節省開發成本，提高開發效率，方便企業將算法模型從雲端部署至邊緣端。