0
如果你問AI邊緣芯片公司最難的是什么，他們大概率會說落地的應用場景太多、太復雜。
如果你問開發者使用AI芯片最難的是什么，他們可能會說沒有統一的開發平臺。
如果你問消費者使用AI的最大感受是什么，他們或許會表達一些對AI智能程度的不滿。
AI已經在智能手機中普及，但AI的體驗還不夠完善，AI的功能也還不夠強大。想要實現體驗優秀的AI功能和產品，一定需要從底層的硬件到上層的軟件和系統的深度融合。
所有AI芯片公司都在大談自家產品的優勢，但即便對于有能力和經驗的AI開發者，想要將一個開發應用到不同的產品中，總是有許多遷移的工作，這也在很大程度上阻礙了AI的普及和進一步創新。
芯片公司們都想解決這個問題，高通今天給出的最新的解決方案高通AI軟件棧（Qualcomm AI Stack），包括硬件、軟件和工具，讓OEM廠商或者開發者的一次開發，就可以應用到智能手機、物聯網、汽車、XR、云和移動PC等智能網聯邊緣產品。
這是足以讓開發者興奮的“一次開發，隨處運行。”
但想要實現這個目標，面臨著諸多挑戰。高通技術公司產品管理副總裁 Ziad Asghar指出，“AI在不同場景下，功耗需求、模型類型、模型部署方式等都有所不同，不同業務對于準確性、功耗以及時延等方面的平衡要求也各不相同。比如，XR應用所需的手勢追蹤、眼球追蹤和3D重建AI模型，與在汽車領域所需的激光雷達AI模型大有不同，他們對于精準度的要求也有很大區別。”
高通技術公司技術副總裁Jeff Gehlhaar提到，“如何讓我們所有不同的IP都能獲得同樣的訪問權限，讓每個IP都能夠以統一的方式選擇相對應的解決方案，這是一個主要挑戰。”
高通最終推出的是AI軟件棧產品組合，從底層的硬件聯合上層的軟件和工具優化，實現僅通過統一AI軟件棧，可跨硬件平臺運行。
這是一項十分挑戰的工作，想要一次開發跨平臺運行，首先就需要支持不同的操作系統，包括Android、Windows、Linux以及面向網聯汽車的QNX等。到了系統軟件層面，要能完整支持系統接口、加速器驅動、仿真支持等。在開發者庫與服務層面，要能夠支持數學庫、編譯器和虛擬平臺等。還要支持分析器和調試器，幫助開發者知曉開發過程中AI模型的使用情況，以及在硬件端應該采用怎樣的權重進行分析。此外，還要支持編程語言和核心庫。
“基于高通AI引擎Direct，上述這些高通AI軟件都可以實現。” Ziad Asghar說，“高通AI引擎Direct可視為一個較低層級的庫，可以在最靠近模型或硬件的位置進行軟件編輯，充分釋放硬件性能、確保最高峰值表現。高通AI引擎Direct之上運行著AI runtimes，可幫助OEM廠商和客戶更高效地完成更多AI用例。AI runtimes還支持被廣泛使用的高通神經網絡處理SDK、ONNX runtimes以及TF Lite和TF Lite Micro、Direct ML。最上面一層是AI框架，包括TensorFlow、PyTorch和ONNX。”
高通AI軟件棧還支持一系列工具套件，包括高通AI模型增效工具包（AIMET）、AI開發圖形用戶界面（GUI）、用于增強量化與優化的模型分析器以及神經網絡架構搜索（NAS）。
高通AI模型增效工具包（AIMET）提供模型量化和模型壓縮技術，能夠進行量化感知訓練（Quantization Aware Training）和無數據訓練，將浮點運算模型轉化為整數運算模型，比如，將32位浮點模型轉換為8位整數模型，模型能效提升可達4倍。
另外，高通AI軟件棧還支持包括Prometheus、Kubernetes和Docker在內的基礎設施。
高通AI軟件棧可以支持諸多的SDK，比如面向汽車ADAS解決方案的Snapdragon Ride SDK，面向物聯網的高通智能多媒體SDK，以及Snapdragon Spaces XR開發者平臺，這也為高通建立統一SDK奠定了基礎。
Ziad Asghar對雷峰網(公眾號：雷峰網)表示，“要實現任何面向單一終端開發的AI特性都可在其他終端上輕松部署，編譯器確實很關鍵，但它只是眾多組成部分之一，此外還包括模型的準備和優化、調度器、硬件調試、以及如何確保軟件能夠充分利用硬件資源等等，這些因素都非常重要，我們需要確保這些組成部分能夠共同協作實現高效運行。”
也正因為如此，剛發布的高通AI軟件棧，要真正實現其愿景還有很長的路需要走，高通不僅面對著軟件復雜性大幅提升的挑戰，還需要進行大量細致的優化，與客戶緊密合作，才可能最終實現其愿景，這需要時間，更需要持續的投入。
但如果高通AI軟件棧能夠成功，不僅是其統一技術路線圖戰略的成功，更是其在AI市場獲得巨大成功的關鍵。
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
