中國聯通AI大模型存算分離技術實現突破


中國產業(yè)經濟信息網   時間:2024-12-15





  近日,在集團公司指導下,中國聯通研究院與中國聯通浙江分公司、聯通服裝制造軍團協(xié)同攻關,針對AI敏感數據的本地存儲異地訓練需求提出了創(chuàng)新的業(yè)務模式,并成功在杭州與金華兩地間實施了業(yè)界首次30TB樣本數據的跨200公里存算分離拉遠訓練,經過實際測算,訓練效率高達97%。本次測試充分驗證了存算分離技術的安全性、可行性和高效性,為未來AI技術的發(fā)展提供了新的思路和方向。


  存算分離技術是指將存儲數據的倉庫和對數據進行計算的加工廠獨立開來,在訓練時直接將數據從遠端存儲設備中拉過來進行計算,而不需要先存儲到本地的磁盤再進行處理,可以有效保證用戶數據的安全性和一致性。當前,AI智算需求旺盛,海量樣本數據處理過程中存在兩大挑戰(zhàn):一是數據多存儲于企業(yè)端,部分安全性要求較高的數據不便外遷;二是樣本數據量激增,AI智算中心需額外配備存儲資源,顯著提升了建設成本。在此背景下,業(yè)內對實現“存算分離拉遠、樣本隨訓隨拉”的需求迫切。


  作為數字信息運營服務國家隊、數字技術融合創(chuàng)新排頭兵,中國聯通針對該需求積極開展算力智聯網體系架構、關鍵技術和相關場景研究,提出了存算分離的創(chuàng)新服務模式,目前已經在ITU推進智算領域相關標準布局工作,在IETF推進廣域無損需求和技術框架研究,同時在CCSA制定了面向智算承載的廣域網能力增強系列標準,聯合產業(yè)合作伙伴推進智算互聯、廣域無損等核心技術攻關。在長距RDMA廣域無損技術攻關方面,實現百公里到千公里覆蓋范圍的RDMA遠距/寫性能提升超過5倍,滿足了NLP模型和CV模型在拉遠訓練中的需求。


  在聯通服裝制造軍團“衣瞳行業(yè)模型”訓練場景中,原始數據主要基于服裝多模態(tài)數據,很多服裝廠家的服裝數據由于產權保護不愿公開,基于存算分離的創(chuàng)新訓練模式則剛好完美契合了用戶需求。本次存算拉遠測試驗證包括兩大特色:以跨地市AI大模型訓練能力創(chuàng)新重構智算訓練模式,通過IP廣域無損方案,實現杭州存、金華訓的“數據不落盤”拉遠訓練;樣本數據總量達30TB,傳輸距離超200公里,計算拉遠效率大于97%,驗證了技術可行性,未來有相關數據敏感業(yè)務需求的用戶,可通過運營商算力服務完成隱私樣本不出園區(qū)的拉遠訓練,實現成本與安全的最佳平衡。


  面向未來,中國聯通將持續(xù)深耕算網技術創(chuàng)新,通過算力智聯網研發(fā)建設,推進網絡向新、技術向新、服務向新,持續(xù)提供領先的聯網通信和算網數智產品,加速推動以算力和數據為核心的新質生產力發(fā)展,賦能千行百業(yè)的數字化轉型升級。(記者 連欣)


  轉自:人民郵電報

  【版權及免責聲明】凡本網所屬版權作品,轉載時須獲得授權并注明來源“中國產業(yè)經濟信息網”,違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業(yè)宣傳資訊,僅代表作者個人觀點,不代表本網觀點和立場。版權事宜請聯系:010-65363056。

延伸閱讀

?

版權所有:中國產業(yè)經濟信息網京ICP備11041399號-2京公網安備11010502035964