近日,在中國(guó)移動(dòng)的助力下,中國(guó)石油高效完成DeepSeek V3/R1全尺寸、全版本全棧國(guó)產(chǎn)化的訓(xùn)推適配和私有化部署,并落地應(yīng)用。基于DeepSeek的關(guān)鍵技術(shù)點(diǎn),此次部署進(jìn)行了系列基礎(chǔ)模型算法創(chuàng)新,實(shí)現(xiàn)了從底層芯片到框架、模型的全棧自主可控,為推動(dòng)人工智能技術(shù)在能源化工領(lǐng)域的深度應(yīng)用與國(guó)產(chǎn)AI技術(shù)生態(tài)的規(guī)?;涞刈⑷肓藦?qiáng)大動(dòng)力。
一直以來,中國(guó)移動(dòng)與中國(guó)石油兩大央企積極響應(yīng)國(guó)家人工智能戰(zhàn)略,努力推動(dòng)“人工智能+”在能源化工行業(yè)落地生根。此前,中國(guó)移動(dòng)攜手中國(guó)石油發(fā)布了能源化工領(lǐng)域首個(gè)行業(yè)大模型——700億參數(shù)昆侖大模型。
面對(duì)中國(guó)石油多模態(tài)、超百億參數(shù)的大模型訓(xùn)練任務(wù)需求,移動(dòng)云憑借強(qiáng)大的算力網(wǎng)絡(luò)能力,實(shí)現(xiàn)了資源的快速響應(yīng)、彈性擴(kuò)展及高質(zhì)量供給。通過為中國(guó)石油構(gòu)建“算力泛在、算網(wǎng)共生、智能敏捷、安全可靠、綠色低碳”的一體化算力體系,移動(dòng)云已提供超過1000P的穩(wěn)定算力資源,為大模型的建設(shè)和運(yùn)行提供了堅(jiān)實(shí)的算力保障。
為了使DeepSeek系列模型在昆侖大模型原有的框架下獲得更好的適配效果和執(zhí)行性能,中國(guó)移動(dòng)通過配置化開發(fā),在DeepSeek V3模型基礎(chǔ)上快速實(shí)現(xiàn)了自定義模型參數(shù)和規(guī)模的針對(duì)性優(yōu)化。團(tuán)隊(duì)在不實(shí)際啟動(dòng)集群訓(xùn)練任務(wù)的情況下,僅通過單卡即模擬出集群中所有卡的內(nèi)存占用情況,從而制定整體的集群分布式訓(xùn)練策略。
中國(guó)移動(dòng)復(fù)現(xiàn)并優(yōu)化了Deep-Seek MTP多Tokens預(yù)測(cè)功能,通過DeepSeek-V3/R1主模型和MTP Module的分布式調(diào)度,實(shí)現(xiàn)一次解碼生成多個(gè)Token,并通過整圖編譯功能,組合計(jì)算圖的通用算子,實(shí)現(xiàn)自動(dòng)融合加速,提升DeepSeek-V3/R1端到端的推理性能。
此次DeepSeek大模型的成功部署,為政企客戶實(shí)現(xiàn)DeepSeek V3/R1全棧國(guó)產(chǎn)化的訓(xùn)推適配和部署提供了重要參考,也為中國(guó)石油昆侖大模型優(yōu)化應(yīng)用效果、縮短研發(fā)周期、構(gòu)建健康生態(tài)提供了新引擎,推動(dòng)“數(shù)智中國(guó)石油”建設(shè)步入快車道。(記者 宜欣)
轉(zhuǎn)自:人民郵電報(bào)
【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品,轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”,違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊,僅代表作者個(gè)人觀點(diǎn),不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系:010-65363056。
延伸閱讀

版權(quán)所有:中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)京ICP備11041399號(hào)-2京公網(wǎng)安備11010502035964