大數(shù)據(jù)存算分離成趨勢 華為加碼布局

　　數(shù)字經(jīng)濟時代，數(shù)據(jù)成為新的生產(chǎn)資料，數(shù)據(jù)驅(qū)動體驗、數(shù)據(jù)驅(qū)動決策、數(shù)據(jù)驅(qū)動流程的各種應(yīng)用正不斷上演。伴隨5G、AI等技術(shù)的發(fā)展，數(shù)據(jù)量將迎來爆發(fā)式增長，這一形勢下，傳統(tǒng)大數(shù)據(jù)存算一體架構(gòu)，面臨不小沖擊。

　　“計算存算分離是大數(shù)據(jù)架構(gòu)演進的必然趨勢，也是解決行業(yè)用戶數(shù)據(jù)痛點的一大利器。計算和存儲是兩套獨立的集群，把存儲從原來的系統(tǒng)中剝離出來形成獨立的存儲集群，可以按需投資，要多少計算買多少計算，要多少存儲買多少存儲，避免浪費，提高分析效率?！痹?月26日召開的2020（第五屆）大數(shù)據(jù)產(chǎn)業(yè)生態(tài)大會上，華為技術(shù)有限公司海量存儲領(lǐng)域副總裁徐強接受中國工業(yè)報采訪時表示。

　　在徐強看來，分布式架構(gòu)的專業(yè)存儲更適合企業(yè)級市場，不僅能實現(xiàn)統(tǒng)一的存儲資源池和靈活的擴展，還能讓用戶享受更專業(yè)的存儲，更佳的可靠性和利用率。“伴隨中國制造業(yè)數(shù)字化轉(zhuǎn)型的深化，年底工業(yè)領(lǐng)域占整體分布式存儲的份額有望提升至30%?！毙鞆娡嘎丁?br/> 
　　大數(shù)據(jù)架構(gòu)走向存算分離

　　存算分離正成為大數(shù)據(jù)架構(gòu)演進的重要趨勢。

　　“5G、云、AI加速行業(yè)數(shù)字化轉(zhuǎn)型，海量數(shù)據(jù)時代已經(jīng)到來。海量數(shù)據(jù)促使企業(yè)從數(shù)據(jù)管理走向數(shù)據(jù)運營，正面臨成本高、存不下；效率低、流不動；自動化差、管不好三大挑戰(zhàn)?！毙鞆姺治?。

　　Hadoop1.0時代，計算和存儲是高度融合，僅能處理單一的MapReduce分析業(yè)務(wù)；Hadoop2.0時代，計算層與數(shù)據(jù)開始解耦，通過Yarn實現(xiàn)了獨立的資源管理，并開始支持Spark等更多的計算引擎；而如今來到Hadoop3.0時代，計算存儲已分開演進，通過Hadoop EC來支持冷數(shù)據(jù)的存儲，同時引入外置存儲，如S3，增強其存儲底座能力，逐步向數(shù)據(jù)湖架構(gòu)演進。

　　“Hadoop3.0時代，計算正向輕量化和容器化方向發(fā)展，計算存儲分離演進已成為事實。計算存儲分離后，我們用企業(yè)級的存儲基座替代原來的原生大數(shù)據(jù)存儲基座，好處是可以把當前企業(yè)級存儲的先進技術(shù)帶入到大數(shù)據(jù)里面來，如高可靠、高利用率、多協(xié)議融合等，更好地釋放數(shù)據(jù)的價值?！毙鞆姳硎?。

　　資料顯示，華為從2002年涉足存儲技術(shù)研究，十幾年來不斷提升自主研發(fā)能力和核心競爭力，截至2018年底，存儲產(chǎn)品已經(jīng)服務(wù)于全球150多個國家的超過9000家客戶。存儲產(chǎn)業(yè)經(jīng)過幾十年的發(fā)展，衍生出各種各樣的存儲產(chǎn)品，滿足了企業(yè)應(yīng)用的各種訴求。

　　2018年，華為創(chuàng)新性推出基于OceanStor Pacific系列的大數(shù)據(jù)存算分離方案。在成本方面，華為大數(shù)據(jù)存算分離方案實現(xiàn)存算分離，資源按需獨立擴展，彈性EC、冷熱數(shù)據(jù)分級，存儲成本大幅降低。在數(shù)據(jù)應(yīng)用效率方面，華為OceanStor Pacific系列采用全對稱分布式NameNode，集群性能和支持文件數(shù)隨節(jié)點數(shù)目增加線性提升，單一命名空間支持文件數(shù)達百億級。在實際操作運維方面，華為OceanStor Pacific系列提供的原生HDFS接口提供了更佳性能和使用體驗。通過ViewFS或Hbase元數(shù)據(jù)網(wǎng)關(guān)方式可實現(xiàn)新老共存，實現(xiàn)存算一體向存算分離的平滑演進，保護用戶已有投資。

　　據(jù)徐強透露，華為投入數(shù)百人力專門設(shè)計開發(fā)了大數(shù)據(jù)存儲系統(tǒng)，目的就是提供和原有開源的大數(shù)據(jù)底座一模一樣的能力，以無損的方式提供大數(shù)據(jù)存算分離的技術(shù)能力?？上驳氖牵匀ツ暌詠?，華為大數(shù)據(jù)存算分離方案已逐步落地應(yīng)用在電信、金融、政務(wù)等各個領(lǐng)域，正幫助千行百業(yè)降低數(shù)據(jù)存儲成本，提升數(shù)據(jù)分析效率，加速數(shù)據(jù)價值釋放。
 
　　工業(yè)領(lǐng)域分布式存儲份額年底有望達三成

　　華為基于OceanStor Pacific系列的大數(shù)據(jù)存算分離方案發(fā)布兩年來，在各行業(yè)取得的實踐效果日漸顯現(xiàn)。

　　今年7月，中國聯(lián)通基于華為 OceanStor Pacific 海量存儲的大數(shù)據(jù)平臺正式上線，標志著中國聯(lián)通和華為技術(shù)有限公司在大數(shù)據(jù)計算存儲分離架構(gòu)的規(guī)?；夹g(shù)創(chuàng)新方面取得了全面突破。華為大數(shù)據(jù)存算分離方案打破了傳統(tǒng)大數(shù)據(jù)平臺計算存儲緊耦合的部署架構(gòu)，使的大數(shù)據(jù)平臺建設(shè)的成本得到了很大的降低。這一方案的創(chuàng)新在于首次嘗試使用另一種更加高效的方式來解決大數(shù)據(jù)存儲方案，且通過存儲層全分布式架構(gòu)和協(xié)議融合互通的高效性，從而提升數(shù)據(jù)分析效率。

　　據(jù)徐強介紹，華為的海量存儲在制造業(yè)中的主要應(yīng)用場景是高性能計算。例如，車企的自動駕駛場景，每輛汽車每天的訓練數(shù)據(jù)接近100TB，每天有幾百上千輛汽車要做訓練，從而催生海量的數(shù)據(jù)。

　　此外，芯片設(shè)計制造、氣象衛(wèi)星和石油勘探等行業(yè)，也會涉及高性能計算，對海量存儲的需求也較大。

　　“工業(yè)領(lǐng)域適合用分布式存儲的場景，主要有兩大類，第一類是數(shù)據(jù)量特別大的，傳統(tǒng)的存儲搞不定，因為傳統(tǒng)存儲之間是獨立的，數(shù)據(jù)沒法共享。只有海量存儲才能把數(shù)據(jù)池做的足夠大，例如自動駕駛。第二類是對數(shù)據(jù)訪問有高性能需求的，如芯片設(shè)計。芯片設(shè)計過程中，都需要對數(shù)據(jù)進行快速的、對時延要求非常高的訪問，所以對分布式海量存儲也有需求?！毙鞆姺治觥?br/>
　　據(jù)其預(yù)測，盡管當前工業(yè)領(lǐng)域的分布式存儲占整個分布式存儲的比例不到20%，鑒于工業(yè)領(lǐng)域旺盛的市場需求，這一占比年底前有望提至三成。

　　“還應(yīng)看到，在國內(nèi)做分布式存儲的廠家較多，但水平參差不齊。很多廠商基于開源軟件涉足，加之云服務(wù)轉(zhuǎn)型也在對分布式存儲產(chǎn)生沖擊，整個分布式存儲產(chǎn)業(yè)面臨的各方壓力依然不小?！毙鞆娞嵝选＃ㄖ袊I(yè)報 余娜）

　　轉(zhuǎn)自：中國工業(yè)新聞網(wǎng)

　　【版權(quán)及免責聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系：010-65363056。

延伸閱讀