金山云專注于為企業(yè)用戶提供公有云服務(wù),是國內(nèi)排名前列的云服務(wù)公司,在云計算火熱的中國市場,金山云提供私有云、私有域、公有云服務(wù),以使用便捷、性價比高、服務(wù)快速著稱云計算領(lǐng)域,因此也為金山云帶來源源不斷的業(yè)務(wù)訂單,已經(jīng)覆蓋到教育、能源、政務(wù)、制造業(yè)、互聯(lián)網(wǎng)企業(yè)等諸多關(guān)鍵領(lǐng)域。面對快速的業(yè)務(wù)需求量,金山云每季度甚至每月都需要增加一批服務(wù)器滿足前端需求,同時隨著規(guī)模的龐大,數(shù)據(jù)量更是呈現(xiàn)翻倍的增長,如何最大限度降低大量數(shù)據(jù)有效存儲產(chǎn)生的成本?這一問題成為金山云研發(fā)部門重點的考慮點。
經(jīng)過數(shù)據(jù)的訪問統(tǒng)計顯示,每天產(chǎn)生的新數(shù)據(jù)在1-2個月后有70%訪問次數(shù)大幅降低,變?yōu)槔鋽?shù)據(jù),主要是一些非結(jié)構(gòu)化的數(shù)據(jù),如視頻、音頻、圖片、鏡像文件等。而文檔、表格等結(jié)構(gòu)化數(shù)據(jù)的訪問次數(shù)在數(shù)月內(nèi)并沒有明顯變化,依舊保持一定熱度,所以如果能有效降低70%數(shù)據(jù)的存儲成本無疑會節(jié)省大批的資金,提供的云服務(wù)成本會更有競爭力。面對金山云的數(shù)PB甚至ZB的冷數(shù)據(jù)存儲,金山云對IaaS設(shè)備提出四個必要要求:
低成本:每TB存儲空間的成本不高于普通2U存儲的三分之一;
高密度:每節(jié)點的存儲空間相比之前24盤存儲密度提升50%以上;
低功耗:每機柜需要放置8臺設(shè)備,且正常工作所需電流不超過13A;
易維護:所有硬盤需要支持熱插拔,更換硬盤不需要斷電重啟,快速。
要做到真正的降低成本和功耗,達到上訴四點要求,需要軟件做專門的數(shù)據(jù)降溫處理,能從海量的數(shù)據(jù)中區(qū)分出冷數(shù)據(jù)和熱數(shù)據(jù)才可以指向不同的存儲路徑。在硬件設(shè)備層面需要具備冷存儲產(chǎn)品低成本、低功耗、高密度的特點,浪潮SA5224L4成功為金山云解決了這一問題。
SA5224L4單節(jié)點支持一顆低功耗E3-1200v3系列CPU,36塊3.5寸熱插拔大容量硬盤,存儲密度是普通24盤機型的1.5倍,由于突出存儲弱化計算,所以整機功耗低,專門冷存儲產(chǎn)品。金山云采用熱數(shù)據(jù)降溫技術(shù)后,將2U12盤上的低頻率被訪問數(shù)據(jù)在兩個月后處理為冷數(shù)據(jù),批量推送到冷存儲服務(wù)器SA5224L4上并形成副本滿足被訪問時的及時響應(yīng)和數(shù)據(jù)安全性,由此,該部分數(shù)據(jù)產(chǎn)生的成本大幅度降低到不足原來的三分之一。
服務(wù)器配置
金山云采用的SA224L4支持一顆E3-1200v3系列CPU,最高32G內(nèi)存,36塊3.5寸大容量硬盤,并支持2塊2.5寸OS硬盤,網(wǎng)絡(luò)方面默認支持四千兆,可選擇支持萬兆網(wǎng)卡,所有硬盤采用noRAID模式,徹底避免了冗余或校驗帶來的磁盤空間浪費。本次金山云采用的配置有如下特點:
1、強化存儲弱化計算
采用E3-1200v3系列中中低端的CPU和32G內(nèi)存滿足業(yè)務(wù)軟件開銷,滿配置36塊4T云盤,單節(jié)點存儲容量達到144T,單機柜存儲容量達到1152T,形成了機柜PB級的海量存儲資源。
2、數(shù)據(jù)和OS分離提升安全性
本次還是用1塊300G 2.5寸SAS盤作為OS硬盤,將業(yè)務(wù)軟件和數(shù)據(jù)存儲硬盤分離,避免磁盤損壞對OS和數(shù)據(jù)都造成影響,提升數(shù)據(jù)的安全性和節(jié)點的穩(wěn)定性。
3、充分利用存儲空間
所有大容量硬盤都連接到一塊2308卡上,實現(xiàn)統(tǒng)一的管理,由于所有數(shù)據(jù)是按照分布式存儲,所以對磁盤采用noRAID模式,每一塊磁盤單獨進行讀寫操作,避免了RAID產(chǎn)生的磁盤浪費,將存儲空間最大化,同時解決磁盤損壞時因重建數(shù)據(jù)造成數(shù)據(jù)不可被訪問和回復(fù)時間長的問題。
4、低成本和低功耗
由于采用專門冷存儲配置,所以每TB的成本大幅度降低到原來的三分之一,每個節(jié)點甚至每一塊硬盤都可以做到無操作時休眠,將功耗降到最低。
金山云采用冷數(shù)據(jù)專門處理,用諸多個“冰屋”容納海量的冷數(shù)據(jù),整個存儲架構(gòu)變的冷熱層級清晰,成功將存儲成本降低到理想的水平,基于此前提采用分布式,將數(shù)據(jù)的安全性提升到新的水平。
SA5224L4將存儲密度提升50%,在單機柜放置8臺的情況下,相比24盤機型,單機柜存儲密度增加50%,為客戶節(jié)約三分之一的機柜,剩下空間租賃費用;
由于低功耗的特性,機柜中磁盤數(shù)量增加50%的前提下功耗增加不足30%,可以充分利用機柜的剩余電能,將單機柜的配電效能發(fā)揮到最大,避免電能空閑,為客戶賺取更多的剩余價值,最高可達50%;
每TB的采購成本是金山云最關(guān)注的,由于采用高密度的設(shè)計,其他硬件資源不變,增加12塊大容量磁盤支持,每TB最高可降低13%,采購成本節(jié)約10%以上。僅基于此點,金山云存儲業(yè)務(wù)的成本得到優(yōu)化,競爭力進一步提升。