隨著互聯(lián)網(wǎng)內(nèi)容不斷更新迭代,短視頻取代了文字、圖片,占據(jù)了人們工作、生活之余的大部分碎片時(shí)間。在短視頻業(yè)務(wù)快速擴(kuò)張的背后,是各種技術(shù)的不斷革新在質(zhì)層,包括移動(dòng)終端性能的提升,移動(dòng)網(wǎng)絡(luò)的提速,當(dāng)然還有后端計(jì)算平臺(tái)的日益強(qiáng)勁和穩(wěn)健。
當(dāng)我們從看圖時(shí)代轉(zhuǎn)向視頻時(shí)代時(shí),數(shù)據(jù)中心又需要什么樣的變革來適應(yīng)新的業(yè)務(wù)應(yīng)用?
1、每月需存儲(chǔ)PB級(jí)的數(shù)據(jù)
視頻相較文字和圖片的存儲(chǔ)需要更大的空間,以國(guó)內(nèi)某短視頻平臺(tái)的對(duì)外公開數(shù)據(jù)來看,僅從存儲(chǔ)的視頻容量來看,平臺(tái)每月新增的短視頻容量都將超過1PB。按照單塊硬盤8T,每塊服務(wù)器12塊硬盤,每月為了存儲(chǔ)這些視頻就需要新增12臺(tái)服務(wù)器。
2、占比高達(dá)80%的冷數(shù)據(jù),如何處理
視頻行業(yè)的數(shù)據(jù)都有一個(gè)共同的特點(diǎn)——數(shù)據(jù)的熱度不均且變化較快。大部分上傳的數(shù)據(jù)的高熱度狀態(tài)僅能保持1周甚至更短的時(shí)間。在數(shù)據(jù)中心中熱數(shù)據(jù)、溫?cái)?shù)據(jù)和冷數(shù)據(jù)占總數(shù)據(jù)量的比例約為5%、15%、80%。冷數(shù)據(jù)也可以被叫做“低價(jià)值度的數(shù)據(jù)”,占用了大部分的存儲(chǔ)空間,但是通常不會(huì)再產(chǎn)生價(jià)值(被觀看)。雖然如此,但平臺(tái)需要保證保有的數(shù)據(jù)不會(huì)被刪除,如何安全且低成本的保存這些數(shù)據(jù)也成了一個(gè)必須要解決的問題。
3、如何面對(duì)高功耗的存儲(chǔ)服務(wù)器帶來的居高不下的運(yùn)營(yíng)成本
服務(wù)器產(chǎn)品在維護(hù)階段具有周期長(zhǎng)、維護(hù)成本高的特點(diǎn),一般2年的維護(hù)成本就會(huì)超過購買成本。所以在設(shè)備運(yùn)行過程中降低耗電量和簡(jiǎn)化維護(hù)成了必須重視的部分。目前國(guó)內(nèi)大部分的存儲(chǔ)服務(wù)器仍是基于Intel 雙路至強(qiáng)CPU,并沒有針對(duì)溫冷數(shù)據(jù)的存儲(chǔ)應(yīng)用進(jìn)行優(yōu)化。大多數(shù)數(shù)據(jù)中心中的存儲(chǔ)系統(tǒng)都處于低負(fù)載高功耗的狀態(tài)。
計(jì)算與存儲(chǔ)分離,各司其職
短視頻背后的數(shù)據(jù)中心架構(gòu)其實(shí)并不是特別復(fù)雜,從視頻采集端到客戶端,編解碼、用戶特征分析由專門的計(jì)算節(jié)點(diǎn)完成;CDN節(jié)點(diǎn)負(fù)責(zé)熱點(diǎn)視頻的緩存加速和分發(fā);高密度的存儲(chǔ)節(jié)點(diǎn)用于存儲(chǔ)平臺(tái)的視頻數(shù)據(jù)。
CDN節(jié)點(diǎn),考慮如何讓熱點(diǎn)數(shù)據(jù)最快發(fā)出
由于視頻流量大,CDN節(jié)點(diǎn)所承載的吞吐量較大,因此對(duì)于存儲(chǔ)容量和擴(kuò)容的便捷度要求更高。另外由于CDN需要存儲(chǔ)的數(shù)據(jù)熱度不一,視頻數(shù)據(jù)需要分級(jí)存儲(chǔ),將不同熱度數(shù)據(jù)放在不同的存儲(chǔ)介質(zhì)中,充分發(fā)揮部件的利用效率,提升存儲(chǔ)能效比。
對(duì)于CDN服務(wù)器的選擇,通常會(huì)需要計(jì)算和存儲(chǔ)兩類服務(wù)器來支撐:
計(jì)算型主要用于處理分發(fā)任務(wù)等,需高主頻CPU,內(nèi)存和硬盤容量的要求并不高;
存儲(chǔ)型用于關(guān)鍵節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)和快速分發(fā),要求IT架構(gòu)中需要大容量的SSD或高速HDD
浪潮SA5212M,是一款計(jì)算存儲(chǔ)均衡類服務(wù)器。
存儲(chǔ)性能上,SA5212M5搭配12塊大容量SATA硬盤,單塊容量達(dá)到8T,單機(jī)可容納96T的CDN數(shù)據(jù),滿足CDN集群的龐大數(shù)據(jù)容量需求。對(duì)于相對(duì)熱的數(shù)據(jù),SA5212M5中可加入的4塊2.5寸SSD盤位,將提升系統(tǒng)整體響應(yīng)速度。
經(jīng)實(shí)測(cè),使用SSD固態(tài)硬盤后單臺(tái)服務(wù)器的服務(wù)能力提升了1倍以上。
高密存儲(chǔ)節(jié)點(diǎn),提升存儲(chǔ)能效比
作為存儲(chǔ)節(jié)點(diǎn)的高密度服務(wù)器、不需要太高的計(jì)算處理性能,可以選擇基于Intel Xeon-D處理器家族的SA5224M4機(jī)型,搭配單顆D-1521 CPU,借助Xeon-D的SOC特性和低功耗優(yōu)勢(shì),通過大容量8T硬盤的使用,以追求更優(yōu)的TCO收益。從實(shí)際測(cè)試數(shù)據(jù)來看來看,搭載D-1531 CPU的SA5212M4的計(jì)算性能已經(jīng)達(dá)到原E5-2620V3 平臺(tái)服務(wù)器的80%左右,但是單CPU的TDP(散熱設(shè)計(jì)功耗)只用45W,相比傳統(tǒng)E5 CPU功耗降低35W以上。
一般服務(wù)器的生命周期為三年,按此計(jì)算,1000臺(tái)的存儲(chǔ)服務(wù)器集群可節(jié)省至少1050萬的電費(fèi)。
高硬盤IO和網(wǎng)絡(luò)IO
在短視頻的傳遞鏈條中,用戶端上傳的視頻直接存入4U36盤位組成的存儲(chǔ)集群中,并通過分布在各地的CDN節(jié)點(diǎn)傳送到用戶端觀看,因此對(duì)后端存儲(chǔ)服務(wù)器的硬盤IO表現(xiàn)有較高的要求。
SA5224M4機(jī)型,其36盤位順序?qū)懙目値捊咏?.8GB,順序讀接近6GB,有力支撐了硬盤高IO讀寫的性能需求。此外, SA5224M4的板載萬兆優(yōu)勢(shì),可構(gòu)建起10Gb的內(nèi)部高速互聯(lián)網(wǎng)絡(luò),保障了數(shù)據(jù)訪問和傳輸所需的網(wǎng)絡(luò)帶寬。
更高的機(jī)柜部署密度
衡量服務(wù)器的磁盤密度不僅要看每U空間支持的磁盤數(shù)量,還要放在機(jī)房供電環(huán)境下,評(píng)估單機(jī)柜支持的磁盤密度。基于Intel Xeon-D平臺(tái)的集成性和低功耗優(yōu)勢(shì),在20A的機(jī)柜中,42U的空間內(nèi),SA5224M4可部署9-10臺(tái),單機(jī)柜磁盤部署密度提升25%,即以往雙路4U36需要部署5個(gè)機(jī)柜的磁盤密度,當(dāng)前4個(gè)機(jī)柜就能解決。不僅提高了單機(jī)柜供電利用效率,更減少了租賃機(jī)柜的數(shù)量,節(jié)省服務(wù)器生命周期內(nèi)的運(yùn)營(yíng)成本。
1、浪潮SA5212M是計(jì)算存儲(chǔ)均衡類服務(wù)器,在存儲(chǔ)性能上,搭配12塊大容量SATA硬盤,單塊容量達(dá)到8T,單機(jī)可容納96T的CDN數(shù)據(jù),滿足CDN集群的龐大數(shù)據(jù)容量需求。而對(duì)于相對(duì)熱的數(shù)據(jù),SA5212M5中可加入的4塊2.5寸SSD盤位,將提升系統(tǒng)整體響應(yīng)速度,經(jīng)實(shí)測(cè),使用SSD固態(tài)硬盤后單臺(tái)服務(wù)器的服務(wù)能力提升了1倍以上。
2、搭載D-1531 CPU的SA5212M4的計(jì)算性能已經(jīng)達(dá)到原E5-2620V3 平臺(tái)服務(wù)器的80%左右,但是單CPU的TDP(散熱設(shè)計(jì)功耗)只用45W,相比傳統(tǒng)E5 CPU功耗降低35W以上。按照服務(wù)器三年的生命周期,1000臺(tái)的存儲(chǔ)服務(wù)器集群就能節(jié)省下至少1050萬的電費(fèi)。
3、而目前應(yīng)用的SA5224M4機(jī)型,其36盤位順序?qū)懙目値捊咏?.8GB,順序讀接近6GB,有力支撐了這種硬盤高IO讀寫的性能需求
4、于Intel Xeon-D平臺(tái)的集成性和低功耗優(yōu)勢(shì),在20A的機(jī)柜中,42U的空間內(nèi),SA5224M4可部署9-10臺(tái),單機(jī)柜磁盤部署密度提升25%,即以往雙路4U36需要部署5個(gè)機(jī)柜的磁盤密度,當(dāng)前4個(gè)機(jī)柜就能解決。不僅提高了單機(jī)柜供電利用效率,更減少了租賃機(jī)柜的數(shù)量,節(jié)省服務(wù)器生命周期內(nèi)的運(yùn)營(yíng)成本。