英特爾® 傲騰? 持久內(nèi)存是一款革命性的持久內(nèi)存產(chǎn)品，補(bǔ)齊了DRAM與磁盤之間的需求缺口，重構(gòu)內(nèi)存/存儲層次架構(gòu)，集大容量、經(jīng)濟(jì)性和持久性于一身，幫助用戶優(yōu)化數(shù)據(jù)中心基礎(chǔ)設(shè)施，滿足大數(shù)據(jù)分析、數(shù)據(jù)庫、云與虛擬化、分布式存儲等多種應(yīng)用場景需求。為了幫助用戶通過傲騰持久內(nèi)存來實(shí)現(xiàn)應(yīng)用創(chuàng)新優(yōu)化，助力企業(yè)業(yè)務(wù)系統(tǒng)實(shí)現(xiàn)性能突破，浪潮發(fā)布了基于英特爾® 傲騰? 持久內(nèi)存的多種場景方案，本方案是基于英特爾® 傲騰? 持久內(nèi)存200系列的Alluxio應(yīng)用方案。

　　Alluxio是一個(gè)基于內(nèi)存的分布式文件系統(tǒng)，它是架構(gòu)在底層分布式文件系統(tǒng)和上層分布式計(jì)算框架之間的一個(gè)中間件，主要職責(zé)是以文件形式在內(nèi)存或其它存儲設(shè)施中提供數(shù)據(jù)的存取服務(wù)。

　　隨著數(shù)據(jù)的多樣性和快速增長，數(shù)據(jù)分析變得越來越復(fù)雜并不斷改變數(shù)據(jù)收集、存儲、處理和分析的方式。許多企業(yè)正在開發(fā)新興解決方案包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、人工智能（AI）以及新的架構(gòu)等，以便從巨大的數(shù)據(jù)空間中提取價(jià)值。在這些解決方案中，計(jì)算和存儲分離的體系架構(gòu)正變得越來越有吸引力，這使得企業(yè)能夠獨(dú)立擴(kuò)展存儲容量，以匹配計(jì)算的增長率，從而減少成本壓力。

　　Alluxio位于開源的云計(jì)算數(shù)據(jù)編排層，提供各種異構(gòu)數(shù)據(jù)源的存儲和數(shù)據(jù)分析計(jì)算的應(yīng)用程序之間的軟件解決方案，使數(shù)據(jù)接近計(jì)算以提高關(guān)鍵工作負(fù)載的性能。

　　英特爾®傲騰?持久內(nèi)存創(chuàng)新性解決方案新增內(nèi)存擴(kuò)展方式專為打破服務(wù)器內(nèi)存容量限制而優(yōu)化，補(bǔ)齊了DRAM內(nèi)存與磁盤之間的需求缺口，打造高性能、大容量的持久內(nèi)存層，有助于更加高效地挖掘數(shù)據(jù)的潛在價(jià)值。

　　

　　　　圖1：英特爾®傲騰?持久內(nèi)存存儲層

　　英特爾®傲騰?持久內(nèi)存新一代產(chǎn)品200系列(Barlow Pass，即BPS)基于第三代英特爾®至強(qiáng)®可擴(kuò)展處理器優(yōu)化，容量有128GB、256GB和512GB三種。相對于上一代100系列產(chǎn)品，Ice Lake平臺單顆CPU容量最大支持到4TB，內(nèi)存頻率提升至3200MT/Sec，單通道平均性能提升25%。

英特爾®傲騰?持久內(nèi)存200系列具有兩種工作模式：內(nèi)存模式（MM）和App Direct 模式（AD）

　　內(nèi)存模式，CPU內(nèi)存控制器將所有英特爾®傲騰?持久內(nèi)存視為易失性系統(tǒng)內(nèi)存（無數(shù)據(jù)持久性），以更低的成本提供更大的內(nèi)存容量，無需更改應(yīng)用，并且性能接近 DRAM。

　　App Direct模式，能夠?qū)崿F(xiàn)較大內(nèi)存容量和數(shù)據(jù)持久性，支持持久內(nèi)存編程，軟件和應(yīng)用能夠直接與英特爾®傲騰?持久內(nèi)存通信，降低了堆棧的復(fù)雜性，并充分利用緩存一致性的字節(jié)可尋址特性，將持久內(nèi)存的使用擴(kuò)展到本地節(jié)點(diǎn)之外；App Direct模式提供一致的低延遲，同時(shí)支持更大的數(shù)據(jù)集。

　　

　　　　圖2：英特爾®傲騰?持久內(nèi)存工作模式

　　本方案使用APP DIRECT /MM模式，利用BPS的數(shù)據(jù)持久化、高容量、高可用性特性來加速Spark數(shù)據(jù)經(jīng)過Alluxio的讀取速度，實(shí)現(xiàn)以更低的內(nèi)存成本達(dá)到更高的性能。

方案驗(yàn)證：性能提升，成本降低

　本次使用DFSIO測試了Alluxio在DRAM和BPS平臺下的性能

		DRAM	BPS
測試配置	CPU	2*Icelake 6348 28c 2.60GHz
	Memory	1T(32*32G DDR4)	256G（16*16G DDR4）
	Barlow Pass	None	1T（8*128G） App Direct/Memory
	Disk Drive	1*1.8T NVMe SSD 8*1.8TB HDD

　　表1：配置對比表

　　　　測試結(jié)果

　　

　　　　圖3：DRAM vs BPS DFSIO讀測試吞吐量對比圖

　　

　　　　圖4：DRAM/BPS DFSIO讀測試耗時(shí)對比圖

　　圖3、圖4是在DFSIO測試模型下，DRAM和BPS的memory/AD 的性能對比圖?？梢钥吹剑珺PS AD模式在高負(fù)載下表現(xiàn)出來的吞吐量達(dá)到DRAM的2倍，執(zhí)行時(shí)間卻只有DRAM的48%，隨著負(fù)載的增加，BPS的性能顯著提高。

　　在 Alluxio 應(yīng)用中，使用BPS作為Alluxio cache，不僅性能大幅提升，而且相比于DRAM具有更高的性價(jià)比。BPS提供了大容量的內(nèi)存，能夠緩存更多的熱點(diǎn)數(shù)據(jù)，提高讀數(shù)據(jù)緩存命中率。