英特爾® 傲騰? 持久內(nèi)存是Intel在2019年發(fā)布的一款革命性的產(chǎn)品，英特爾® 傲騰? 持久內(nèi)存是一種全新的內(nèi)存類型，其架構設計旨在從數(shù)據(jù)中心中汲取更多價值，重構數(shù)據(jù)中心內(nèi)存/存儲層次結構。不同于傳統(tǒng)的DRAM，英特爾® 傲騰? 持久內(nèi)存集大容量、經(jīng)濟性和持久性于一身，能夠支持數(shù)據(jù)中心多個應用場景。浪潮基于英特爾® 傲騰? 持久內(nèi)存做了大量的應用場景解決方案，覆蓋大數(shù)據(jù)分析、數(shù)據(jù)庫、云與虛擬化、分布式存儲等應用場景。為了幫助用戶通過更加靈活的架構來實現(xiàn)創(chuàng)新型的應用，助力企業(yè)實現(xiàn)性能突破，浪潮發(fā)布了基于英特爾® 傲騰? 持久內(nèi)存技術的Spark應用方案。

　　Apache Spark是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎，常用來構建大型、低延遲的數(shù)據(jù)分析應用程序。Spark 一個主要特點在于，其能夠在內(nèi)存中進行計算，這使得其數(shù)據(jù)分析效率往往高于其它計算引擎，但是，服務器內(nèi)存資源的限制也使得其性能的擴展存在著一定的瓶頸，在超大規(guī)模負載中無法充分發(fā)揮其利用內(nèi)存進行計算的性能優(yōu)勢。為了解決此問題，浪潮在 Spark 方案驗證中使用英特爾® 傲騰? 持久內(nèi)存代替?zhèn)鹘y(tǒng)的 DRAM 內(nèi)存，實現(xiàn)了數(shù)倍的性能提升，被證明可以作為 Spark 內(nèi)存擴展的優(yōu)先方案。

　　Spark 搭載了高效的 DAG 執(zhí)行引擎，可以通過基于內(nèi)存來高效處理數(shù)據(jù)流。與Hadoop 的 MapReduce 相比，Spark 基于內(nèi)存的運算要快 100 倍以上，基于硬盤的運算也要快10 倍以上，這使得其能夠在大數(shù)據(jù)環(huán)境下對于數(shù)據(jù)進行實時處理。同時，其高容錯性和高可伸縮性也使得其成為大數(shù)據(jù)部署的突出優(yōu)勢，用戶可以將 Spark 部署在大量廉價的硬件之上，形成集群，滿足低成本下的高性能計算需求。

　　在當前的應用環(huán)境下，Spark 可以用于批處理、交互式查詢（Spark SQL）、實時流處理（Spark Streaming）、機器學習（Spark MLlib）、圖形計算（GraphX）等負載，這些不同類型的處理都可以在同一個應用中無縫使用。正是因為 Spark 具備上述優(yōu)勢，所以其廣泛應用于云計算、物聯(lián)網(wǎng)、機器學習等前沿領域的超大型數(shù)據(jù)集快速分析處理之中。

　　顯然，高性能的數(shù)據(jù)分析是 Spark 的一個重要優(yōu)勢，要提升性能，除了可以在軟件優(yōu)化方面入手之外，還可以從硬件角度進行考慮：由于 Spark 依賴內(nèi)存進行計算，所以內(nèi)存的速度、容量對于計算效率至關重要，如果數(shù)據(jù)量超過了集群內(nèi)存能容納的最大值，部分數(shù)據(jù)就會落在相對低速的磁盤上，這導致Spark數(shù)據(jù)處理能力無法充分發(fā)揮。

　　擴展內(nèi)存容量是一個比較簡單、直接的方法，但是問題同樣存在。首先，服務器內(nèi)存插槽有限，且一般支持128GB 的 DRAM 內(nèi)存，這決定了單臺服務器擴展的總內(nèi)存容量受到嚴格限制；其次，如果采用增加服務器節(jié)點的方式進行擴展，這些增長的服務器節(jié)點不僅意味著采購成本的增加，也會帶來不菲的空間、運維成本。再加上企業(yè)級的大容量 DRAM 內(nèi)存本身就價格昂貴，使得很多企業(yè)的 Spark 系統(tǒng)承受著巨大的成本壓力。

　　由于介質(zhì)、技術等原因限制，在現(xiàn)有的技術條件下傳統(tǒng) DRAM 內(nèi)存在容量與成本上很難實現(xiàn)質(zhì)的突破，所以，尋找創(chuàng)新的存儲介質(zhì)與架構也就成為了 Spark 系統(tǒng)性能擴展的重要方向。在比較英特爾® 傲騰? 持久內(nèi)存與 DRAM 內(nèi)存之后，浪潮決定嘗試采用英特爾® 傲騰? 持久內(nèi)存來進行 Spark 內(nèi)存池擴展。

　　浪潮選擇英特爾® 傲騰? 持久內(nèi)存的原因不難理解。首先，英特爾® 傲騰? 持久內(nèi)存提供了行業(yè)領先的高吞吐率、低延時、高服務質(zhì)量和超高的耐用性，可以提供接近內(nèi)存的延遲，并支持快速緩存和快速存儲，對應用進行加速。

　　其次，英特爾® 傲騰? 持久內(nèi)存的單設備容量達到512GB ，遠超DRAM 內(nèi)存的128GB，這使得其可以將系統(tǒng)內(nèi)存擴展至6TB（不包括系統(tǒng)自身內(nèi)存）。而且，英特爾® 傲騰? 內(nèi)存的單位容量價格要遠低于DRAM 內(nèi)存，這些特性支持企業(yè)在數(shù)據(jù)中心部署更大、更經(jīng)濟的數(shù)據(jù)集，在大型內(nèi)存池中獲得新的洞察。

　　在本方案中，浪潮使用英特爾® 傲騰? 內(nèi)存作為 Spark 系統(tǒng)的存儲介質(zhì)，以解決服務器內(nèi)存不足的問題。英特爾® 傲騰? 內(nèi)存有App Direct 模式和內(nèi)存模式兩種模式。本次測試采用App Direct 模式 ，App Direct 具有數(shù)據(jù)持久化、高容量、高可用性、顯著加快存儲速度等特點，是目前英特爾® 傲騰? 內(nèi)存主要使用模式（兩種方案的對比如圖1所示）。

　　

　　圖1

　　為了驗證英特爾® 傲騰? 持久內(nèi)存的使用對于 Spark 系統(tǒng)性能的影響，浪潮基于英特爾® 傲騰? 內(nèi)存與 DRAM 內(nèi)存，并分別針對Spark SQL測試與Spark K-Means測試配置了對比方案（采用相同的硬件配置和組網(wǎng)方式），兩套方案的成本相當，因此可以直觀的反映出兩套方案的性能價格比。

　　

　　圖2

　　首先進行的是 Spark SQL 單機測試（測試結果如圖3）與集群測試（測試結果如圖4）可以發(fā)現(xiàn)，英特爾® 傲騰? 內(nèi)存方案的單機性能是DRAM方案的7.33倍，集群性能是 DRAM 方案的6.05倍。

　　

　　圖3

　　

　　圖4

　　接下來浪潮進行了 Spark K-Means單機測試（測試結果如圖5）與集群測試（測試結果如圖6）。測試結果顯示，在單機情況下，英特爾® 傲騰? 內(nèi)存方案在訓練方面的性能是DRAM方案的13.74倍，整體性能是DRAM方案的3.93倍；集群情況下，英特爾® 傲騰? 內(nèi)存方案在訓練方面的性能是DRAM方案的10.76倍，整體性能是 DRAM 方案的3.99倍。

　　

　　圖5

　　

　　圖6

　　效果：英特爾® 傲騰? 內(nèi)存顯著提升 Spark 方案性能與成本效益

　　以上測試顯示，在 Spark 系統(tǒng)的構建過程中，如果需要處理的數(shù)據(jù)量高于服務器內(nèi)存資源，那么基于英特爾® 傲騰? 持久內(nèi)存的配置方案性能將遠超 DRAM 內(nèi)存方案。這是由于超過服務器內(nèi)存池容納能力的數(shù)據(jù)會落在低速的磁盤上，從而導致處理速度的降低，而英特爾® 傲騰? 內(nèi)存不僅可以提供速度接近 DRAM 內(nèi)存的快速存儲器，而且可支持的內(nèi)存池總容量遠超 DRAM 內(nèi)存，這能夠讓 Spark 緩存更多的數(shù)據(jù)，從而充分發(fā)揮 Spark 的數(shù)據(jù)高速處理優(yōu)勢。

　　尤為重要的是，英特爾® 傲騰? 內(nèi)存在單位成本上顯著低于 DRAM 內(nèi)存，這能夠幫助企業(yè)有效控制Spark 系統(tǒng)的TCO。在大型的 Spark 應用實踐中，英特爾® 傲騰? 內(nèi)存作為內(nèi)存擴展方案，可以幫助企業(yè)在固定的性能目標下，有效控制服務器節(jié)點數(shù)量以及內(nèi)存采購成本，從而實現(xiàn)性能與成本效益的均衡。