英特爾® 傲騰? 持久內(nèi)存是Intel在2019年發(fā)布的一款革命性的產(chǎn)品，英特爾® 傲騰? 持久內(nèi)存是一種全新的內(nèi)存類(lèi)型，其架構(gòu)設(shè)計(jì)旨在從數(shù)據(jù)中心中汲取更多價(jià)值，重構(gòu)數(shù)據(jù)中心內(nèi)存/存儲(chǔ)層次結(jié)構(gòu)。不同于傳統(tǒng)的DRAM，英特爾® 傲騰? 持久內(nèi)存集大容量、經(jīng)濟(jì)性和持久性于一身，能夠支持?jǐn)?shù)據(jù)中心多個(gè)應(yīng)用場(chǎng)景。浪潮基于英特爾® 傲騰? 持久內(nèi)存做了大量的應(yīng)用場(chǎng)景解決方案，覆蓋大數(shù)據(jù)分析、數(shù)據(jù)庫(kù)、云與虛擬化、分布式存儲(chǔ)等應(yīng)用場(chǎng)景。為了幫助用戶(hù)通過(guò)更加靈活的架構(gòu)來(lái)實(shí)現(xiàn)創(chuàng)新型的應(yīng)用，助力企業(yè)實(shí)現(xiàn)性能突破，浪潮發(fā)布了基于英特爾® 傲騰? 持久內(nèi)存技術(shù)的RocksDB存儲(chǔ)方案。

　　RocksDB是一款利用快速存儲(chǔ)器（尤其是閃存）存儲(chǔ)數(shù)據(jù)性能的數(shù)據(jù)庫(kù)軟件，大量應(yīng)用于高負(fù)載服務(wù)，但伴隨著數(shù)據(jù)量爆發(fā)式增長(zhǎng)，高負(fù)載業(yè)務(wù)對(duì)數(shù)據(jù)存儲(chǔ)的性能需求也越來(lái)越高，浪潮根據(jù)英特爾優(yōu)化的PMEM-RocksDB進(jìn)行了性能優(yōu)化佳實(shí)踐，其中PMEM-RocksDB通過(guò)使用英特爾® 傲騰? 持久內(nèi)存對(duì)傳統(tǒng)RocksDB進(jìn)行了大量?jī)?yōu)化，不僅大幅提升了數(shù)據(jù)吞吐性能、降低了延遲，而且實(shí)現(xiàn)了更高的成本效益。

　　挑戰(zhàn)：化解 RocksDB存在的性能瓶頸

　　在大數(shù)據(jù)時(shí)代，業(yè)務(wù)存儲(chǔ)和訪問(wèn)的數(shù)據(jù)量是超大規(guī)模的，而隨之而來(lái)的還有業(yè)務(wù)對(duì)IOPS、延遲等存儲(chǔ)性能更苛刻的需求，此時(shí)傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)已經(jīng)很難存儲(chǔ)和管理這些數(shù)據(jù)，RocksDB也就應(yīng)運(yùn)而生。RocksDB 是一種嵌入式、持久化存儲(chǔ)、KV型且非常適用于fast storage的存儲(chǔ)引擎，并且由于其出色的壓縮性能，在充分利用閃存性能的同時(shí)節(jié)省大量閃存空間。目前，RocksDB應(yīng)用在大數(shù)據(jù)量、寫(xiě)密集型的高負(fù)載存儲(chǔ)場(chǎng)景。

　　由于 RocksDB應(yīng)對(duì)的是高負(fù)載存儲(chǔ)場(chǎng)景，因此數(shù)據(jù)吞吐性能的重要性不言而喻。要提升 RocksDB數(shù)據(jù)吞吐性能，可以從優(yōu)化內(nèi)存規(guī)劃、存儲(chǔ)磁盤(pán)擴(kuò)容和升級(jí)、參數(shù)調(diào)優(yōu)等多個(gè)方面進(jìn)行。以?xún)?nèi)存規(guī)劃為例，其直接涉及讀緩存BlockCache、寫(xiě)緩存Memtable，影響系統(tǒng)內(nèi)存利用率、IO利用率等資源以及讀寫(xiě)性能等，是 RocksDB性能一個(gè)至關(guān)重要的影響因素。

　　這種方法對(duì)讀性能有明顯提升，但不具備良好的成本效益。雖然存儲(chǔ)節(jié)點(diǎn)支持的單條內(nèi)存容量理論上限是128GB，但是這種大容量的內(nèi)存普遍處于驗(yàn)證階段，可獲得性不足，而且價(jià)格的提升遠(yuǎn)高于其容量的提升，會(huì)帶來(lái)很高的成本壓力；另外，受制于RocksDB本身架構(gòu)，寫(xiě)性能并不能隨著內(nèi)存和存儲(chǔ)設(shè)備的增加一直提升。

　　因此，如何打破現(xiàn)有存儲(chǔ)架構(gòu)的限制，顯著提升RocksDB性能的同時(shí)有效控制成本，也就顯得至關(guān)重要。

　　為了解決此問(wèn)題，英特爾基于傲騰持久內(nèi)存對(duì)RocksDB進(jìn)行了代碼級(jí)優(yōu)化，開(kāi)發(fā)了PMEM-RocksDB（基于RocksDB-6.2.2），在保留原有RocksDB所有功能的基礎(chǔ)上，通過(guò)使用英特爾® 傲騰? 持久內(nèi)存，首先優(yōu)化了Write Ahead Log寫(xiě)操作以改進(jìn)寫(xiě)性能，然后實(shí)現(xiàn)了鍵值分離存儲(chǔ)，減少寫(xiě)放大，改進(jìn)了寫(xiě)性能和寫(xiě)延遲，并修改了塊緩存的實(shí)現(xiàn)，用非易失內(nèi)存替代DRAM內(nèi)存作為塊緩存。

　　在方案驗(yàn)證的過(guò)程中，浪潮發(fā)現(xiàn)，英特爾® 傲騰? 持久內(nèi)存有著接近DRAM內(nèi)存的性能。因此，浪潮決定，對(duì)基于英特爾® 傲騰? 持久內(nèi)存的PMEM-RocksDB進(jìn)行性能、成本等方面的驗(yàn)證。

　　英特爾® 傲騰? 持久內(nèi)存是一種全新的內(nèi)存類(lèi)型（如圖1），不同于傳統(tǒng)的DRAM，其集大容量、經(jīng)濟(jì)性和持久性于一身，讀寫(xiě)帶寬比NVME設(shè)備高數(shù)倍，并大幅降低延時(shí)問(wèn)題。由于寫(xiě)入方式不同，英特爾® 傲騰? 持久內(nèi)存也比Flash NAND更耐用，并且單模塊容量可高達(dá)512GB，實(shí)現(xiàn)了遠(yuǎn)超傳統(tǒng)DRAM的系統(tǒng)內(nèi)存容量。其從根本上改變了數(shù)據(jù)中心的彈性，將內(nèi)存數(shù)據(jù)庫(kù)重啟時(shí)間從以前的幾天、幾小時(shí)縮短到現(xiàn)在的幾分鐘甚至幾秒鐘，并提供經(jīng)濟(jì)實(shí)惠的內(nèi)存空間，將系統(tǒng)內(nèi)存容量擴(kuò)展到前所未有的水平。

　　

　　圖1

　　英特爾® 傲騰? 持久內(nèi)存擁有兩種特殊的運(yùn)行模式——App Direct 模式和內(nèi)存模式。具體來(lái)看，采用App Direct 模式，經(jīng)過(guò)專(zhuān)門(mén)調(diào)試的應(yīng)用程序可以從產(chǎn)品固有的持久性中充分獲取價(jià)值，同時(shí)獲得更大的容量；在內(nèi)存模式下，在受支持的操作系統(tǒng)或虛擬環(huán)境中運(yùn)行的應(yīng)用程序可將該產(chǎn)品用于易失性存儲(chǔ)，在無(wú)需重寫(xiě)軟件的情況下，有效利用高達(dá)512GB的內(nèi)存模塊帶來(lái)的附加系統(tǒng)容量，在大型內(nèi)存池中獲得新的洞察。

　　在實(shí)際的方案部署中，浪潮使用了英特爾® 至強(qiáng)® 第二代可擴(kuò)展處理器與英特爾® 傲騰? 持久內(nèi)存組成強(qiáng)強(qiáng)組合，成倍提升了RocksDB性能，滿足了高負(fù)載業(yè)務(wù)的需求。

　　方案驗(yàn)證：英特爾® 傲騰? 持久內(nèi)存性能優(yōu)勢(shì)顯著

　　本次方案驗(yàn)證，浪潮使用了RocksDB-6.2.2和PMEM-RocksDB進(jìn)行讀寫(xiě)測(cè)試，其中讀性能測(cè)試，浪潮決定在總成本相當(dāng)?shù)那闆r下，分別測(cè)試兩者的性能對(duì)比。而寫(xiě)性能方面，由于PMEM-RocksDB改變了寫(xiě)入方式，同時(shí)使用了持久內(nèi)存和DRAM內(nèi)存，因此兩者無(wú)法用性?xún)r(jià)比進(jìn)行比較。

　　在實(shí)際測(cè)試中，浪潮將英特爾® 傲騰? 持久內(nèi)存設(shè)置為 App Direct運(yùn)行模式，并依據(jù)以下硬件配置來(lái)搭建了測(cè)試方案（如表1）。

　　

　　表1

　　在本次測(cè)試中，浪潮分別評(píng)測(cè)了使用DRAM內(nèi)存的RocksDB-6.2.2和使用英特爾® 傲騰? 持久內(nèi)存的PMEM-RocksDB的隨機(jī)讀寫(xiě)性能。

　　浪潮分別測(cè)試了兩種配置隨機(jī)寫(xiě)的P99尾延遲（測(cè)試結(jié)果如圖2），以及平均吞吐率（測(cè)試結(jié)果如圖3）。可以看出，PMEM-RocksDB的P99尾延遲只有RocksDB-6.2.2的56.9%，吞吐率卻達(dá)到了DRAM的3.3倍。

　　

　　圖2

　　

　　圖3

　　浪潮基于同成本分別測(cè)試了兩種配置隨機(jī)讀的平均吞吐率（測(cè)試結(jié)果如圖4）?？梢钥闯?，PMEM-RocksDB的吞吐率比RocksDB-6.2.2提升了接近70%。

　　

　　圖4

　　可見(jiàn)英特爾® 傲騰? 持久內(nèi)存為RocksDB的性能帶來(lái)了大幅提升，可以滿足其高負(fù)載下的讀寫(xiě)需求。

　　效果：大幅改善 RocksDB 性能與成本表現(xiàn)

　　從測(cè)試結(jié)果可以看出，在隨機(jī)寫(xiě)方面，基于英特爾® 傲騰? 持久內(nèi)存的改進(jìn)版RocksDB，相較原有版本有3.3倍的性能提升，。而基于同成本的隨機(jī)讀測(cè)試，改進(jìn)版RocksDB，相較原有版本仍有70%的性能提升。

　　因此，如果企業(yè)關(guān)注寫(xiě)性能，在付出采用英特爾® 傲騰? 持久內(nèi)存的成本后，寫(xiě)性能可以達(dá)到成倍的上升，這是即使增加其他硬件成本也無(wú)法得到的性能提升。如果企業(yè)關(guān)注讀性能，那么為達(dá)到同樣的吞吐量，使用英特爾® 傲騰? 持久內(nèi)存將帶來(lái)更多的成本節(jié)約，這在當(dāng)前企業(yè)數(shù)據(jù)爆發(fā)式增長(zhǎng)、在大數(shù)據(jù)方面的投入逐漸增大的背景下，顯然具有重要意義。