隨著互聯(lián)網(wǎng)，物聯(lián)網(wǎng)，人工智能等現(xiàn)代科技的發(fā)展和大規(guī)模應(yīng)用，數(shù)據(jù)規(guī)模呈幾何式增長，數(shù)據(jù)的存儲和使用面臨新的挑戰(zhàn)。浪潮與英特爾聯(lián)合 Lightbits Labs提供基于 NVMe/TCP的全閃存存儲解決方案。以技術(shù)革新推動業(yè)務(wù)創(chuàng)新，幫助用戶應(yīng)用最先進(jìn)的架構(gòu)來實(shí)現(xiàn)云和數(shù)據(jù)中心基礎(chǔ)設(shè)施創(chuàng)新優(yōu)化，助力企業(yè)存儲技術(shù)實(shí)現(xiàn)性能突破。

　　隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等新興技術(shù)的快速發(fā)展，全世界已經(jīng)進(jìn)入數(shù)字經(jīng)濟(jì)時(shí)代，存儲技術(shù)作為數(shù)字時(shí)代發(fā)展的基石，在過去的十年中發(fā)生了翻天覆地的變化。以閃存為代表的新型存儲介質(zhì)在性能和延遲方面比機(jī)械硬盤有了數(shù)量級的提升，固態(tài)硬盤開始逐步取代機(jī)械硬盤成為主流存儲設(shè)備。為了充分發(fā)揮出高性能硬件的優(yōu)點(diǎn)，NVMe協(xié)議規(guī)范應(yīng)運(yùn)而生。NVMe 標(biāo)準(zhǔn)組織定義了 NVMe over Fabric (NVMe-oF)協(xié)議。然而， NVMe-oF 開始只支持光纖通道(Fiber Channel，F(xiàn)C)和遠(yuǎn)程直接內(nèi)存訪問（ Remote Direct Memory Access， RDMA）， 兩種方式均需要專有網(wǎng)卡部件和交換機(jī)的支持，增加了部署的難度和成本。 我們需要一種新的、成本更低的方式來發(fā)揮NVMe 的速度和性能。

　　Non-Volatile Memory Express over TCP（NVMe/TCP）是由包括英特爾和Lightbits Labs在內(nèi)的各行業(yè)參與者組成的NVM Express聯(lián)盟開發(fā)的行業(yè)存儲傳輸標(biāo)準(zhǔn)。Lightbits是NVMe/TCP協(xié)議的發(fā)明者，并且和Intel 等業(yè)內(nèi)同行標(biāo)準(zhǔn)化了該協(xié)議，使之成為NVMe over Fabrics的一部分，從而為業(yè)內(nèi)提供了實(shí)現(xiàn)高性能存儲服務(wù)器的協(xié)議基礎(chǔ)。使用NVMe/TCP作為高性能傳輸協(xié)議，無需任何特殊設(shè)備和配置即可支持常用的標(biāo)準(zhǔn)以太網(wǎng)。 NVMe/TCP 具有更低的時(shí)延和更高的吞吐量，是現(xiàn)有數(shù)據(jù)中心存儲系統(tǒng)的更好選擇。

　　浪潮、Intel和Lightbits Labs聯(lián)合推出基于NVMe/TCP的分布式全閃存存儲解決方案，使用搭載了英特爾®傲騰?持久內(nèi)存和浪潮 NS8610 G1固態(tài)硬盤的浪潮服務(wù)器作為數(shù)據(jù)高效處理和存儲的硬件基礎(chǔ)架構(gòu)，以 Lightbits 為軟件定義存儲的高效數(shù)據(jù)處理平臺，面向云和數(shù)據(jù)中心提供更高性能的軟硬件一體化存儲解決方案。

　　

　　圖1：浪潮-Lightbits軟硬件一體化全閃存存儲解決方案

　　圖1展示了浪潮-Lightbits軟硬件一體化全閃存存儲解決方案。本方案具有如下優(yōu)勢：

靈活配置、彈性擴(kuò)展

　　方案采用浪潮全新一代2U2路NF5280M6機(jī)架式服務(wù)器硬件平臺和Lightbits分布式軟件定義存儲軟件平臺。

      ●NF5280M6服務(wù)器擁有極豐富的配置滿足各行業(yè)應(yīng)用配置需求，最大支持 20塊3.5“硬盤或 39 塊 2.5”硬盤，前置支持12塊SATA/SAS/NVMe 熱插拔磁盤， 支持可選的后置 M.2/RSSD 模塊，滿足多樣化存儲需求；支持32條3200 MT/s DDR4 ECC內(nèi)存，內(nèi)存支持RDIMM 類型并支持DCPMM類型內(nèi)存，可提供優(yōu)異的速度和大容量內(nèi)存。 支持可選的 OCP3.0模塊，提供 10G、25G、40G、100G、200G 多種網(wǎng)絡(luò)接口選擇。

      ●分布式存儲軟件Lightbits支持硬件配置靈活擴(kuò)展，支持NVMe資源池彈性伸縮，支持邏輯卷動態(tài)遷移擴(kuò)展，通過存儲和計(jì)算解耦合，提高基礎(chǔ)設(shè)施的使用效率。滿足云和數(shù)據(jù)中心對基礎(chǔ)設(shè)施靈活配置、彈性擴(kuò)展的需求。

高帶寬，高IOPS，低延遲

　　Lightbits高性能軟件定義存儲平臺專為充分發(fā)揮NVMe SSD的高性能而量身定制設(shè)計(jì)并開發(fā)，充分運(yùn)用最新技術(shù)，包括NAND閃存優(yōu)化、英特爾®  傲騰?持久內(nèi)存和帶ADQ功能的英特爾®高速以太網(wǎng)網(wǎng)卡等，提供高帶寬，高IOPS，低延遲的高性能存儲解決方案。

      ●方案使用浪潮NS8610 G1企業(yè)級NVMe SSD，采用浪潮自主開發(fā)的先進(jìn)固件架構(gòu)和微槽道散熱硬件設(shè)計(jì)，提供3.5GB/s的高速帶寬和825K的4K IOPS，同時(shí)擁有極低的I/O抖動，4K隨機(jī)讀寫IOPS一致性達(dá)99%以上，擁有86/14μs的讀寫低延時(shí)，滿足數(shù)據(jù)中心和企業(yè)級應(yīng)用存儲高性能、低延遲需求。

      ●方案搭載英特爾® 至強(qiáng)® 第三代可擴(kuò)展處理器，多核密度提升，內(nèi)置英特爾® AVX-512、英特爾® Speed Select Technology等多種加速技術(shù)，相比上一代平均性能提升46%，保障系統(tǒng)高性能計(jì)算能力。

      ●方案使用英特爾® 傲騰? 持久內(nèi)存200系列作為寫緩存和元數(shù)據(jù)存儲。充分利用傲騰? 持久內(nèi)存的高性能、低延遲特性，提升系統(tǒng)帶寬和IOPS，實(shí)現(xiàn)穩(wěn)定一致的低延遲。

      ●方案使用英特爾® E810網(wǎng)卡，利用該網(wǎng)卡的應(yīng)用設(shè)備隊(duì)列 (ADQ)功能，為高優(yōu)先級應(yīng)用流量建立專用隊(duì)列，保障了穩(wěn)定一致的低延遲，提升吞吐量。

數(shù)據(jù)高可靠性、安全性和高可用性

　　該聯(lián)合方案在軟件和硬件層面均采用多重保護(hù)技術(shù)，增強(qiáng)了數(shù)據(jù)可靠性、安全性和可用性。

      ●浪潮NS8610 G1企業(yè)級NVMe SSD,內(nèi)置創(chuàng)新設(shè)計(jì)NAND特性自學(xué)習(xí)算法模型，NAND Flash P/E 提升40%，極大延長固態(tài)硬盤壽命。

      ●軟件內(nèi)置智能閃存管理IntelligentFlash Management ?（IFM）功能，最大限度提高SSD性能，延長固態(tài)磁盤耐用性。

      ●利用英特爾® 傲騰? 持久內(nèi)存的非易失性保障寫緩存數(shù)據(jù)掉電仍不丟失，確保了系統(tǒng)的高可靠性。

      ●分布式存儲節(jié)點(diǎn)內(nèi)部使用彈性糾刪碼機(jī)制，保障在SSD一旦損壞時(shí)數(shù)據(jù)不丟失；集群內(nèi)跨存儲節(jié)點(diǎn)實(shí)現(xiàn)靈活的副本機(jī)制，保障在存儲節(jié)點(diǎn)失效時(shí)數(shù)據(jù)服務(wù)仍安全可用。

      ●強(qiáng)大的容錯糾錯機(jī)制，可校驗(yàn)并糾正數(shù)據(jù)的靜默錯誤；全路徑的端到端數(shù)據(jù)保護(hù)，并支持將卷備份到S3并從S3恢復(fù)卷的功能。

豐富的企業(yè)級存儲功能

      該方案全面支持主流企業(yè)級存儲功能，包括多副本與糾刪碼、壓縮與精簡配置、快照、克隆、QoS、負(fù)載均衡、靜默數(shù)據(jù)錯誤校驗(yàn)及恢復(fù)、SSD故障自愈、存儲節(jié)點(diǎn)故障自愈、多租戶支持等。

簡化部署、智能運(yùn)維

      該方案為軟硬件一體化解決方案，經(jīng)過充分驗(yàn)證，確保兼容穩(wěn)定。方案基于NVMe/TCP優(yōu)化，支持標(biāo)準(zhǔn)的以太網(wǎng)部署方式，支持主流Linux、VMware等原生系統(tǒng)，無縫集成Kubernetes、OpenStack等虛擬機(jī)及容器編排系統(tǒng)，不需要安裝私有軟件，特殊驅(qū)動等，可通過簡單命令行操作實(shí)現(xiàn)系統(tǒng)安裝部署，提供即插即用的存儲服務(wù)，大大簡化部署的復(fù)雜度。

      應(yīng)用BMC技術(shù)，通過Web管理界面、故障診斷LED等指引設(shè)備，實(shí)現(xiàn)問題快速定位，簡化運(yùn)維，提高系統(tǒng)可用性。硬件層和平臺層監(jiān)控告警結(jié)合，保障機(jī)器穩(wěn)定運(yùn)行，并減少宕機(jī)的幾率。

解決方案驗(yàn)證：功能兼容穩(wěn)定、性能優(yōu)異

為了驗(yàn)證方案的應(yīng)用優(yōu)勢，浪潮、 Intel和 Lightbits 共同圍繞產(chǎn)品兼容性以及用戶最關(guān)心的性能指標(biāo)進(jìn)行了測試。

測試使用標(biāo)準(zhǔn) Benchmark 工具 FIO。測試配置如表1所示。

	Lightbits存儲服務(wù)器	客戶端
CPU	2*Intel® Xeon® 6338 32Cores@ 2.0GHz	2*Intel® Xeon® Gold 6342 24Cores@ 2.8GHz
內(nèi)存	16*16GB DDR4，共256GB	32*32GB DDR4, 共1TB
英特爾®  傲騰?持久內(nèi)存	8*128GB，共1TB	無
SSD硬盤	12*1.6TB NS8610 G1 SSD	無
網(wǎng)絡(luò)	1*英特爾® E810 100Gb雙口以太網(wǎng)卡	1*英特爾® E810 100Gb雙口以太網(wǎng)卡

　　表1：測試服務(wù)器硬件配置表

　　測試結(jié)果

　　1) 4KB數(shù)據(jù)塊，2副本，100%隨機(jī)讀性能測試

　　

　　圖2：4KB數(shù)據(jù)塊，2副本，100%隨機(jī)讀性能測試結(jié)果

　　2） 4KB數(shù)據(jù)塊，2副本，100%隨機(jī)寫性能測試

　　

　　圖3：4KB數(shù)據(jù)塊，2副本，100%隨機(jī)寫性能測試結(jié)果

　　3）4KB數(shù)據(jù)塊，2副本，70/30混合隨機(jī)讀寫性能測試

　　

　　圖4：4KB數(shù)據(jù)塊，2副本，70/30混合隨機(jī)讀寫性能測試結(jié)果

　　4）4KB數(shù)據(jù)塊，2副本，50/50混合隨機(jī)讀寫性能測試

　　

　　圖5：4KB數(shù)據(jù)塊，2副本，50/50混合隨機(jī)讀寫性能測試

    詳細(xì)測試數(shù)據(jù)參考表2：

測試項(xiàng)目	100%隨機(jī)讀	100%隨機(jī)寫	70/30混合隨機(jī)讀寫	50/50混合隨機(jī)讀寫
4K 隨機(jī) 最大IOPS(KIOPS)	7202K	1430K	3726K	2551K
4K 典型隨機(jī) IO 延 遲	6866K (對應(yīng)QD=12)	1001K (對應(yīng)QD=2)	2800K (對應(yīng)QD=6)	1924K (對應(yīng)QD=4)
4K 平均延遲(us)	502	551	讀：525 寫：808	讀：463 寫：712
4K 尾部延遲 : 99% (us)	798	1155	讀：1105 寫：1499	讀: 985 寫：1444

　　表2：4K數(shù)據(jù)塊隨機(jī)讀寫性能測試結(jié)果表

測試結(jié)果表明：

       ●在使用4KB塊負(fù)載進(jìn)行的讀寫測試中，3臺存儲服務(wù)器組成的集群超過700萬隨機(jī)讀IOPS，接近100Gb網(wǎng)絡(luò)帶寬極限值，同時(shí)保持非常低的延遲。生產(chǎn)環(huán)境中增加客戶端數(shù)量可達(dá)到更高性能。根據(jù)Lightbits參考配置，如為每臺服務(wù)器配置兩塊100Gb網(wǎng)卡，可以使得3臺服務(wù)器集群提供約1400萬 IOPS的總隨機(jī)讀性能。

       ●在使用4KB塊負(fù)載進(jìn)行的讀寫測試中，3臺存儲服務(wù)器組成的集群的100%隨機(jī)寫性能和混合讀寫性能優(yōu)異，同時(shí)保持穩(wěn)定一致的低延遲。

       ●經(jīng)過充分功能性及穩(wěn)定性測試， 表明浪潮 NF5280M6 服務(wù)器與Lightbits軟件定義存儲系統(tǒng)兼容良好，各功能均正常穩(wěn)定。長時(shí)間運(yùn)行下，整個環(huán)境的可靠性及高可用性均表現(xiàn)出色。

　　浪潮與英特爾聯(lián)合Lightbits Labs發(fā)揮優(yōu)勢，強(qiáng)強(qiáng)合作，以搭載英特爾®傲騰?持久內(nèi)存的浪潮服務(wù)器打造基于 NVMe/TCP 的全閃存解決方案。 浪潮-Lightbits分布式全閃存存儲解決方案利用持久性存儲和端到端的NVMe /TCP等新技術(shù)，釋放閃存的優(yōu)異性能，實(shí)現(xiàn)更優(yōu)異的彈性擴(kuò)展能力，是用戶數(shù)據(jù)庫、數(shù)據(jù)分析、云基礎(chǔ)設(shè)施等場景下高性能存儲的更佳選擇。

　　該聯(lián)合解決方案無縫兼容當(dāng)前OpenStack, Kubenetes, VMware等各種云平臺，提供完全標(biāo)準(zhǔn)化的客戶端驅(qū)動，真正實(shí)現(xiàn)方案的即插即用。借助浪潮-Lightbits分布式全閃存存儲解決方案，云原生應(yīng)用可以實(shí)現(xiàn)超高性能，云數(shù)據(jù)中心借此降低TCO，助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型升級。