“去哪兒”是一個旅游搜索引擎中文在線旅行網(wǎng)站,創(chuàng)立于2005年2月,總部在北京。作為一家創(chuàng)新的技術公司,去哪兒網(wǎng)致力于為中國旅游消費者提供全面、準確的旅游信息服務,促進中國旅游行業(yè)在線化發(fā)展、移動化發(fā)展。去哪兒網(wǎng)為消費者提供機票、酒店、度假產(chǎn)品的實時搜索,并提供旅游產(chǎn)品團購以及其他旅游信息服務,為旅游行業(yè)合作伙伴提供在線技術、移動技術解決方案。
客戶需求
“去哪兒”為旅游者提供國內(nèi)外機票、酒店、度假和簽證服務的深度搜索,幫助中國旅游者做出更好的旅行選擇。憑借其便捷、人性且先進的搜索技術,“去哪兒”對互聯(lián)網(wǎng)上的機票、酒店、度假和簽證等信息進行整合,為用戶提供及時的旅游產(chǎn)品價格查詢和信息比較服務。
“去哪兒”基于大數(shù)據(jù)為用戶實現(xiàn)精準搜索,讓信息更精準連接到人,在大規(guī)模集群上提供MPI、BSP、MapReduce、Spark等多種計算模型,實現(xiàn)大規(guī)?;A統(tǒng)計、分類、聚類、矩陣分解、圖算法等一系列算法,通過這種方式構建大數(shù)據(jù)分析平臺。利用online learning技術,改進機器學習算法的規(guī)模以及性能,對網(wǎng)站進行內(nèi)容基因分析,對用戶進行長期興趣點、短期興趣點等的畫像分析,幫助用戶更快獲取有興趣的信息。
由于業(yè)務發(fā)展,需要建立hadoop大數(shù)據(jù)集群。大數(shù)據(jù)集群不同類型的節(jié)點有不同的計算性能、存儲容量、IO性能需求,服務器硬件需要對Hadoop工作負載進行優(yōu)化設計。
解決方案:SA5112M4+SA5212M4的組合方案
去哪1
Hadoop集群主要包括兩類節(jié)點:Master和Slave節(jié)點。不同節(jié)點,采用SA5112M4+SA5212M4服務器組合的方式,適應不同的工作負載以及存儲容量的需求。
采用Inspur SA5112M4服務器為用戶提供hadoop的Master節(jié)點方案,Master節(jié)點包括Jobtracker、Namenode等。 設計針對Hadoop工作負載進行優(yōu)化的平衡架構: 2顆Intel Xeon E5-2630v3處理器,以及128G內(nèi)存滿足管理節(jié)點高性能需求。其中以NameNode為例,NameNode存儲了所有分布式文件系統(tǒng)的元數(shù)據(jù),其中包括文件、目錄結構以及內(nèi)存中的分塊分配。每個分布式文件系統(tǒng)分塊在NameNode的內(nèi)存中大小約為250字節(jié),另外加上文件和目錄所需的250字節(jié)。按照64M的分布式文件系統(tǒng)分塊大小,同時副本因子為3,64M實際數(shù)據(jù)需要1500字節(jié)內(nèi)存空間。根據(jù)用戶情況,haddop集群有PB級文件,且每個文件至少由1個分塊組成,因此為NameNode配置128G內(nèi)存以滿足擴展需要。除此之外,采用2GB緩存的高速率raid卡、雙600G硬盤做Raid1,為系統(tǒng)提供高可靠性。
采用Inspur SA5212M4服務器為用戶提供slave節(jié)點,其中主要包括TaskTracker和DataNode。服務器采用2顆Intel Xeon 2620V2處理器,128G內(nèi)存,保障數(shù)據(jù)并行訪問效率;配置2塊600G SAS盤做Raid1為系統(tǒng)盤,12塊3T SAS硬盤提供大容量數(shù)據(jù)空間,而IOPS性能由hadoop架構本身補償。
浪潮是中國互聯(lián)網(wǎng)市場最大的服務器供應商,有著12年深耕互聯(lián)網(wǎng)的豐富經(jīng)驗,最新的Grantley系列服務器專為互聯(lián)網(wǎng)應用設計。它采用全新智能計算加速技術,搭載最新一代英特爾至強E5-2600V3系列處理器,可根據(jù)用戶應用智能調(diào)節(jié)提供更優(yōu)性能,可顯著提升應用程序性能。采用最新的DDR4內(nèi)存技術,內(nèi)存帶寬提升50%。相比DDR3,傳輸速率提高2~4倍,但耗電量減少,使得相同傳輸速率下,功率降低高達57.1%,幫助“去哪兒”大幅度提升大數(shù)據(jù)處理速率,并同時降低能耗。存儲上SA5112M4支持8塊2.5寸或4塊3.5寸硬盤加上2塊前置SSD,SA5212M4支持前置12塊3.5寸加后置4塊2.5寸硬盤,為“去哪兒”的大數(shù)據(jù)分析提供足夠的存儲空間及響應速度。最新的12Gbps硬盤控制器,將使得磁盤控制器與硬盤之間數(shù)據(jù)傳輸速度翻倍,也就意味著整個數(shù)據(jù)傳輸系統(tǒng)速度翻倍。
根據(jù)“去哪兒”的實際需求,Inspur為其提供SA5112M4+SA5212M4雙路服務器的組合方案,借助組合方案服務器出色的可靠性、可訪問性、靈活性、易用性等特點,滿足用戶對于IT產(chǎn)品性能、管理等方面的要求,提高用戶的使用和管理效率,有效提高客戶的運維效率,降低服務器設備的總體擁有成本。
SA5112M4服務器以1U的緊湊尺寸提供更好的性能、效率、存儲容量和可靠性,為用戶提供高密度以及高性能工作負載,適應當前業(yè)務發(fā)展需要。
SA5212M4服務器為2U服務器,相較SA5112M4具備更高的PCIE擴展性以及存儲容量。,為用戶提供更加靈活的業(yè)務能力選擇。
SA5112M4+SA5212M4組合拳方式,多角度響應用戶需求,為用戶提供更多業(yè)務上的靈活選擇。