貴州氣象局
浪潮通過云海大數(shù)據(jù)一體機(jī)和專業(yè)服務(wù),幫助貴州氣象局建設(shè)大數(shù)據(jù)創(chuàng)新實(shí)驗(yàn)室,實(shí)現(xiàn)氣象服務(wù)創(chuàng)新。
貴州是寒潮、冰雹、干旱、暴雨、大風(fēng)等自然災(zāi)害比較密集、頻發(fā)的地區(qū),氣象是“生命線”工程。氣象信息事關(guān)國家建設(shè)、人民生命安全,但存在數(shù)據(jù)量大、數(shù)據(jù)源復(fù)雜、數(shù)據(jù)需求多、價(jià)值挖掘難等問題,為貴州氣象業(yè)務(wù)發(fā)展帶來巨大挑戰(zhàn)。
2016年,實(shí)驗(yàn)室的主要任務(wù)包括:搭建大數(shù)據(jù)環(huán)境、云平臺(tái)環(huán)境、虛擬化環(huán)境等,確定氣象大數(shù)據(jù)整體技術(shù)路線,對前沿云及大數(shù)據(jù)技術(shù)進(jìn)行驗(yàn)證,為氣象大數(shù)據(jù)生產(chǎn)環(huán)境提供技術(shù)支持和指導(dǎo)。
氣象大數(shù)據(jù)應(yīng)用創(chuàng)新云實(shí)驗(yàn)室,是應(yīng)氣象大數(shù)據(jù)應(yīng)用創(chuàng)新中心的預(yù)研要求而成立的,主要開展跟氣象大數(shù)據(jù)相關(guān)創(chuàng)新研究的實(shí)驗(yàn)室。浪潮通過云海大數(shù)據(jù)一體機(jī)和專業(yè)服務(wù),用軟硬一體化的解決方案幫助貴州氣象局建設(shè)大數(shù)據(jù)創(chuàng)新實(shí)驗(yàn)室,實(shí)現(xiàn)氣象服務(wù)創(chuàng)新。
大數(shù)據(jù)環(huán)境的搭建及優(yōu)化
安裝分布式系統(tǒng)族群軟件,包括:HDFS、MapReduce、HBase、Hive、Pig、ZooKeeper等;安裝成熟內(nèi)存數(shù)據(jù)庫;對開源系統(tǒng)進(jìn)行功能、性能驗(yàn)證并進(jìn)行參數(shù)優(yōu)化;形成系統(tǒng)安裝、使用報(bào)告。
NoSql數(shù)據(jù)庫建模及開發(fā)規(guī)范測試
1.論證NoSql數(shù)據(jù)庫表的建模方法、模型優(yōu)化原則和規(guī)范等。
2.全面測試、比較NoSql數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫基于不同業(yè)務(wù),在性能、功能等方面的差異性,確定兩種數(shù)據(jù)庫分別適合的業(yè)務(wù)領(lǐng)域。
3.提供書面的NoSql數(shù)據(jù)庫表建模參考文檔,指導(dǎo)新增氣象業(yè)務(wù)表模型建設(shè)。
4.設(shè)計(jì)氣象業(yè)務(wù)模擬場景,進(jìn)行基于NoSql數(shù)據(jù)庫的大數(shù)據(jù)存取性能測試,并形成測試報(bào)告。
氣象大數(shù)據(jù)云平臺(tái)的搭建及測試工作
1.安裝應(yīng)用引擎軟件,并驗(yàn)證項(xiàng)目自動(dòng)編譯、自動(dòng)部署功能。
2.設(shè)計(jì)并驗(yàn)證基于開源軟件Web容器自動(dòng)擴(kuò)展、自動(dòng)負(fù)載功能。
3.提供書面安裝及測試報(bào)告。
支撐環(huán)境選型測試
1.驗(yàn)證并測試虛擬化的相關(guān)功能。
2.測試應(yīng)用引擎軟件分別基于虛擬機(jī)和物理機(jī)運(yùn)行的可行性及性能參數(shù),并進(jìn)行比較。
3.應(yīng)用引擎與開源資源分配工具(如:cgroup等)的集成研究及應(yīng)用。
通用服務(wù)驗(yàn)證
1.對廣泛使用的開源搜索框架、開源消息中間件、開源日志組件進(jìn)行功能、性能、兼容性等方面的測試,確定開源版本。
2.設(shè)計(jì)適用于氣象大數(shù)據(jù)云平臺(tái)的統(tǒng)一用戶認(rèn)證方案,并驗(yàn)證其可行性。
編寫氣象大數(shù)據(jù)平臺(tái)技術(shù)白皮書
面向第三方,編寫氣象大數(shù)據(jù)云平臺(tái)技術(shù)白皮書。涵蓋包括:應(yīng)用系統(tǒng)技術(shù)框架約定,使用NoSql數(shù)據(jù)庫及分布式系統(tǒng)的方法及示例程序,編程規(guī)范,目錄結(jié)構(gòu)規(guī)范(包含用戶可自由規(guī)劃的目錄),各平臺(tái)軟件的版本及后期集體升級(jí)的思路、辦法等內(nèi)容。
災(zāi)難測試
對分布式系統(tǒng)管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)進(jìn)行災(zāi)難測試,包括節(jié)點(diǎn)恢復(fù)、數(shù)據(jù)恢復(fù)、磁盤恢復(fù)等測試。
大數(shù)據(jù)系列軟件功能擴(kuò)展開發(fā)
對大數(shù)據(jù)軟件的功能進(jìn)行擴(kuò)展開發(fā),包括HBase二級(jí)索引方案的設(shè)計(jì)及實(shí)現(xiàn),并進(jìn)行性能影響性分析。
氣象大數(shù)據(jù)應(yīng)用創(chuàng)新實(shí)驗(yàn)室吸引了行業(yè)優(yōu)秀的專家學(xué)者和社會(huì)優(yōu)秀人才共同開展氣候大數(shù)據(jù)創(chuàng)新研究,承擔(dān)了產(chǎn)品選型測試、軟硬件測試、安全和風(fēng)險(xiǎn)測評、創(chuàng)新應(yīng)用開發(fā)、新應(yīng)用上線測試等任務(wù),為氣象大數(shù)據(jù)應(yīng)用創(chuàng)新提供實(shí)驗(yàn)基地,為氣象大數(shù)據(jù)核心技術(shù)實(shí)驗(yàn)和落地實(shí)施提供可靠保障,為貴州省氣象大數(shù)據(jù)平臺(tái)建設(shè)全面鋪開奠定基礎(chǔ)。