浪潮數(shù)據(jù)集成平臺實現(xiàn)多源異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)快速交換；全web界面可視化操作，降低數(shù)據(jù)集成開發(fā)難度；基于微服務(wù)架構(gòu)設(shè)計開發(fā)，獨立部署，可重用，高可靠；預(yù)置豐富的數(shù)據(jù)處理組件，實現(xiàn)快速集成開發(fā)。數(shù)據(jù)集成為企業(yè)提供實時、準(zhǔn)確的數(shù)據(jù)加工處理，支撐企業(yè)實現(xiàn)更敏捷的業(yè)務(wù)創(chuàng)新。

一、產(chǎn)品概述

浪潮數(shù)據(jù)集成普通是集數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、脫敏、加載等功能于一體的一站式數(shù)據(jù)處理平臺，平臺通過可視化的拖、拉、拽即可完成數(shù)據(jù)集成流程的構(gòu)建，可以在多個業(yè)務(wù)系統(tǒng)之間實現(xiàn)復(fù)雜的數(shù)據(jù)分發(fā)以及推送，同時也支持跨企業(yè)的數(shù)據(jù)傳輸與共享發(fā)布，協(xié)助企業(yè)快速構(gòu)建數(shù)據(jù)中臺。內(nèi)嵌數(shù)據(jù)質(zhì)量檢核作業(yè)，實時保證數(shù)據(jù)處理的準(zhǔn)確性。

二、產(chǎn)品特性

? 采集能力

具備從多源異構(gòu)數(shù)據(jù)源采集的能力，支持全量采集和增量采集，可支持的數(shù)據(jù)源類型包括：

· 關(guān)系型數(shù)據(jù)源：包括Oracle、MySQL、SQL Server、PostgreSQL、GreenPlum、Sybase、DB2、GBase、MariaDB等國外主流的關(guān)系型數(shù)據(jù)庫，以及人大金倉、神舟通用、翰高、達(dá)夢等國內(nèi)主流的關(guān)系數(shù)據(jù)庫。

· NoSQL數(shù)據(jù)源：HBase、Hive、influxDB、OpenTSDB、TiDB等非關(guān)系型數(shù)據(jù)庫。

· 文本數(shù)據(jù)源：Excel、txt、CSV、XML、json等。

· 其他數(shù)據(jù)源：支持程序數(shù)據(jù)源等。

? 建模能力

支持一對一、一對多、多對一的組合關(guān)聯(lián)；

支持跨數(shù)據(jù)源的組合關(guān)聯(lián)；

支持二次開發(fā)自定義擴(kuò)展。

? 清洗&質(zhì)量檢測能力

預(yù)置了十幾種質(zhì)量規(guī)則，包括：空值規(guī)則、值域規(guī)則、重復(fù)數(shù)據(jù)規(guī)則、格式規(guī)范規(guī)則、數(shù)據(jù)關(guān)聯(lián)性規(guī)則、值長度規(guī)則、數(shù)目規(guī)則、字段類型規(guī)則、主鍵規(guī)則、邏輯一致性規(guī)則、閾值規(guī)則等。根據(jù)質(zhì)量規(guī)則針對數(shù)據(jù)質(zhì)量問題（數(shù)據(jù)的完整性、數(shù)據(jù)的唯一性、數(shù)據(jù)的權(quán)威性、數(shù)據(jù)的合法性、數(shù)據(jù)的一致性），進(jìn)行自動清洗，得到標(biāo)準(zhǔn)的、干凈的、連續(xù)的數(shù)據(jù)，提供給數(shù)據(jù)統(tǒng)計、數(shù)據(jù)挖掘等使用。

? 數(shù)據(jù)血緣分析

自動形成數(shù)據(jù)血緣關(guān)系，全面揭示數(shù)據(jù)的來龍去脈。

? 數(shù)據(jù)實時交換與共享

支持以低干擾、高靈活性的數(shù)據(jù)抽取和復(fù)制方式、轉(zhuǎn)換可定制方式，實現(xiàn)數(shù)據(jù)集中分發(fā)。

三、應(yīng)用價值

? 實現(xiàn)數(shù)據(jù)融合，提升數(shù)據(jù)質(zhì)量

實現(xiàn)多源異構(gòu)數(shù)據(jù)源數(shù)據(jù)融合，數(shù)據(jù)對接即清洗，數(shù)據(jù)即傳即用。

? 服務(wù)數(shù)據(jù)倉庫建設(shè)

支撐按業(yè)務(wù)主題提取分析模型進(jìn)行數(shù)據(jù)抽取，助力數(shù)據(jù)倉庫的建設(shè)。

? 供應(yīng)挖掘原料，實現(xiàn)業(yè)務(wù)創(chuàng)新應(yīng)用

通過數(shù)據(jù)采集清洗，一方面解決數(shù)據(jù)質(zhì)量問題，另一方面也讓數(shù)據(jù)更適合做挖掘。深度洞察數(shù)據(jù)，挖掘數(shù)據(jù)背后的利用價值，實現(xiàn)數(shù)據(jù)和業(yè)務(wù)的創(chuàng)新應(yīng)用。