方案概述
海量交換數(shù)據(jù)平臺(tái)具有數(shù)據(jù)來源較多，數(shù)據(jù)文件格式多樣性， 文件大小分布廣泛，數(shù)據(jù)來源質(zhì)量參差不齊， 海量數(shù)據(jù)文件不定時(shí)發(fā)送等特點(diǎn)。其每天接收近50萬個(gè)數(shù)據(jù)文件， 需要對(duì)所有文件做到實(shí)時(shí)偵測(cè)，實(shí)時(shí)接收，實(shí)時(shí)校驗(yàn)，實(shí)時(shí)入庫。 對(duì)于大型基金公司會(huì)存在單公司上傳數(shù)十GB數(shù)據(jù)文件的情況， 本系統(tǒng)可以做到半小時(shí)內(nèi)校驗(yàn)入庫。平臺(tái)對(duì)所有文件統(tǒng)一管理， 實(shí)時(shí)監(jiān)控，對(duì)重點(diǎn)數(shù)據(jù)文件做到及時(shí)預(yù)警。 平臺(tái)提供準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理，為各業(yè)務(wù)系統(tǒng)提供基礎(chǔ)數(shù)據(jù)； 關(guān)鍵業(yè)務(wù)實(shí)時(shí)查詢，為業(yè)務(wù)系統(tǒng)提供精準(zhǔn)數(shù)據(jù)支持； 為上游數(shù)據(jù)提供實(shí)時(shí)數(shù)據(jù)支持及準(zhǔn)實(shí)時(shí)數(shù)據(jù)核對(duì)匯總服務(wù)。
海量交換數(shù)據(jù)平臺(tái)包含海量數(shù)據(jù)文件準(zhǔn)實(shí)時(shí)采集、 海量數(shù)據(jù)數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析等幾個(gè)模塊，全部采用了東方國(guó)信BEH產(chǎn)品實(shí)現(xiàn)， 并在此基礎(chǔ)上構(gòu)建了統(tǒng)一的監(jiān)控管理系統(tǒng)。海量交換數(shù)據(jù)平臺(tái)邏輯架構(gòu)圖如下圖所示：
