大數(shù)據(jù)平臺聯(lián)合解決方案
基于東方國信企業(yè)版Hadoop和英特爾? 傲騰? 持久內(nèi)存的大數(shù)據(jù)平臺聯(lián)合解決方案企業(yè)數(shù)據(jù)正在快速增長，同時越來越多的業(yè)務(wù)需要從實時數(shù)據(jù)分析中獲得洞察，這意味著對于大數(shù)據(jù)分析性能的追求不會到達終點。
特別面向Spark SQL查詢的海量數(shù)據(jù)分析常見痛點是計算存儲分離的架構(gòu)以及本地高容量低性能的存儲中，及時查詢語句的性能經(jīng)常被受限于I/O端性能。
因此，典型Spark SQL查詢中，如何區(qū)別冷熱數(shù)據(jù)，真正被經(jīng)常處理的數(shù)據(jù)使用DCPM進行加速緩存，或者對計算端本地緩存和Spark進程內(nèi)數(shù)據(jù)緩存，提升數(shù)據(jù)分析的性能。具體數(shù)據(jù)分析場景如下：
東方國信基于東方國信大數(shù)據(jù)平臺企業(yè)版（BEH）,選取了TPC-DS中的I/O密集型的查詢進行驗證，以評估使用Optane PMem Cache的OAP帶來的性能提升。
東方國信大數(shù)據(jù)平臺企業(yè)版 (BEH) 通用產(chǎn)品解決方案如下：
為了在大數(shù)據(jù)分析應(yīng)用中進一步提升 BEH 的性能表現(xiàn)，東方國信在服務(wù)器節(jié)點中使用了第二代英特爾? 至強? 可擴展處理器，并使用高性能的英特爾? 傲騰? 持久內(nèi)存作為 Spark SQL 的緩存設(shè)備，以加速緩存性能。具體集成方案如下：
結(jié)果顯示，無論是在單節(jié)點還是集群測試環(huán)境中，英特爾傲騰持久內(nèi)存都幫助 BEH 方案實現(xiàn)數(shù)倍的性能提升，以及顯著的成本節(jié)約。
除了相對于 DRAM 存儲器的成本優(yōu)勢之外，英特爾傲騰持久內(nèi)存還帶來了內(nèi)存子系統(tǒng)架構(gòu)的顛覆性變化，將類似于 DRAM存儲器的字節(jié)尋址能力和類似于存儲的持久性合二為一。這種結(jié)合意味著它可以直接映射到應(yīng)用程序地址空間，消除了與傳統(tǒng)存儲的讀寫相關(guān)的瓶頸，使其成為工作數(shù)據(jù)和長期存儲的主數(shù)據(jù)層。
東方國信大數(shù)據(jù)平臺企業(yè)版 BEH 針對企業(yè)應(yīng)用場景，在高可用、高性能、重要功能特性以及運維等方面進行了創(chuàng)新與增強。在使用英特爾傲騰持久內(nèi)存優(yōu)化緩存性能之后，東方國信大數(shù)據(jù)平臺企業(yè)版 BEH 的性能得到進一步提升，有望幫助金融、互聯(lián)網(wǎng)、電信等行業(yè)用戶有效應(yīng)對復(fù)雜查詢及大數(shù)據(jù)量分析場景，顯著改善應(yīng)用延遲等方面的表現(xiàn)。
產(chǎn)品
關(guān)于我們
