云棲大會(huì)眾星云集，萬里牛陳曉亮解讀實(shí)時(shí)數(shù)倉的演進(jìn)之路

10月19日，2021杭州·云棲大會(huì)在杭州云棲小鎮(zhèn)正式開幕。云棲大會(huì)是科技界最重要的盛會(huì)，已成為中國(guó)科技創(chuàng)新成果全景展示和數(shù)字智能新品發(fā)布的平臺(tái)。

作為深耕SAAS行業(yè)十年的服務(wù)商，萬里牛已經(jīng)取得了很多可喜的成果。萬里牛大數(shù)據(jù)架構(gòu)師陳曉亮在10月22日的“大數(shù)據(jù)平臺(tái)技術(shù)論壇”上，以“萬里牛實(shí)時(shí)數(shù)倉的演進(jìn)之路”為題進(jìn)行了主題演講，重點(diǎn)分享應(yīng)用Holo來建設(shè)實(shí)時(shí)數(shù)倉的經(jīng)驗(yàn)，并對(duì)行業(yè)發(fā)展進(jìn)行了分析。

客戶需要什么，我們就解決什么

我們的客戶主要是從事電商、跨境電商和實(shí)體門店的企業(yè)客戶。

“我們總結(jié)了用戶在業(yè)務(wù)過程中的一些數(shù)據(jù)痛點(diǎn)。首先，業(yè)務(wù)環(huán)節(jié)產(chǎn)生了大量數(shù)據(jù)卻不會(huì)通過數(shù)據(jù)分析來反哺業(yè)務(wù);其次，實(shí)際工作中數(shù)據(jù)還是會(huì)被人工統(tǒng)計(jì)，不僅難以保證準(zhǔn)確性而且費(fèi)時(shí)費(fèi)力，與市場(chǎng)節(jié)奏脫節(jié);再者，辛苦做出的數(shù)據(jù)分析被用于改進(jìn)業(yè)務(wù)流程后，卻無法快速評(píng)估實(shí)際產(chǎn)生效果。”

用戶的訴求促使我們快速建設(shè)數(shù)據(jù)中臺(tái)，實(shí)現(xiàn)各個(gè)應(yīng)用數(shù)據(jù)之間的融合，消除了數(shù)據(jù)孤島，同時(shí)構(gòu)建了基礎(chǔ)的離線數(shù)據(jù)倉庫，并且通過數(shù)據(jù)資產(chǎn)管理系統(tǒng)和可視化系統(tǒng)的配合實(shí)現(xiàn)了零代碼交互式數(shù)據(jù)分析能力。

數(shù)據(jù)中臺(tái)2.0時(shí)代：HOLO建立實(shí)時(shí)數(shù)倉

“2.0時(shí)代我們?cè)黾恿藢?shí)時(shí)數(shù)倉能力，技術(shù)選型采用了比較成熟的Lambda架構(gòu)。數(shù)據(jù)同步部分多了Binlog通道，實(shí)時(shí)將數(shù)據(jù)傳輸?shù)紿olo建立實(shí)時(shí)數(shù)倉。同時(shí)Holo還承擔(dān)聯(lián)邦查詢和實(shí)時(shí)數(shù)據(jù)引擎的任務(wù)。目前萬里牛的數(shù)據(jù)中臺(tái)架構(gòu)，能夠?yàn)榭蛻籼峁?shí)時(shí)和準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析能力。同時(shí)數(shù)據(jù)中臺(tái)接手部分場(chǎng)景下業(yè)務(wù)系統(tǒng)的數(shù)據(jù)查詢服務(wù)，利用Holo的能力開放ODS層數(shù)據(jù)訪問。”

阿里云&萬里牛，未來皆有可能

隨著大數(shù)據(jù)發(fā)展進(jìn)入普惠期，數(shù)據(jù)倉庫、數(shù)據(jù)湖、湖倉一體成為業(yè)內(nèi)熱點(diǎn)，離線實(shí)時(shí)一體化數(shù)倉和新一代基于云原生的湖倉一體平臺(tái)成為行業(yè)趨勢(shì)。阿里云提供的一系列大數(shù)據(jù)組件，讓萬里牛數(shù)據(jù)團(tuán)隊(duì)如虎添翼。

“萬里牛也聯(lián)合了阿里巴巴聚石塔特別技術(shù)小組全程為萬里牛商家保駕護(hù)航。雙十一前夕萬里牛已提前對(duì)所有服務(wù)器、數(shù)據(jù)庫和網(wǎng)絡(luò)帶寬進(jìn)行了彈性升級(jí)擴(kuò)容，配置相比平時(shí)提升10倍以上。萬里牛系統(tǒng)已經(jīng)完成聚石塔壓測(cè)認(rèn)證，單店鋪?zhàn)畲罂沙惺軘?shù)據(jù)壓力超過300萬單/天。同時(shí)萬里牛與阿里云成立專項(xiàng)小組進(jìn)行駐場(chǎng)，保障大促期間系統(tǒng)的響應(yīng)和處理速度，降低風(fēng)險(xiǎn)系數(shù)。”

標(biāo)簽： 時(shí)數(shù) 實(shí)時(shí) 解讀