阿里巴巴云上數(shù)據(jù)中臺之道01

0 評論 2443 瀏覽 4 收藏 9 分鐘

本文將帶你深入了解阿里巴巴如何構建云上數(shù)據(jù)中臺,分享其背后的大數(shù)據(jù)思想發(fā)展史和具體的實施策略,引導你探索如何利用數(shù)據(jù)驅動業(yè)務發(fā)展,希望對您在數(shù)據(jù)管理和應用方面的理解和實踐有所幫助。

近日,疫情卷土重來,原本安排的旅游出行計劃泡湯,所以還是老老實實在家看書吧,靈魂和身體總有一個要在路上,不是嗎~

接下來我們來一起讀讀《大數(shù)據(jù)大創(chuàng)新:阿里巴巴云上數(shù)據(jù)中臺之道》這本書,了解阿里建設數(shù)據(jù)中臺的由來以及如何建設數(shù)據(jù)中臺。

有跡可循的大數(shù)據(jù)思想萌芽,可追溯至1974年,當時便有學者撰寫論文,研究如何用程序處理“大數(shù)據(jù)集”。

1991年,Bill Inmon出版了《建立數(shù)據(jù)倉庫》一束,其中首次提到了數(shù)據(jù)倉庫的定義——面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。

2003年,Google公開了內部海量數(shù)據(jù)處理技術——基于冗余存儲機制的分布式文件系統(tǒng)GFS、用于搜索索引計算的并行處理框架MapReduce,這些促成了分布式系統(tǒng)基礎架構Hadoop。

2011年,EMC世界大會以“云計算相遇大數(shù)據(jù)”為主題,正式提出“大數(shù)據(jù)”的概念,同年,麥肯錫全球研究院發(fā)布報告《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個新領域》。

2017年,根據(jù)CCW的研究,全球的大數(shù)據(jù)市場規(guī)模已達到2000億美元。

而阿里在2012年開始探索在云上構建大數(shù)據(jù)體系,云上數(shù)據(jù)中臺致力于構建“快、準、全、統(tǒng)、通”的智能大數(shù)據(jù)體系。其最終目標為催生數(shù)據(jù)智能化,促進業(yè)務發(fā)展與模式創(chuàng)新,數(shù)據(jù)價值變現(xiàn)乃至產(chǎn)業(yè)變革升級。

簡而言之,就是我們最常聽到的用數(shù)據(jù)來驅動業(yè)務發(fā)展。

當然說歸說,那怎么用數(shù)據(jù)驅動業(yè)務發(fā)展的呢?那我們一起來看看中臺大佬阿里是怎么做的吧~

阿里巴巴云上數(shù)據(jù)中臺之道01

整個數(shù)據(jù)中臺包含三個層面:統(tǒng)一計算后臺、統(tǒng)一云上數(shù)據(jù)中臺、賦能業(yè)務前臺。

1. 計算中臺

計算后臺同時具有離線計算、實時計算、在線分析能力,從而讓用戶盡可能早并準確地看到歷史數(shù)據(jù)。

2. 數(shù)據(jù)中臺

通過智能數(shù)據(jù)能力實現(xiàn)全局數(shù)倉規(guī)劃、數(shù)據(jù)規(guī)范定義、數(shù)據(jù)建模研發(fā)、數(shù)據(jù)連接萃取、數(shù)據(jù)運維監(jiān)控等。這些能力需要如何構建的呢?

首先是數(shù)據(jù)采集,采集盡可能豐富的數(shù)據(jù),包含業(yè)務數(shù)據(jù)、服務器日志數(shù)據(jù)、埋點數(shù)據(jù)、第三方數(shù)據(jù)等。

接著進行數(shù)據(jù)預處理,清晰、結構化采集所得的數(shù)據(jù)后,行程垂直數(shù)據(jù)中心,即統(tǒng)一的ODS數(shù)據(jù)基礎層。

然后進行數(shù)據(jù)建模研發(fā),并處理不因組織架構變動而輕易轉移的數(shù)據(jù)中間層,包含DWD數(shù)據(jù)明細層和DWS匯總數(shù)據(jù)中間層,它們與ODS基礎層一起行程公共數(shù)據(jù)中心。

最后增加數(shù)據(jù)標準,基于OneData規(guī)范構建指標體系,計算出復用性強的統(tǒng)計指標,將其增加到公共數(shù)據(jù)中心。

基于OneEntity規(guī)范構建標簽體系、數(shù)據(jù)體系,將各個垂直的孤島數(shù)據(jù)連接起來,并萃取不同于統(tǒng)計指標的精華數(shù)據(jù),如行為標簽、關系等,行程萃取數(shù)據(jù)中心,包括消費者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、商品數(shù)據(jù)體系和位置數(shù)據(jù)體系。

其最終形態(tài)可分為指標體系和標簽/數(shù)據(jù)體系,通常指標體系以業(yè)務線的視角進行劃分,如劃分電商、金融2套指標體系;而標簽/數(shù)據(jù)體系通常以某個實體對象視角進行劃分,如劃分消費者、商家數(shù)據(jù)體系。

3. 業(yè)務前臺

阿里內部部門眾多,受眾有三大類,阿里小二、阿里客戶、社會大眾,他們基于同一數(shù)據(jù)體系,同一份可復用的數(shù)據(jù)。

阿里小二即內部工作人員,可以使用內部數(shù)據(jù)平臺,進行業(yè)務數(shù)據(jù)化,包含全局數(shù)據(jù)監(jiān)控、數(shù)據(jù)化運營、數(shù)據(jù)植入業(yè)務等,數(shù)據(jù)平臺為其提供如下4個層次的服務。

第一層:數(shù)據(jù)工具服務

普通運營有查看或分析業(yè)務數(shù)據(jù)的需求,所以阿里數(shù)據(jù)平臺提供了多種BI工具,如快門、小站、孔明燈等,供運營自助獲取數(shù)據(jù)、多維分析、DIY個性化數(shù)據(jù)門戶。目前具有綜合性代表意義的是Quick BI。

第二層:專題分析服務

運營對類目分析具有強烈的訴求,平臺按照分析師沉淀的成熟分析思路組織數(shù)據(jù),幫助運營自助分析行業(yè)異動的原因,實現(xiàn)人人都是分析師的目標。代表產(chǎn)品有:

直播廳:輔助業(yè)務根據(jù)實時數(shù)據(jù)調整資源及分配流量

行業(yè)360:行業(yè)一體化分析產(chǎn)品,從行業(yè)視角提供360度數(shù)據(jù)披露及沉淀數(shù)據(jù)分析的思路

A+:流量分析產(chǎn)品,從流量視角積累并提供流量相關數(shù)據(jù),包括對站點、頁面、區(qū)塊、位置瀏覽、曝光、點擊分布數(shù)據(jù),一級資源位活動投放數(shù)據(jù)等進行數(shù)據(jù)分析

第三層:應用與分析服務

日常營銷活動中,需要選擇商品和商家搭建專場活動,使用黃金策這類的數(shù)據(jù)產(chǎn)品,可以完成系統(tǒng)間數(shù)據(jù)的對接,通過設定條件篩選出目標數(shù)據(jù),支持自助分析、調整條件,將調優(yōu)后的結果直接對接到前臺的應用系統(tǒng),滿足個性化推薦的需求

第四層:數(shù)據(jù)決策服務

高層管理者和決策者需要宏觀的業(yè)務數(shù)據(jù),可沉淀的數(shù)據(jù)和豐富的趨勢來輔助決策,包括通過數(shù)據(jù)了解業(yè)務進展、判斷當前進展是否合理,調整業(yè)務方向等。

阿里數(shù)據(jù)平臺提供定制化的數(shù)據(jù)產(chǎn)品,如全景洞察、高管日報等,為高層管理者提供宏觀決策分析服務,包括歷史數(shù)據(jù)規(guī)律分析、未來發(fā)展趨勢預測、全行業(yè)動態(tài)洞察等。

阿里客戶即商家、內容創(chuàng)作者等,可以使用生意參謀。

但羅馬非一天建成的,阿里龐大的數(shù)據(jù)體系也是在不同業(yè)務驅動下,經(jīng)過4個階段的建設,才不斷完善起來。

那對于即將建設數(shù)據(jù)數(shù)據(jù)中臺的企業(yè)而言,在缺乏經(jīng)驗的情況下,如何建設適合自己的數(shù)據(jù)中臺服務呢?

接下來一章,草帽小子會繼續(xù)分享阿里云上數(shù)據(jù)中臺執(zhí)行計劃的文章,敬請關注吧~

專欄作家

草帽小子,公眾號:一個數(shù)據(jù)人的自留地,人人都是產(chǎn)品經(jīng)理專欄作家。《大數(shù)據(jù)實踐之路:數(shù)據(jù)中臺+數(shù)據(jù)分析+產(chǎn)品應用》書籍作者,專注用戶畫像領域。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載

題圖來自Unsplash,基于CC0協(xié)議。

該文觀點僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺僅提供信息存儲空間服務。

更多精彩內容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!