當前位置︰首頁 > 新聞資訊 > 正文

阿里數據科學家一次講透數據中台2019-08-29 10:23:33 | 編輯︰hely | 查看︰ | 評論︰0

本文整理了其中15頁PPT精華濃縮,下面我們跟隨技術大咖,一起來學習阿里數據中台的建設方法論、建設實踐、組織中台如果支撐數據中台、以及數據中台建設分哪些步驟等等。

 

來源︰技術領導力社區

阿里大數據和人工智能科學家 行在,阿里公共數據平台負責人 羅金鵬,在雲棲大會、Data Tech等大會中分享到︰阿里的“雙中台+ET”數字化轉型方法論及成果,以及阿里數據中台產品OneData、OneID、OneService、Dataphin的建設實踐。

本文整理了其中15頁PPT精華濃縮,下面我們跟隨技術大咖,一起來學習阿里數據中台的建設方法論、建設實踐、組織中台如果支撐數據中台、以及數據中台建設分哪些步驟等等。

01、阿里數據中台全景圖

 

 
阿里數據中台在架構的組成上,呈現了一個“四橫三縱”的結構,底層的基礎設施來自于阿里雲平台。

四橫。在這張架構圖中,從下往上看,最下面的內容主要數據采集和接入,按照業態接入數據(比如淘寶、天貓、盒馬等),我們把這些數據抽取到計算平台;通過OneData體系,以“業務板塊+分析維度”為架構去構建“公共數據中心”。

基于公共數據中心在上層根據業務需求進行建設︰消費者數據體系、企業數據體系、內容數據體系等。

 

 

(圖片來源︰雲棲社區)

經過深度加工後,數據就可以發揮其價值被產品、業務所用;最後通過統一的數據服務中間件“OneService”提供統一數據服務。

 

三縱。為保證阿里巴巴整個數據體系的快速、高效、高質量數據接入,需要有一套智能數據研發平台來實現,將理論及實踐過程,通過一整套的工具體系及研發流程去保障落地,確保每一個團隊,每一個BU,通過統一規則去建設數據體系;同時,當數據多了以後最直接問題就是成本,因此我們還建立了統一的數據質量管理平台。

02、阿里“雙中台”共同支撐的“大中台+小前台架構”

 

 

阿里雲的大數據和人工智能科學家--行在,在訪談中提到,阿里中台主要體現為由業務中台和數字中台並肩構成的雙中台,並肩扛起了所有前台業務。

業務中台將後台資源進行抽象包裝整合,轉化為前台友好的可重用共享的核心能力,實現了後端業務資源到前台易用能力的轉化。

 

數據中台從後台及業務中台將數據流入,完成海量數據的存儲、計算、產品化包裝過程,構成企業的核心數據能力,為前台基于數據的定制化創新和業務中台基于數據反饋的持續演進提供了強大支撐。

 

 

業務中台與數據中台相輔相成、互相支撐,一起構建起了戰場強大的後方炮火群和雷達陣。

03、阿里數據中台OneData體系

 

 

OneData是阿里數據中台的核心,阿里公共數據平台負責人羅金鵬介紹,OneData體系建立的集團數據公共層,從設計、開發、部署和使用上保障了數據口徑的規範和統一,實現數據資產全鏈路管理,提供標準數據輸出。

統一數據標準是一項非常復雜的工作,譬如,針對UV這一相同的指標,在統一之前阿里內部竟然有10多種數據定義。據介紹,OneData數據公共層總共對30000多個數據指標進行了口徑的規範和統一,梳理後縮減為3000余個。

在DT時代,數據暴增對存儲計算成本帶來很大的挑戰。據羅金鵬介紹在沒有建設統一的數據公共層時,阿里內部服務器需求量會在5年之後達到現在的100倍之多。而經過數據公共層的統一建設,5年後的服務器需求量相對會節約90%。

 

 

阿里數據中台之OneData也並非是“一次成型”的,它經歷了三個階段的能力演進︰

第一階段︰完全應用驅動的時代。這個時期主要將數據以與源結構相同的方式同步到Oracle,那時候的數據架構只有兩層ODS+DSS,嚴格說來基本只有一個ODS層,也基本沒有模型方法體系。

第二階段︰隨著阿里業務的快速發展,數據量也在飛速增長,性能已經是一個較大問題,希望通過一些模型技術改變煙囪式的開發模型,消除一些冗余,提升數據的一致性,所以阿里引入了Greenplum。

第三階段︰引入以hadoop為代表的分布式存儲計算平台,確立第三代模型架構(OneData),核心CDM層都采用多維模型。選擇了以Kimball維度建模為核心理念的模型方法論,同時對其進行了一定的升級和擴展,構建了阿里集團的數據架構體系。

04、數據中台PasS層Dataphin

 

 

(圖片來源︰雲棲社區)

在整個數據中台模式中,PasS層產品Dataphin如引擎般存在,下到規劃數倉,上至輸出主題式服務。

有了Dataphin之後,種種數據問題彈指間即可迎刃而解,它既可以保證數據標準規範定義、數據模型設計即自動化開發、主題式數據服務即時生成。

同時還能提供數據資產化管理的門戶,有效降低數倉建設門檻,也提高生產效率、降低生產成本,輕松實現讓數據從成本中心真正變成價值中心,且可量化呈現。

05、Quick BI助力雲上企業數據分析

 

 

大數據構建與管理完畢之後,我們需要利用Quick BI這一智能數據與可視化組件將數據背後的價值展現在人們面前。

Quick BI扭轉了當初重度依賴專業數據分析人才的局面,能夠賦予一線業務人員智能化的分析工具,真正的做到了“數據化運營”讓數據產生價值。

現在,越來越多的企業開始數據上雲,也有的行業如政府、金融因為嚴苛的安全需求而自建本地數據庫,導致企業出現數據分散式存儲的狀況。而Quick BI卻可以鏈接各種數據源,滿足雲上和本地的不同需求,整合為可被統一調度的數據集。

06、阿里大數據能力框架

 

 

阿里巴巴提出的數據中台模式,正是為解決問題而生,並通過實踐形成了統一全域數據體系,實現了計算存儲累計過億的成本降低、響應業務效率多倍提升、為業務快速創新提供堅實保障。

全域數據采集與引入︰以需求為驅動,以數據多樣性的全域思想為指導,采集與引入全業務、多終端、多形態的數據。

標準規範數據架構與研發︰統一基礎層、公共中間層、百花齊放應用層的數據分層架構模式,通過數據指標結構化規範化的方式實現指標口徑統一。

連接與深度萃取數據價值︰形成以業務核心對象為中心的連接和標簽體系,深度萃取數據價值。

統一數據資產管理︰構建元數據中心,通過資產分析、應用、優化、運營四方面對看清數據資產、降低數據管理成本、追蹤數據價值。

統一主題式服務︰通過構建服務元數據中心和數據服務查詢引擎,面向業務統一數據出口與數據查詢邏輯,屏蔽多數據源與多物理表。

 

 

極大的豐富和完善了阿里巴巴大數據中心,OneData、OneID、OneService漸趨成熟並成為上至CEO、下至一線員工共識的方法論體系。

07、阿里數據中台演進的四個階段

 

 

阿里巴巴的數據處理經歷了四個階段,分別是︰

一. 數據庫階段,主要是OLTP(聯機事務處理)的需求;

二. 數據倉庫階段,OLAP(聯機分析處理)成為主要需求;

三. 數據平台階段,主要解決BI和報表需求的技術問題;

四. 數據中台階段,通過系統來對接OLTP(事務處理)和OLAP(報表分析)的需求,強調數據業務化的能力。

08、數據中台的建設步驟

 

 

第一,組織架構升級。比如以前負責數據的部門或團隊往往缺乏話語權,面對業務需求往往是被動的接受的角色,這讓一切數據中台的想法化為泡影,需要為數據中台團隊授權。

第二,工作方式的改變。現在很多企業的數據團隊的主要工作內容就是項目管理、需求管理等等,當一個項目完成後又投入到下一個項目,做好一個需求後又開始負責下一個需求,這樣的工作確實非常鍛煉人的組織、協調能力,但這樣能力的提升與工作時間的長短並不是呈線性增長的,雖然增加了項目和需求管理經驗,但並不能在某一個專業領域得到知識和經驗的沉澱,隨著時間的流逝,越來越多的人會失去最初的工作積極性和創造性,事實上,數據人員只有深入的研究業務、數據和模型,端到端的去實踐,打造出數據中台,才是最大的價值創造,才能使得持續創新成為可能

第三,角色的轉換。數據中台的團隊要從傳統的支撐角色逐步向運營轉變,不僅在數據上,在業務上也要努力趕超業務人員,中台人員要逐步建立起對于業務的話語權,不僅僅是接受需求的角色,更要能提出合理的建議,能為業務帶來新的增長點,比如數據驅動營銷。

第四,適合企業特點。好的中台是當你深入了解業務、產品、系統、組織,而且不僅了解今天在哪里,還要了解過去是怎麼演變而來,未來又會怎麼演化。只有當了解所有的東西之後,才能做出較好的中台架構設計。

09、阿里中台建設方法論

 

 

中台建設的基礎協議

就是要根據我們對商業的理解,把一些基礎協議梳理出來。例如什麼是業務?什麼是業務身份?各個業務領域的邊界是什麼?每個領域提供的基礎服務是什麼?再在這些思想的指導下去建立業務平台化的實施標準和業務管控標準。

中台的基礎設施︰中心化控制單元

就是運營平台,它主要由協議標準、能力地圖、業務需求結構分解、全局業務身份、業務全景圖、業務度量等構成。能讓我們有一個地方縱觀全局,把控細節。

10、阿里的組織中台︰數據中台的組織保證

 

 

亞當斯密出版了《國富論》,與此同時,瓦特改良了蒸汽機,社會大分工理論與工業革命相生相伴,在人類文明史上寫下了濃墨重彩的一筆。

金字塔式的科層制,伴隨著工業文明成為組織的核心底層邏輯,在強調秩序和大規模高效率生產的工業時代,甚至是強調如臂使指的軍隊組織,科層制(官僚制)是保證自上而下的命令得到有力執行的高效組織架構。

隨著互聯網時代的到來,消費者的需求被極大釋放,工業時代的大規模生產方式受到了挑戰,轉而向“大規模定制”的生產方式轉型,傳統的科層制是建立在大規模生產基礎上的,因此也面臨組織模式轉換,向扁平化、自組織的方式轉變。

而中台建設真正困難的是組織上的重構,這往往是大家有意無意避而不談的。

中台戰略的成功、能否實現技術架構與組織架構的匹配,是一道繞不過去、但必須要邁過的門檻。從阿里成立共享事業部,海爾的人單合一、職能並聯,到近期大家關注的騰訊的組織架構重構都是這些企業在這方面做出的努力。

11、本文要點小結

1、阿里數據中台全景圖。阿里數據中台在架構的組成上,呈現了一個“四橫三縱”的結構,底層的基礎設施來自于阿里雲平台。

2、阿里“雙中台”共同支撐的“大中台+小前台”架構。業務中台與數據中台相輔相成、互相支撐,一起構建起了戰場強大的後方炮火群和雷達陣。

3、阿里數據中台OneData體系。OneData體系建立的集團數據公共層,從設計、開發、部署和使用上保障了數據口徑的規範和統一,實現數據資產全鏈路管理,提供標準數據輸出。

4、數據中台PasS層Dataphin。PasS層產品Dataphin如引擎般存在,下到規劃數倉,上至輸出主題式服務。

5、Quick BI助力雲上企業數據分析。能夠賦予一線業務人員智能化的分析工具,真正的做到了“數據化運營”讓數據產生價值。

6、阿里大數據能力框架。數據中台極大的豐富和完善了阿里巴巴大數據中心,OneData、OneID、OneService漸趨成熟並成為上至CEO、下至一線員工共識的方法論體系。

7、阿里數據中台演進的四個階段。數據庫、數據倉庫、數據平台、數據中台。

8、數據中台的建設步驟。組織架構升級、工作方式的改變、角色的轉換、適合企業特點。

9、阿里中台建設方法論。中台建設和基礎協議、中心化操控單元。

10、阿里的組織中台︰數據中台的組織保證。阿里人力三支柱、公共事業部的組織架構升級。

上一篇︰全球AI教育哪家強?美國、中國、歐洲、以色列佔鰲頭 學習 Python 的 12 個方式下一篇︰

公眾平台

搜索"raincent"或掃描下面的二維碼

?