當前位置︰首頁 > 新聞資訊 > 正文

昨天講平台、今天變中台,數據中台都干了啥?2019-08-21 14:37:02 | 編輯︰hely | 查看︰ | 評論︰0

數據中台火的很讓人不解,半年前還在炒概念,現在突然就看到各個企業都在宣傳自家的數據中台了。

 

數據中台火的很讓人不解,半年前還在炒概念,現在突然就看到各個企業都在宣傳自家的數據中台了。這半年,大家熱衷于討論什麼是“數據中台”,並且還有“有一千個企業,就有一千個數據中台”的說法,但實際上企業都有“共識”,我們采訪了多家企業,想給大家一個準確的“數據中台”定義。

為解決數據煙囪而來

中國企業的大數據發展大概經歷了三個階段。

第一階段,是 2000 年之後的企業內部信息化,中國許多大型企業開啟了一波以數據庫、ERP 為主的底層 IT 建設,進行了初步的“業務數據化”建設。第二階段,是 2004 年到 2012 年,隨著 BAT 紛紛上市,互聯網經濟的崛起,讓數據思維深入各行各業,數據量慢慢壯大。第三階段是 2013 年之後,移動互聯網的發展,一些金融、零售等大型企業響應“互聯網+”概念,走向線上線下深度融合,這時數據服務的形式開始增多,業務維度更加復雜。

將數據用起來,隨時隨地分析企業情況進行精細化運營,企業需要打通老一代 ERP、數據庫等 IT 系統,同時還需要應對業務增多且快速變動的情況。而且大企業之間各部門之間的數據往往都沒有“共享”,運用不同的開發隊伍開發平台和工具的不統一,這時,數據服務往往就是一個個從各平台伸出的數據“煙囪”。

以前數據量少的時候,建數據煙囪是沒有問題的。但隨著數據越來越多,假如一個企業有數十個甚至上百個應用的時候,就會有有明顯的重復建設、資源浪費,甚至更嚴重的是因建設者不同而造成口徑標準都不一致。另一方面,數據量龐大的時候,增刪改查也會變得非常緩慢。“數據中台”就是這樣隨需求而來的概念,希望存在一個提供公共的數據服務能力的地方,大家可以從這里快速獲取這些能力,來支撐新的數據應用,且各部門都能保持一致。

袋鼠雲 CEO 拖雷說︰“數據中台可以理解為企業的最核心的數據大腦,企業全域的數據處理中心,是一種企業信息化的升級過程,從過去的煙囪式(企業信息化 1.0)升級到現在的中台式(企業信息化 2.0),1.0 時代,系統與數據都是割裂的,沒法發揮最大價值,在 2.0 時代,底層系統是共享的,微服務化的,中心化的,所有的應用,數據都采用服務化的方式來共享資源,最大化的提升靈活度與便捷性,隨著敏捷開發的普及,中台思想也帶來快速的創新。”

百分點程佳回復我們︰“數據中台是一個集數據采集、融合、治理、組織管理、智能分析為一體,將數據以服務方式提供給前台應用,以提升業務運行效率、持續促進業務創新為目標的整體平台。幫企業把數據用起來,提升決策水平是對數據中台的一個最基礎的要求。”

網易嚴選魏文慶則用了一個很形象的比喻︰“打個比方,當我一家人要吃飯,我自己買菜,在自己的廚房用普通的廚具自己做就好了,如果是富士康,幾萬幾十萬人吃飯,就需要建食材的加工配送中心 (類比數據中台)。本質上是需求規模量級的變化,導致解決方案的質變”。

數據中台和數據平台有何不同?

說起“中台”我們必會提起馬雲的 Supercell 之旅,很多人將一系列的“中台”理念解讀為因地制宜的“中國產物”,而且在國外沒有“中台”這種叫法,依然叫做“平台化”能力。

阿里的“中台”火了之後,我們突然發現已有無數家“數據中台”落地成果的企業,有些轉換完成似乎一瞬間。所以針對我們采訪的企業,每一家我們都追問了一個問題︰“從之前的大數據平台,轉變為建設數據中台,這之間企業在研發或人員上做了哪些改變?”也有企業直接告訴我們,在數據中台概念出現之前,就一直在按這種理念推進,甚至有的已經在此之前完成了相關平台的設計與實踐工作,阿里帶火中台理念後,于是就用上了這個詞。這些企業中,哪些可以被直接劃分到“數據中台”行業中?

是否有“公共模塊”是衡量企業是否有建立數據中台的其中一個標準。

帶火“中台”概念的阿里,在實施數據中台的時候,采用的是“數據中台 + 業務中台“的雙中台形式來提供公共服務。在數據中台里將數據業務化,來供業務中台調用,以快速反饋結果。阿里謝純良在接受 InfoQ 采訪時曾表示︰“以阿里電商業務為例,用戶如果想買一個手機,在下單頁面會推薦手機殼、充電寶等其他相關並估計你感興趣的產品。但值得注意的是,業務中台不知道你喜歡什麼,需要根據用戶歷史記錄去分析。如果這個數據量非常龐大,現查是非常慢的,不可能瞬間就查到結果。于是阿里把數據業務化,將用戶在歷史庫里面的一堆數據做成一序列業務模型。這時在業務中台里要查某一用戶喜歡什麼時,它立馬能調出結果並反饋,這個反饋可能是毫秒級。這是數據中台最大的魅力。”

數瀾科技創始合伙人 &CDO 付登坡(天湛)表示數據中台是讓數據用起來的持續的一套機制,通過建立一套能共享服務的體系,基于數據運營機制形成的閉環路徑,經過業務數據化、數據資產化、資產服務化、服務業務化,在有權限管理的情況下開放出去,把可以復用的能力放在一起,用統一標準和口徑,向前台業務部門和決策部門以 API 的方式提供數據和計算服務。比如說數瀾為這套機制建立的數棲平台就是一套提供公共服務的“模塊”,數棲平台的目標定位就是為了讓數據能夠更方便的使用,再加上一套方法論和運營機制,就是在建立數據中台。“數瀾推動實施項目,有很多是盡量去復用已有的這個平台,但是會增加一些東西,比如說數據的管理,標簽的管理,服務…”。

數據中台強調的是一種復用能力。很多企業的願景都是“將數據用起來”,這也是數據平台這些企業基礎設施的定位目標,如果再加上一些復用方法論和完善的運營機制,那麼可我們就可以認為企業是在建設“數據中台”。使用數據中台的最明顯的效果就是提升開發效率,使用封裝好的工具平台,降低開發難度,數據分析的速度會大大提高。

數據中台和數據平台的關系

魏文慶給我們的解釋說,網易嚴選的定義是“數據中台是高質量、高效賦能數據前台的一系列數據系統和數據服務的組合”,無論是數據中台、業務總台、技術中台,核心都是“標準化”,實現流程都是先“規範化”,然後把規範“產品化工具化”。** 數據中台要通過“數據中台系統”(包含數倉體系、數據服務集和 BI 平台)**進行表達,打破數據管理經驗化的思維,用標準化、工具化來做數據。但中台本身是業務相關的,價值是要數據產品對外輸出,需要通過數據產品(前台)和數據中台相輔相成進行發展。而數據平台是業務無關的,為數據中台提供存儲、計算能力。

以前我們有各種數據治理的概念,達到制定數據政策、促進數據在組織內無障礙共享的目標,還有各種精準營銷、風控等企業業務,數據中台與它們在技術上是否有本質上的區別?數瀾天湛回答說︰“技術上差別不大,主要是業務上前者多數更為垂直,用一部分的數據解決一個部門的業務的某一個痛點。比如說業務中台的目標是理論上是對業務的一些資源共享,那麼數據中台就是為了數據資源共享,如果應用過于垂直,可能就達不到中台的一個定義。所以它們最大的差別在于數據打通層面的範圍大小,和存在這種數據資源共享的理念。”

數據中台的實現形式

袋鼠雲拖雷在回復我們的構建方法問題時說道︰“數據中台的構建並不復雜,你可以先構建業務中台,再構建數據中台,也可以直接構建數據中台(類似構建數據倉庫)。主要的目的是把企業全域的數據放在一起,統一的加工處理,是一個面向未來的分布式,服務化的架構。”

阿里謝純良在我們之前的采訪中曾說,如果企業沒有業務中台、只有數據中台,那它加工的結果大部分是服務于大屏,就搞一個大屏就結束了,那麼這個數據中台就跟阿里理解的數據中台差的還遠。

我們看一下阿里的中台,包括業務中台,數據中台。最底層是 IaaS+Data,中間是我們說的雙中台,PaaS 層。上層是應用,SaaS,號稱小前台。

 

 

數據中台的層次

一個完整的數據平台至少應該包含三層,即大數據計算平台、數據中台、數據應用前台。

中台的定位是用技術鏈接計算平台的數據處理能力,用數據鏈接應用前台的數據應用能力。因此,中台不但要將很復雜的大數據處理技術(流計算、批量計算、實時采集、離線采集、機器學習)封裝起來,形成計算平台;同時,進入中台的數據都需按照規範的建模方法論將數據形成主題域模型、形成標簽模型或者算法模型。這些數據模型是數據中台的核心資產。接入數據中台的各業務系統通過大數據計算平台這座數據加工廠統一加工後產生數據模型,再將這些數據資產通過可視化的界面管理起來,並使用標準化的數據服務接口對數據應用端提供數據應用服務。

下圖為一個比較典型的企業數據平台全景圖︰

 

 

來自雲徙科技

雙中台的互相作用

雲徙科技在構建數據中台的時候同樣建立了雙中台架構,雲徙科技聯合創始人兼首席架構師陳新宇解釋了雙中台之間如何互相作用的︰

數據中台與業務中台並稱數字中台。其中,業務中台是負責支撐業務在線,將企業業務系統中通用的業務能力抽象成領域中心,使得這部分能力得到最大化的復用,支撐多端訪問、多種類似的場景。數據中台是采用大數據存儲和處理技術,對海量數據根據統一標準進行采集、計算、存儲、加工處理,形成數據模型和數據資產,並通過數據服務提供給業務方使用。數據中台與業務中台最大的區別是業務中台圍繞業務流程,而數據中台一切以數據為主題進行運轉,包含數據采集、數據融合、數據建模、數據聚合分析、數據服務、數據資產治理;總之,前者旨在讓業務數據化,後者旨在讓數據業務化。

一個比較完善的業務中台幾乎囊括了企業的核心業務,因此,業務中台是數據中台的數據原材料提供者之一;業務中台的領域中心是天然的主數據中心。因此,業務中台輸出的數據更加標準、更加規範,大大降低數據中台的數據清洗工作;同時,數據中台經過數據建模形成的數據能力,必須與業務結合才能發揮其價值,那麼業務中台就是讓數據能力發揮價值的最合適的載體。通俗的說,如果將企業的信息化系統比喻成一輛自行車,那麼業務中台和數據中台就是自行車的兩個輪子,兩個輪子通過數據這跟“鏈條”緊密聯系,發揮價值,離開哪一個輪子,信息化系統這輛自行車都無法正常行駛。再舉一個例子,業務中台是炮火,數據中台是雷達。雷達分析的數據來源是業務中台,分析結果通過業務中台對業務產生反饋,從而采取業務活動,才是一切業務數據化,一切數據業務化。業務中台和數據中台是由于采用的技術手段不同而產生了相對隔離,但從業務的角度,他們是一體的,一起為企業業務服務的。

數瀾天湛給我們解釋,目前業界現狀是雙中台,數據在數據中台中變成一種數據服務,在業務中台里去使用,未來可能會模糊化業務中台跟數據中台。因為數據服務的使用會變成一個常態,大家覺得很自然的可以使用數據能力。那時業務中台跟數據中台,可能邊界就會模糊,就變成一個中台和一個前台,前台是各種業務的觸點,中台是公共能力。

構建數據中台需要的能力

一位前阿里技術專家曾跟我們聊到說,一個淘寶網,可以有一千萬家店,企業里有很多的公共的資源可以通過中台共享,但阿里內部以前它叫“企業互聯網架構”,但因為中台這個詞火了,不得已就用“中台”來代替了。那麼數據中台的出現,是不是還是在考驗“架構”的設計和系統工程能力?如果一開始,架構做的好,是不是這些問題會隨著架構設計而被解決呢?

袋鼠雲拖雷回答說︰“數據中台是一種理念,一種思維,是架構的升級,是一種面向未來的架構。”

數瀾天湛表示︰“肯定是一種架構能力。數據中台本身是一套非常復雜的體系,平台工具本身架構設計能力要求也非常高。但也不僅僅是架構,也不僅僅是產品,架構師和產品經理都推動不了,數據中台是一個頂層戰略,數據中台涉及業務運轉方式的改變,必須有足夠的推力才能啟動。是企業的一把手工程,是一個企業級戰略,需要管理層、業務團隊、技術團隊、數據團隊全部參與進來,目標是實現經營的數據化、精細化,實現企業的數字化轉型。數據科學團隊是數據中台的深入參與者,但也僅僅是多個角色的其中一個。”

中台建設需要有全員共識,由管理層從上往下推進,由技術和業務人員去執行和落地,是個漫長的過程,所以實施數據中台時,最困難的地方就是需要推動力。比如在中國有各種“數據牆”,大家都覺得數據有價值,也沒有發揮這個價值,但是對數據又保護的很緊。為了解決某一塊的業務,需要去拿多個部門的數據,有時甚至涉及到幾十個部門,最初可能馬上得到口頭上的應允,但最後真正拿到數據卻很困難,這時候推動力決定了整個項目的進展。天湛表示這通常就是數據中台項目實施中涉及到的最大的坑。

實施數據中台,在團隊人員建設上,對數據科學平台團隊的要求和原來並沒有什麼不同,袋鼠雲拖雷回復我們,“只是體系架構的變化,思維的變化,隨著服務化與敏捷模式的普及,創新會變得越來越快“。

避不開的數據中台

就像我們前面所說的,數據中台最重要的是要“幫企業把數據用起來,提升決策水平”,是一種數據思維。那麼每一個企業都應該有這種思維,重視信息化技術,讓數據發揮價值。不單單是因為業務復雜、數據量大、需要數字化轉型的原因,是從業務開始就應該具備的一種理念。袋鼠雲拖雷也說︰“未來任何企業都是必須的,未來任何一家企業都是數據化的企業,都需要一個數據中台”。

上一篇︰銀行數字化轉型的過程與挑戰 大數據分析是醫療保健領域的顛覆者下一篇︰

公眾平台

搜索"raincent"或掃描下面的二維碼

?