企業的數據民主化之旅，從改善資料基礎建設開始

除了自動化作業流程以及數位化顧客服務，建立數據民主化 (data democracy)及數據驅動決策 (data-driven decision making) 的文化，也是企業進行數位轉型時的一大目標。但與前兩者相比，如何形塑從上到下皆擁有數據思維的企業文化，是異常困難：不少企業儘管已經成立了資料團隊、建構了資料中台、打造了 ETL 資料流水線，業務團隊對於資料的需求也源源不絕，但資料對於決策的影響力卻始終未見顯著成效。

為了減少企業組織在資料民主化道路上的阻礙，哈佛商業評論於去年 11 月發表了一篇文章，列出了數據導向文化的組織的五個重要因素，可以歸納成三大方向：

1. 工具：要讓所有員工都能更方便地取得資料，並能自行進行資料分析。

2. 教育：要教育員工，讓他們具備資料素養，讓員工正確解讀資料所傳遞的資訊。

3. 氛圍：要透過不同的活動以及管道形塑重視「資料思維」的氛圍。

Generated by Glibatree Art Designer

本文將會針對「工具」進行介紹，拆解其需要具備哪些功能，才能打破現今資料的影響力瓶頸，讓所有員工都更方便地取得資料並進行探索。

還沒完全自動化的資料團隊作業流程

「業務團隊的資料需求，時常需要透過資料分析師、資料工程師或是資料科學家親自寫程式碼才能取得對應的資料。」不論企業是否已經搭設資料中台或是資料倉儲等基礎建設，上述的作業流程對業務團隊或是對資料團隊來說肯定都不陌生。

這些資料需求很多時候只是將同一組資料集，針對不同的觀眾進行不同的分群或是視覺化，符合當下所需要的敘述邏輯，如：

• 主管對老闆一次性地簡報使用，

• 業務針對客戶說明的分析報告等等。

• 同仁的 OKR 報告等等。

也有些時候，這些需求不太屬於分析的範疇，需求之間的性質甚至相當接近，如：

• 顧客清單。

• 最近 30 天消費超過 1000 元的顧客清單。

• 最近 30 天點擊過 A 產品頁面的顧客清單等等。

雖然從形式上來說，提出需求的人最終還是能取得資料，但這樣的流程使得資料團隊成為了資料取得的瓶頸，業務部門也需要耗費等待的時間，才能取得資料。碎片化資料需求儼然已成為企業要推動數據決策文化時不可忽視的障礙。

那麽，又該如何解決大量的碎片化資料需求呢？

打造自助式分析工具

「 使用者應該要能透過已經建立好的資料模型以及指標層自行滿足 96 % 的需求」這一句話摘述自 Microsft 商業智慧資深專案經理 Alex Dupler ，也可以從中看出該如何打造自助式分析工具的端倪：

• 建立良好的資料模型: 資料模型是簡化並模擬企業本身的商業流程，而非一次次資料需求的雜燴，如此才能提供足夠的彈性讓使用者自行完成多數分析。

  
  

• 指標層：業務單位進行分析時，事實上是指標思維，而不是表格思維。因此在打造自助式分析工具時，應該將指標當作最小元件讓商業使用者排列組合，而不是讓使用者從表格裡加減乘除找出想要的數字。

除了打造出一致、有彈性的指標計算邏輯，為了「讓所有員工都能更方便地取得資料，並進行自助分析」還需要適合商業使用者的視覺化介面。因此組織文化不同，適合採用的工具就會不盡相同，例如：

• 在科技新創，大部分的使用者都懂一些簡單的 SQL ，加上 SQL 並不難學， 圖形化的 SQL 操作工具就是很好的選擇。

• 台灣多數的企業，都是 Microsoft 的愛用者，PowerBI 以及 Excel 就很有可能是現行很好的工具。

資料基礎建設與資料團隊的未來

為了打造自助式分析工具，資料基礎建設除了傳統的資料管線、資料倉儲、資料治理或是資料整合等議題外，也需要加入新的元素，例如：

• 語義層 (Semantic Layer) / 指標層 (Metrics Layer)：提供一致的指標運算邏輯，是視覺化工具跟資料倉儲中的資料模型溝通的橋樑，通常會以 API 的形式供應給不同的下游應用。

• 資料目錄 (Data Catalogue)：集中、即時且完整的文件，讓商業使用者能了解指標定義、資料目前的品質以及更新狀況等等，增加使用者對資料的信任並避免資料誤用。

而除了導入上述工具以外，資料團隊更需要意識到新的思維以及工作流程，比方說：

• 當資料團隊接收到碎片化需求時，是慣性地馬上去撈取相應的資料，只著重在解決當下需求，還是能意識到，自己的任務其實是在建立資料產品 / 資料平台，進而來回溝通以理解業務單位的商業模式以及脈絡。

• 實務中，資料建模以及資料管線經常是由資料工程師進行，但從經驗來看，資料工程師通常缺少如何量化商業表現的場域知識 (Domain Knowledge)，做出來的資料建模若直接開放給業務部門，也會過於複雜而難以使用，導致最後又回過頭來請資料分析師協助。此時便需要變更團隊配置，建立資料管線的人應該具備理解商業知識的能力，才能打造出符合業務需求的資料模型，國外新興的職位 Analytics Enginner 便是如此因應而生。

當 96% 的資料需求都能由業務部門自助完成時，資料工程師才能有更多時間去完善基礎建設、開發更多型態的資料工具，讓資料平台的體驗更加友善；資料分析師以及資料科學家才有餘裕找出真正的商業洞見、建出能落地的機器學習模型，讓每個商業決策都有數據支援。

利用現代數據棧 (MDS) ，替資料基礎建設「都更」。

數位轉型的概念從 2016 年開始就已經廣為人知，現在不少企業都已經有了自己的資料團隊以及資料基礎建設。但也因爲新團隊的加入，許多工作流程都還處在摸索的階段。現代數據棧是一個工具集錦，是國外資料團隊經驗與智慧的結晶，它改善了以往資料工作團隊的作業流程，讓資料變成資訊的過程更為順暢、彈性並且透明。

如果資料團隊發現：

• 自己彷彿是 SQL ATM，工作時程被無止盡的破碎資料需求排滿。

• 雖然有資料中台或是資料基礎建設了，但新資料源的整合異常艱辛、緩慢。

• 業務單位經常反映數據不一致，對資料信任度極低。

現代數據棧提供的知識、框架以及工具，便是為了解決這些問題而生。適當地運用這些工具，重新打造資料棧或是改善已經建構好的資料中台，都能讓企業在推動數據驅動決策的道路上走得更加順利。