:::
產業技術評析
形塑Data DNA，從大數據挖掘商機
發表日期：2015-09-16
作者：崔聖如 (工研院IEK)
摘要：
近年大數據這個名詞紅於全球，不管是企業界、學術界，甚至政府單位都期望透過Big Data改善效率、搶得先機。然而，巨量資料應用若只看技術層面的問題，較難發揮...
全文：
近年大數據這個名詞紅於全球，不管是企業界、學術界，甚至政府單位都期望透過Big Data改善效率、搶得先機。然而，巨量資料應用若只看技術層面的問題，較難發揮其價值，本文從各面向切入，探討在數據思維、分析價值、跨領域人才、至企業文化等構面，如何協助組織形塑Big Data DNA，從大數據挖掘商機。
擁抱巨量數據新思維
在人類生活和工作各層面，處處都在應用數據分析的概念，小至哪種顏色的商品比較受人歡迎？大至人口普查、下一季農作物產量的預測等，統計概念深深影響我們的生活型態。過去，由於蒐集、儲存和分析資料的工具有限，只能用少量的抽樣數據，經由嚴謹的假設和統計方法，去解釋原本母體的意義。現在，由於處理資料的技術和工具日益進步，我們不一定只受限於某部分採集到的樣本，而是可以透過分析完整的資料集，了解整體趨勢和預測未來，甚至發現意想不到的重要關係。
巨量資料改變我們探索世界的方式，甚至在幾分鐘的時間內，就可以翻轉我們對事物的看法。以往的統計學概念，總是先建構一個假設模型，再導入數據驗證結果，透過因果關係去解釋看見的現象，但在巨量資料世界中，討論與應用更多的是”相關性”。相關性的概念不是因為有A才會有B的發生，而是這些因素有相互影響的關係，甚至原本看似毫不相干的因子，也可能在當中扮演重要的角色。例如Twitter分析社群輿論，發現民眾討論米價的訊息產生量，與實際糧食與燃油價格漲跌有正相關性；Meteolytix整合外部天氣數據，協助零售業者預測未來銷售數量；甚或是運用跨國匯款交易資訊來預測各國GDP等，種種在傳統統計世界不可能相連的因子，在巨量資料的時代中皆可能充分的應用與展開。
資料到底有甚麼價值？
以往在談Big Data，不外乎提到四V：Volume大量、Velocity即時性、Variety多樣化和Veracity真實性，背後皆有重要的技術議題，例如硬體儲存技術、資料庫系統管理、數據處理與傳輸效率、結構和非結構化數據整合、資料視覺化等，這些議題都需要多方技術廠商提供解決方案。然而較少人談到第五個V-Value價值，為什麼要分析資料? 希望達到甚麼目的? 掌握產業資料應用的價值，為相當重要的關鍵思維，甚至是引導整個大數據計畫成功的關鍵。
巨量資料應用目的可分為兩個面向，一為提升內部營運效率，二為開創新興商機。以目前產生較大規模數據的應用領域，如智慧製造、智慧商務等，企業多以提升業務效率、降低營運成本為目標，大部分採用的資料為內部數據，系統需符合內部應用、有高度客制化之需求，計畫執行通常需有較高層級支持，從上而下推動巨量資料專案。例如以先進製造為主的德國，預計在五年內將有八成製造業者導入數位化的聯網系統，透過感測裝置、數據應用，企業本身預估將提升18%的營運效率、每年降低2.6%的製造成本，將近有九成的廠商認為數據整合與分析為企業導入系統的核心能力。
開創新興商機，則多善用大量外部數據，透過資料授權、資料加值等模式，與第三方單位建立互惠的合作關係，開創新的營收來源。例如Qlik收購Datamarket後，即推出數據即服務(Data as a Service)的雲端應用平台，提供簡易串接與分析的數據服務，奠基於Datamarket多年累積的資料庫，客戶可購買或訂閱所需的外部數據，包括天氣、經濟指數、貨幣匯率等，整合企業內部數據，協助企業擬定未來商業策略，至今已超過200家數據提供商和100,000以上的資料集。資料生態體系有趣的地方是，當有越多廠商或機構加入提供資料或購買資料的生態鏈中，其產生的共享價值與綜效將會飛速成長，衍生的新型商業模式也將呈現更多樣化的面貌。
上述之兩大面向，不一定為單一企業的應用方向，可能同時存在於一家公司，透過不同的應用領域和數據形態，發展不同策略的計畫專案。關鍵在於，企業本身需對資料應用有清楚的目標與認知，透過內部培育和外部資源，展開符合目標需求之專案規劃。此外，在巨量資料時代，許多商機是企業未曾想見的，企業應多鼓勵從下而上的創新應用構想，在不斷嘗試中找到資料應用的價值。(如表一)
表1 巨量資料計畫應用價值面向
| 價值面向 |
提升業務效率 |
開創新興商機 |
| 資料應用導向 |
- 以內部數據應用為主
- 應用領域知識為導入重要關鍵
- 系統有客製化需求，需符合內部業務應用
- 通常需要從上而下支持巨量資料計畫，成立專案小組負責內部業務需求
|
- 以外部數據應用為主
- 專業分析技術人員、外部合作策略夥伴為重要關鍵
- 應用多樣化、高度彈性分析工具
- 多鼓勵從下而上的創新計劃和構想
|
| 應用廠商案例 |
 |
|
資料來源：工研院IEK(2015/09)
資料供應鏈的協同合作
資料分析應用可分為幾個階段，從數據蒐集、傳輸、儲存、運算至應用，每階段皆有不同的導入邏輯，整體供應鏈也需有多方廠商支援與合作。數據來源包含行動裝置、各個感測設備、社群媒體、影音圖資等各種結構化與非結構化資訊，經由通訊設備傳輸到系統進行處理。在儲存端，以往企業慣於把數據存在內部資料庫當中，需要時再進行批次運算，較為耗時且費用較高。然而在巨量資料領域中，兼具橫向擴充和高度彈性的雲端分散式檔案系統(Distributed File System)，將大量數據分割成數個檔案以同時進行存取與備份，並在儲存結點上進行資料分析，為重要的技術趨勢。例如現今被各組織廣為採用的開放軟體Apache Hadoop，為能夠儲存並處理大量資料的雲端平台，同時解決資料備份、系統擴張和分析等問題，大量節省企業資料處理的時間和成本。此外，許多新興資料分析工具，如Spark、Mahout等，具備高度效能與彈性，使企業應用大數據有更佳的掌握度。
再者，資料視覺化(Data Visualization)也為重要的表現形式，如國外廠商Tableau、QlikView等提供資料視覺化軟體，讓不同背景的人可以互相溝通，共同達到目的，為資料應用重要的一環。最後以資料分析成果趨動商業決策，較常見的如個人化搜尋與推薦、顧客洞察、製造排程優化等，針對各領域的產業知識加值應用，提升企業經營效能，為數據應用的最後一里路(如圖一)。整體資料鏈，需要各階段的人才協同合作，不只是一味追求技術的領先，而是需在過程中不斷檢視採用的解決方案是否真正符合計畫需求。
資料來源：工研院IEK(2015/09)
圖一、整體資料供應鏈
兼具產業知識與技術的巨量資料人才
《哈佛商業評論》將”數據科學家Data Scientist”喻為「21 世紀最性感的職業」，到底什麼是數據科學家? 和資料分析師有甚麼不同? 從最基本的程式語言如R、Python、資料庫查詢工具、統計學軟體，至機器學習(Machine Learning)、數據探勘(Data Mining)、數據視覺化(Data Visualization)、模型建置開發等，根據企業需求和資料流量，各專案需要不同處理資料的人才。簡單而言，資料分析師主要為處理資料蒐集、資料清洗、分析，並就成果提出商業決策建議；而數據科學家更需具備程式開發的能力，設計統計模型優化產出效益，兩者的專長和能力各有不同，企業需就本身需求延攬適用的人才。
然而，一個好的資料分析師不僅專注資料本身，也需掌握產業領域的知識。以智慧零售為例，廠商可透過數據優化內部業務流程，包括進貨存貨、訂價策略、商品銷售預測、退換貨數據等，降低內部營運成本；亦可積極地掌握消費者行為，從消費者首次接觸商品資訊、瀏覽、下單、售後服務，加上社群、媒體和行動數據分析，達到精準推薦、提升商品轉化率，資料分析人才需對垂直應用領域的知識有一定程度的了解，才能對數據價值有更高的掌握度。以一家願意投入資料分析的廠商，可考慮延攬外部人才，但需花成本訓練產業領域知識的深度；或者先期透過外部資源支持專案，再慢慢培養內部人才技術應用能力，也為企業可思考的人才策略。
McKinsey預測至2018年，全美將面臨14至19萬的資料專業人才短缺，各國組織也正積極地培養資料分析人才，面臨如此重要的人才培育議題，台灣必須更加緊腳步趕上全球趨勢。雖然目前整體軟體資源較為薄弱，但在短期仍可透過國際專業顧問，以外部資源挹注國內企業資訊應用能力；而長期則需從學研單位推動，資助巨量資料技術開發和培養專業人才，逐步補足國內軟體和資料應用能力。
勇敢創新，接受資料的不完美
不管是學界、業界或政府單位，透過數據分析，可加快工作和業務效率，甚至可以開創新興商機，但我們都必須了解的是，就算巨量資料如此厲害，也需要接受它的不完美。巨量資料應用不比硬體製造，產出實體產品、送貨賣出、獲得利潤，整個流程可實際掌握；在數據分析時代，資料的應用和價值時常存在於無形當中，投入後的成果可能不如想像，甚至在近期內看不見效益，這都是投入資料分析專案所需有的心裡建設。
現正台灣的產官學研界，無人不談巨量資料應用，大家也都明白資料的掌握程度將會影響組織的營運與發展方向，然而是否有足夠的資源和能力執行巨量資料分析、組織文化是否支持專案進行、甚至接受失敗，這些都是ㄧ項巨量資料計畫能否成功的關鍵因素。大型企業已有本身的資料規模，可透過以往累積的數據試行分析專案；而中小型廠商雖然資源較少，但可透過組織的創新與彈性，與外部單位合作共同推動資料加值應用，也未嘗不可一試。而政府單位長期以來累積的大量資料，攸關人民生活福祉，更應該大刀闊斧勇於嘗試，引領幾項對政策推動有影響力的計畫，在全球政府資料應用上佔有一席之地。
Big Data美麗動人、卻又高深莫測，如何勇敢嘗試創新，並勇於接受數據的真實面貌，是在巨量資料世代當中最重要但也最難學的課題。
（本文作者為工研院IEK ITIS計畫產業分析師）
點閱數：
4764
