:::

產業技術評析

形塑Data DNA,從大數據挖掘商機
發表日期:2015-09-16
作者:崔聖如 (工研院IEK)
摘要:
近年大數據這個名詞紅於全球,不管是企業界、學術界,甚至政府單位都期望透過Big Data改善效率、搶得先機。然而,巨量資料應用若只看技術層面的問題,較難發揮...

全文:
近年大數據這個名詞紅於全球,不管是企業界、學術界,甚至政府單位都期望透過Big Data改善效率、搶得先機。然而,巨量資料應用若只看技術層面的問題,較難發揮其價值,本文從各面向切入,探討在數據思維、分析價值、跨領域人才、至企業文化等構面,如何協助組織形塑Big Data DNA,從大數據挖掘商機。

 

擁抱巨量數據新思維

 

 

在人類生活和工作各層面,處處都在應用數據分析的概念,小至哪種顏色的商品比較受人歡迎?大至人口普查、下一季農作物產量的預測等,統計概念深深影響我們的生活型態。過去,由於蒐集、儲存和分析資料的工具有限,只能用少量的抽樣數據,經由嚴謹的假設和統計方法,去解釋原本母體的意義。現在,由於處理資料的技術和工具日益進步,我們不一定只受限於某部分採集到的樣本,而是可以透過分析完整的資料集,了解整體趨勢和預測未來,甚至發現意想不到的重要關係。

 

 

巨量資料改變我們探索世界的方式,甚至在幾分鐘的時間內,就可以翻轉我們對事物的看法。以往的統計學概念,總是先建構一個假設模型,再導入數據驗證結果,透過因果關係去解釋看見的現象,但在巨量資料世界中,討論與應用更多的是”相關性”。相關性的概念不是因為有A才會有B的發生,而是這些因素有相互影響的關係,甚至原本看似毫不相干的因子,也可能在當中扮演重要的角色。例如Twitter分析社群輿論,發現民眾討論米價的訊息產生量,與實際糧食與燃油價格漲跌有正相關性;Meteolytix整合外部天氣數據,協助零售業者預測未來銷售數量;甚或是運用跨國匯款交易資訊來預測各國GDP等,種種在傳統統計世界不可能相連的因子,在巨量資料的時代中皆可能充分的應用與展開。

 

 

資料到底有甚麼價值?

 

 

以往在談Big Data,不外乎提到四V:Volume大量、Velocity即時性、Variety多樣化和Veracity真實性,背後皆有重要的技術議題,例如硬體儲存技術、資料庫系統管理、數據處理與傳輸效率、結構和非結構化數據整合、資料視覺化等,這些議題都需要多方技術廠商提供解決方案。然而較少人談到第五個V-Value價值,為什麼要分析資料? 希望達到甚麼目的? 掌握產業資料應用的價值,為相當重要的關鍵思維,甚至是引導整個大數據計畫成功的關鍵。

 

 

巨量資料應用目的可分為兩個面向,一為提升內部營運效率,二為開創新興商機。以目前產生較大規模數據的應用領域,如智慧製造、智慧商務等,企業多以提升業務效率、降低營運成本為目標,大部分採用的資料為內部數據,系統需符合內部應用、有高度客制化之需求,計畫執行通常需有較高層級支持,從上而下推動巨量資料專案。例如以先進製造為主的德國,預計在五年內將有八成製造業者導入數位化的聯網系統,透過感測裝置、數據應用,企業本身預估將提升18%的營運效率、每年降低2.6%的製造成本,將近有九成的廠商認為數據整合與分析為企業導入系統的核心能力。

 

 

開創新興商機,則多善用大量外部數據,透過資料授權、資料加值等模式,與第三方單位建立互惠的合作關係,開創新的營收來源。例如Qlik收購Datamarket後,即推出數據即服務(Data as a Service)的雲端應用平台,提供簡易串接與分析的數據服務,奠基於Datamarket多年累積的資料庫,客戶可購買或訂閱所需的外部數據,包括天氣、經濟指數、貨幣匯率等,整合企業內部數據,協助企業擬定未來商業策略,至今已超過200家數據提供商和100,000以上的資料集。資料生態體系有趣的地方是,當有越多廠商或機構加入提供資料或購買資料的生態鏈中,其產生的共享價值與綜效將會飛速成長,衍生的新型商業模式也將呈現更多樣化的面貌。

 

 

上述之兩大面向,不一定為單一企業的應用方向,可能同時存在於一家公司,透過不同的應用領域和數據形態,發展不同策略的計畫專案。關鍵在於,企業本身需對資料應用有清楚的目標與認知,透過內部培育和外部資源,展開符合目標需求之專案規劃。此外,在巨量資料時代,許多商機是企業未曾想見的,企業應多鼓勵從下而上的創新應用構想,在不斷嘗試中找到資料應用的價值。(如表一)
 
表1  巨量資料計畫應用價值面向
價值面向 提升業務效率 開創新興商機
資料應用導向
  • 以內部數據應用為主
  • 應用領域知識為導入重要關鍵
  • 系統有客製化需求,需符合內部業務應用
  • 通常需要從上而下支持巨量資料計畫,成立專案小組負責內部業務需求
  • 以外部數據應用為主
  • 專業分析技術人員、外部合作策略夥伴為重要關鍵
  • 應用多樣化、高度彈性分析工具
  • 多鼓勵從下而上的創新計劃和構想
應用廠商案例 Walmart, Amazon, Alibaba, Bosch, GE, Envision
twitter, facebook, nest, healthKit, Qlik
資料來源:工研院IEK(2015/09)
 
資料供應鏈的協同合作
 
資料分析應用可分為幾個階段,從數據蒐集、傳輸、儲存、運算至應用,每階段皆有不同的導入邏輯,整體供應鏈也需有多方廠商支援與合作。數據來源包含行動裝置、各個感測設備、社群媒體、影音圖資等各種結構化與非結構化資訊,經由通訊設備傳輸到系統進行處理。在儲存端,以往企業慣於把數據存在內部資料庫當中,需要時再進行批次運算,較為耗時且費用較高。然而在巨量資料領域中,兼具橫向擴充和高度彈性的雲端分散式檔案系統(Distributed File System),將大量數據分割成數個檔案以同時進行存取與備份,並在儲存結點上進行資料分析,為重要的技術趨勢。例如現今被各組織廣為採用的開放軟體Apache Hadoop,為能夠儲存並處理大量資料的雲端平台,同時解決資料備份、系統擴張和分析等問題,大量節省企業資料處理的時間和成本。此外,許多新興資料分析工具,如Spark、Mahout等,具備高度效能與彈性,使企業應用大數據有更佳的掌握度。
 
再者,資料視覺化(Data Visualization)也為重要的表現形式,如國外廠商Tableau、QlikView等提供資料視覺化軟體,讓不同背景的人可以互相溝通,共同達到目的,為資料應用重要的一環。最後以資料分析成果趨動商業決策,較常見的如個人化搜尋與推薦、顧客洞察、製造排程優化等,針對各領域的產業知識加值應用,提升企業經營效能,為數據應用的最後一里路(如圖一)。整體資料鏈,需要各階段的人才協同合作,不只是一味追求技術的領先,而是需在過程中不斷檢視採用的解決方案是否真正符合計畫需求。
 
圖一、整體資料供應鏈
資料來源:工研院IEK(2015/09)
圖一、整體資料供應鏈
 
兼具產業知識與技術的巨量資料人才
 
《哈佛商業評論》將”數據科學家Data Scientist”喻為「21 世紀最性感的職業」,到底什麼是數據科學家? 和資料分析師有甚麼不同? 從最基本的程式語言如R、Python、資料庫查詢工具、統計學軟體,至機器學習(Machine Learning)、數據探勘(Data Mining)、數據視覺化(Data Visualization)、模型建置開發等,根據企業需求和資料流量,各專案需要不同處理資料的人才。簡單而言,資料分析師主要為處理資料蒐集、資料清洗、分析,並就成果提出商業決策建議;而數據科學家更需具備程式開發的能力,設計統計模型優化產出效益,兩者的專長和能力各有不同,企業需就本身需求延攬適用的人才。
 
然而,一個好的資料分析師不僅專注資料本身,也需掌握產業領域的知識。以智慧零售為例,廠商可透過數據優化內部業務流程,包括進貨存貨、訂價策略、商品銷售預測、退換貨數據等,降低內部營運成本;亦可積極地掌握消費者行為,從消費者首次接觸商品資訊、瀏覽、下單、售後服務,加上社群、媒體和行動數據分析,達到精準推薦、提升商品轉化率,資料分析人才需對垂直應用領域的知識有一定程度的了解,才能對數據價值有更高的掌握度。以一家願意投入資料分析的廠商,可考慮延攬外部人才,但需花成本訓練產業領域知識的深度;或者先期透過外部資源支持專案,再慢慢培養內部人才技術應用能力,也為企業可思考的人才策略。
 
McKinsey預測至2018年,全美將面臨14至19萬的資料專業人才短缺,各國組織也正積極地培養資料分析人才,面臨如此重要的人才培育議題,台灣必須更加緊腳步趕上全球趨勢。雖然目前整體軟體資源較為薄弱,但在短期仍可透過國際專業顧問,以外部資源挹注國內企業資訊應用能力;而長期則需從學研單位推動,資助巨量資料技術開發和培養專業人才,逐步補足國內軟體和資料應用能力。
 
勇敢創新,接受資料的不完美
 
不管是學界、業界或政府單位,透過數據分析,可加快工作和業務效率,甚至可以開創新興商機,但我們都必須了解的是,就算巨量資料如此厲害,也需要接受它的不完美。巨量資料應用不比硬體製造,產出實體產品、送貨賣出、獲得利潤,整個流程可實際掌握;在數據分析時代,資料的應用和價值時常存在於無形當中,投入後的成果可能不如想像,甚至在近期內看不見效益,這都是投入資料分析專案所需有的心裡建設。
 
現正台灣的產官學研界,無人不談巨量資料應用,大家也都明白資料的掌握程度將會影響組織的營運與發展方向,然而是否有足夠的資源和能力執行巨量資料分析、組織文化是否支持專案進行、甚至接受失敗,這些都是ㄧ項巨量資料計畫能否成功的關鍵因素。大型企業已有本身的資料規模,可透過以往累積的數據試行分析專案;而中小型廠商雖然資源較少,但可透過組織的創新與彈性,與外部單位合作共同推動資料加值應用,也未嘗不可一試。而政府單位長期以來累積的大量資料,攸關人民生活福祉,更應該大刀闊斧勇於嘗試,引領幾項對政策推動有影響力的計畫,在全球政府資料應用上佔有一席之地。
 
Big Data美麗動人、卻又高深莫測,如何勇敢嘗試創新,並勇於接受數據的真實面貌,是在巨量資料世代當中最重要但也最難學的課題。
 
(本文作者為工研院IEK ITIS計畫產業分析師)

 


* 點閱數4183
更新日期:2020-04-08

回上一頁 回首頁