「什麼是大數據?」、「跟我有什麼關係?」很多人第一次聽到大數據,心中一定會有這樣的疑問。
麥爾‧荀伯格6月中旬風塵僕僕來台,在千餘名想了解未來趨勢的觀眾面前,做了一場精彩易懂的演說,告訴了台灣企業及民眾,什麼是大數據。
大數據找出相關性,精準預測H1N1 流感
2009 年,全球出現一種新的流感病毒H1N1,當時美國也無法倖免,疾病管制局(CDC)要求第一線的醫師遇到H1N1 流感病例,必須立刻通報。即使如此,通報速度仍總是慢一步,會晚1 到2 個星期。這樣的時效讓疾管局無法掌握真實情況,對症下藥。
當時有幾位Google 工程師在著名的《自然》科學期刊中發表了一篇論文。他們透過美國最常使用的前5000 萬個搜尋關鍵字,再與疾管局2003-2008 年間的流感傳播資料加以比對,用高達4.5 億種不同的數學模型,找出這些字出現的頻率、時間及地點,有沒有統計上的相關性(correlation)。最後被他們挖到寶了,這套軟體找出了45 個流感關鍵字眼,放進數學模型之後,預測結果與官方公布的真實資料符合,有強烈的相關性。
Google 運用這套數學模型,再一次精準的掌握了流感發生的高峰及地區,讓防疫工作同步進行,不落後。
「 量變」產生「質變」,一張馬畫變成一部24 格動畫
再說另一例子,天文學來說,美國太空總署執行一項叫史隆數位巡天計畫(Sloan Digital Sky Survey),從2000 年開始,他們用位在美國新墨西哥州的天文望遠鏡去收集資料,計畫開始不過幾星期,收到的天文資料量就已超過了過去所有天文學歷史的總和。到了2010 年,這個計畫收到了140TB 的資料量。但是接續的新計畫,預計2016 年登場,未來的巡天望遠鏡在5天內,就可收到這些資料量。
荀伯格說,當資料進入天文數字時代,荀伯格提醒:到底大數據有多大?其實不是那麼重要,重點是在放大,擴大資料量等級,就能做出少量資料做不到的事。
舉例來說,畫一張馬的圖畫,不是太難的事,但如果畫了很多張馬的圖畫,再以每秒24 個影格來呈現這些圖畫,就成了動畫。這裡要強調的是「量變」產生了「質變」,巨量就是這個道理,量的不同,也改變了本質。
what 比why 重要,Farecast 判斷機票漲跌
量增加了,就出現另一項大數據的特色:亂(messy)。巨量資料的內容常是混亂不齊,品質不一。這是因為,巨量資料的收集過程中,它只要一個大方向即可,不需要講究到一寸、一分。「這並不是說我們放棄了精準這件事,只是不再將精準奉為圭臬,」荀伯格說。
舉例來說,我們要測量某個葡萄園的溫度,如果整片葡萄園只有一支溫度計,那這支溫度計就要十分精準,不能故障,但也意味著它會很貴。換句話說,就是不能有任何雜亂或出錯;相反的,如果我們今天在葡萄園裡放了100 支的溫度計去測溫度,不但可以便宜一些,簡單的溫度計,就可以測出很精準的溫度。
100 支溫度計代表的是量大,儘管其中幾支可能不那麼精準,但卻可以收集到大量數據。比起只靠一支溫度計來說,更可看到全貌,代表全體。那此時,一點雜亂就顯得微不足道。
重點又來了,荀伯格忽然站起來向所有在場的觀眾說,大數據時代,資料數量比資料品質更重要。更不要為了一點點資訊的偏差而影響了整體分析,想處理掉不精準的資訊,成本會很高,也沒有必要!
另一個有趣的例子是沃爾瑪(Walmart),他們從龐大的交易紀錄上發現,在颶風來襲前,銷量大增的不只是手電筒,還有一種美國小甜點Top-Tarts,店家會在每次颶風來臨前,把一盒一盒的Top-Tarts放在風災的必需品架上,方便急忙的顧客一次滿足,「特別是草莓口味的,賣得最好。」
請注意,這裡Walmart不去弄清楚為什麼颶風時人們特別想吃Top-Tarts,而是把這個相關性找出來,直接採取更有利的行銷動作。
荀伯格特別強調,大數據時代,what比why重要。
再舉一個例子,發生在他朋友,也是大數據專家,任教於華盛頓大學的教授伊茲奧尼(Oren Etzioni)身上。2003年時他想從西雅圖塔機到洛杉磯參加弟弟的婚禮,他想愈早訂票愈能買到便宜,幾個月前他就買好了機票,也覺得買得很便宜。沒想到他在航程中,出於好奇問了隔壁乘客買多少錢,何時買的。結果,一問之下,都回答最近才買,且都比他買得便宜,他十分生氣。
下了飛機後,他決定去好好研究一下購買機票這件事。他發現,如果平均票價呈現下跌,買票就可以慢慢來;如果價格上揚中,你就要先訂票,以免它水漲船高。
伊茲奧尼花了41天的時間去比對一旅遊網站中超過1萬2000筆的票價資料,他建立了一個模型,讓模擬的消費者都省下了大筆的機票錢。在這模型裡,消費者不懂「為什麼(why)」,只知道「正是如此(what)」,消費者要決定現在是「買或是不買」。
後來這套模型發展出創業計畫,他創了一個Farecast網站,消費者可以做出最佳判斷,何時該買,還是不買。
大數據是要創造價值
當我們知道了大數據的特性,也找到了相關性,接下來就是靠著它創造出價值來。
美國西雅圖有一家專門收集車輛即時定位的資料公司Inrix,它的資料來自上億台的車輛。同時,它也推出手機App服務,透過提供服務換取特定的司機資料,包括他們曾開車去的地方、天氣及路況等。他們將收到的資料再出售給一家投資基金,該基金根據大型零售商場附近的路況推測業績,在零售商公布季報前,搶先決定該買入或賣出。因為車潮就是錢潮。這就是價值。
英國的勞斯萊斯是著名的飛機引擎製造商,它透過在引擎上安裝了一個監控器,以掌控引擎是否正常運轉。結果隨著他們收集到的資料中發現,當引擎出現哪些訊號異常,引擎可能會發生問題,這個監控變成了預測,大大減少飛安事故。勞斯萊斯從過去單單的製造引擎公司,轉型為服務諮詢,他們讓數據產生出價值。
大數據有其黑暗面
荀伯格說了許多大數據的美好,但他強調,大數據有其黑暗面:隱私當然是一個該關注的焦點,但他強調,更可怕的是各種演算法,去預測是不是會患心臟病?或你是否會犯罪等。有時,依靠大數據做出的演算與預測,如果與自由意志不符時,孰輕孰重?
同時,我們也擔心資料被少數人獨裁化,不論是政府或企業,愈來愈多的企業會掌握更多資料,但如此龐大的資料為他們所收集,拿去做了什麼?什麼用途?不一定能受到監督與管理,這是重要議題。
「巨量資料是為人類所掌控,而不是被巨量資料所掌控,」這是荀伯格最後的提醒。