第一個原因是,這幾年來網路與雲端興起,讓上頭的資料量暴增,第二個原因是除了內容多,種類也非常多元化。第三個則是每個人隨時渴求了解資料的速度,也以難以想像的狀況飛增。在這三個原因下,不但資料已經足夠讓電腦科學家予以運用,另一方面,許多人每天也急需要蒐集資料,了解背後代表的意義。巨量資料分析技術,就在這樣的狀況下快速興起。
主要是目前在網路上可以找到的資料,都可以從某種角度來呈現真實。而由於現在人們隨時用手機等行動工具看資料,像是檢查個股隨時上漲或下跌的資料,可能每分每秒都在變動,這些股市指數的波動,如何能在極短時間正確計算並傳達,也更加受到重視。
在巨量資料分析的運用上,如何能馬上掌握資料,了解資料,並且做出決策,的確相當重要。不過,我認為更重要的是把訊息變成知識,把知識變成決策,找出價值,才是重要的。
而巨量資料之所以在近兩年突然暴紅,並有許多企業陸續採用,有實用性。我覺得務實地說,現在電腦硬體功能強大,價格成本降低也是重點。在30年前,你要用電腦蒐集存儲資料做分析,可以花上16億美元,今天,最低只要到100美元就可搞定。
巨量資料和雲端密不可分 在桌機視窗時代,殺手級應用是Office辦公軟體,現在在雲端興起後,最大的殺手級應用將是巨量資料,計算能力將無窮大。雲端上可以儲存的資料是非常大,非常複雜,也成了巨量資料成立的基礎。不同的資料需要不同的智慧去處理。以前PC時代,處理的是或許以Gigabytes(10億位元)單位來計算的資料量,相對簡單,很多分析人員只要稍微看看資料,就會知道怎麼回事。即便,有時資料量稍微大一些,像terabytes(等於2014個Gigabytes),用商業智慧(Business Intelligence),或者資料採礦(Data Mining)這類舊有資料分析技術,也可以處理。
現在,因為資料量已經大到以petabytes(等於2的50次方位元,目前最大資料計算單位)來計算,你就需要一個全新思惟與模式去處理它,就像是Google技術長講的,就得用全新一門專業,叫做資料科學家或資料工程師,除了對資料有很好的理解外,也懂數學、物理學、電腦科學。
巨量資料興起,也帶來很多很多新商業機會,Gartner,IDC等調查機構,估計的商機約100億到200億美元,且認為未來會需要更多資料中心建設,硬體工具、軟體應用、通訊、資料採礦新技術等相關發展,來支撐雲端與巨量資料整體產業的成長。下面我想談談,微軟如何看到巨量資料這個新機會、新趨勢。微軟其實做資料處理很久了,從以前的SQL(Structured Query Language,是用於資料庫處理的一種程式語言),到現在的Windows Azure雲端運算平台都算是。只是包括了資料服務,分析與處理等不同層次。
要做好巨量資料,需要先做好資料管理。一個完善的資料管理與運用平台是必要的基礎。微軟在這方面,已提供了Windows Azure雲端運算作業系統,用來提供雲端線上服務所需要的作業系統與基礎儲存與管理的平台。它最大的優勢,在於在雲端上充分開放與管理各種資料數據,提供給全球使用者以隨開隨用的方式來使用。Azure一統三大軟體生態圈 Azure在2009年正式上線,至今三年半,大約已經有1萬4000多個企業用戶。它最大的優勢,是兼容現有三大平台,Windows、iOS與Android,從這裡就可以看出微軟其實在企業作風上很開放的。
而這樣的做法,也是因應現在全球企業界精英在行動工具興起後,有股BYOD(Bring You Own Device,自帶硬體上班)的潮流,同一個辦公室裡,大家使用的硬體平台都不一樣,卻需要互傳資料到雲端上,共同作業。Azure簡單分為幾個層次,第一個層次是硬體建設基礎,目前微軟在全球有20多個資料中心與100萬個伺服器,在美國每個州都有無數伺服器,來處理層層資料計算、網絡聯繫、同時確認整個系統順利運作,都在維繫Azure扮演好這個資料平台的角色。
第二個層次是內核。這是作業系統最基礎的部份,主要用來管理硬體和軟體應用之間聯繫,並兼具網絡的功能。而最上曾則是應用開發工具層次。微軟Azure能夠在短短三年多內,受到上萬個企業用戶擁護,很重要的一點,是在開發工具平台上,支持open source(開放原始碼),也就是最友善的開發平台。Windows Azure成長的速度非常快,不論是伺服器處理量,有幾個數據跟大家分享一下。光是Azure平台現有的計算能力,已經超過了1999年全球伺服器整體的計算能力。
過去的六個月,運算量多一倍。過去兩個月,資料存取量多一倍。上個星期,我們把Azure正式推到中國去,不僅僅將建立資料中心,還會有一些新的合作。我認為雲端不僅是新的技術,也是新的商業模式。我認為也將推動中國的經濟與科技發展。
2015年巨量資料領域可為全球增加1400萬個工作機會。而五年內,全球過半資料中心會以雲端方式處理。融合雲端的巨量資料的科技趨勢,是全球企業不可忽視的重要潮流。