責任美編/杜軍儀
一般人可能對海量資料這樣的名詞無感,但其實現代人每天都生活在「資料之海」中。
1.海量資料有多巨大?
海量資料所指的資料,通常是可儲存的數位資料,由於超級龐大,儲存的單位從常見的MB、GB,進化到TB、PB等,早已超過一台桌上型電腦能處理的範圍。
海量資料開始備受關注,是全球知名諮詢公司麥肯錫於2011年,發布了《海量資料:創新、競爭和生產力的下一個新領域》報告,宣布「大數據時代」來臨。
美國總統歐巴馬的科學技術顧問,則指出了另一個重點:「過去3年裡全世界產生的資料量,比以往4萬年的總和還要多。」 由世界第一大儲存設備廠EMC贊助市調單位IDC所做的「數位宇宙研究」(Digital Universe)中發現,2009年地球上所有的資料總共0.8ZB,而地球上所有的沙加起來相當於1ZB。
但驚人的是,有研究報告預測,兩年之後,也就是2011年,全球創造與複製的資料量已經暴增到1.8ZB,所有的資料,得用575億部32GB的iPad才能裝完。
這也相當於全台灣所有的人連續36萬246年,每人每分鐘在噗浪發表3篇文章。
這等於一個人每天24小時不停觀看現今世上超過2千億部的2小時HD電影,必須花上4700萬年才能看完。
2.海量資料從哪裡來?
海量資料的暴增,主要來自近年崛起的社群媒體如臉書、推特的po文與照片、影片分享,還有大量鋪設的感測器、監視器,加上GPS、醫療成像、智慧電網等等,「無處非資料」的結果,造成數位資料的爆炸性成長。
海量資料不單指文字及數字等「結構性資料」,也包含了照片、影像,還有座標、聲音、心電圖、X光片等「非結構資料」。
3.為何要處理海量資料?
資料這麼多,若不好好處理就太可惜了。分析與整理將提供更好的政府治理,使民眾的生活更便利,甚至還能預測重大災難的發生。重視海量資料的企業也將提升競爭力,帶來無限商機。