Facebook Pixel
訂閱
快速註冊 已是會員,立即登入

為您推薦

會員權益

在巨量資料裡採礦

up職業:資料科學家》

徐仁全
user

徐仁全

2014-04-01

瀏覽數 5,150+

在巨量資料裡採礦
 

中華電信近日廣招雲端巨量資料(Big Data) 的人才,開出一個年薪高達150 萬元的缺額,工作內容是負責巨量資料的應用服務。同時, 主要負責雲端服務的中華電信企業客戶分公司, 也開出19 名的巨量資料人才相關職缺,年薪從82 萬到150 萬元不等,比起25K 月薪,算是很高薪的工作。

巨量資料分析有如挖礦

什麼是巨量資料?它所需要的人才又是什麼?

巨量資料,或說海量資料,它的特性就是大量、即時、多樣及質差。打個比方,社群網站如臉書的留言,對臉書公司來說,它獲取來自全球超過12 億的甪戶資料,就可說是巨量資料。不過,進一步將巨量資料抽絲剝繭,並將其結果作為決策依據,找出商機,也有人說是一種「採礦(data mining)」,常常是可以挖出黃金的。

工研院巨量資料科技中心主任余孝先指出,巨量資料分析為何被稱為挖礦,舉日本的7-ELEVEN 為例,他們發展出一套「753 感冒指數」:就是一天中溫差達到7 度,今天與昨天的溫差達到5 度,且濕度差大於30%的話,代表感冒的人會增加,因此店家就要把感冒藥、溫度計及口罩備妥,以因應需求增加。這就是公司從巨量資料中挖到的黃金。

余孝先以自身的工作為例,他常以一位資料科學家的身分,帶著一組電腦工程師及專業人士,以專案形式對某行業或公司,進行主題性的巨量資料分析。

以巨量資料中心對國內LED 半導體產業進行的製程分析為例,透過晶圓生產的每道製程留下的數據,進一步分析哪些是異常的數據,致使造成不良品。分析出來後,就可將不良品發生機率下降,甚至事先預測到不良品,未出貨就先擋下。

他透露,國內的零售業、銀行及電信業者,近來也紛紛成立巨量資料小組,以開始從巨量資料中挖寶。

資料科學家及巨量工程師搶手

提供巨量資料分析平台軟體的賽仕(SAS)電腦副總高芬蒂表示,一般來說,要從一堆的資料中去找到寶,兩種人才不能少,一是資料科學家(Data Scientist),大多為資深人員,除熟悉電腦,也要對該領域的專業有一定了解,才能在此專業領域中「挖」到有用的資料。另一種人是巨量工程師,具備統計及資訊背景,懂得運用軟體在大海中「撈」到寶。

【7月空中沙龍】會員免費參加>>半導體產業如何成為護國群山?

不過,國內資料科學家人才極少,企業的做法是先組成一個團隊,找資訊、統計、專業(金融或電信)人員,甚至心理學、社會學背景的人一起組成,一起採礦。

最有名的就是玉山銀行的CRV(客戶風險與價值)祕密部隊,運用巨量及資料採礦等技術,捕捉了解到消費者的生活風格和行為模式,早先一步提供「客製化」的服務。據了解目前編制已超過50 人,還在擴充中。

余孝先指出,資料科學家必須有硬功夫與軟實力。硬功夫就是良好的資訊或數學背景,了解Hadoop 技術,會寫程式,懂得資料分析應用。軟實力則包括與人溝通能力,並帶有好奇心,最好有市場行銷的概念。最後就是該行業的專業度,必須要能熟悉行業的屬性,找出問題,並開發商機。

業者與大學合作,開學程

高芬蒂透露,業界對這類人才需求很高, 但大學沒有類似科系培養此人才,因此現在很多業者與大學合作,包括東吳、淡江及輔仁等將陸續開類似的課程,或辦短期培訓課程,希望將現有資訊工程師能轉型為巨量資料的人才。

她指出,目前已有業界以巨量工程師5-6 萬月薪徵才,資料科學家則開出6-7 萬元月薪在找人,或由公司出培訓費用,讓工程師進修,以成為巨量資料人才。

最後提醒,資料科學家挖出來的是商業機會,因此不要過於重視技術及資訊能力, 反而要有商業頭腦、市場敏銳度,如此才能真正挖到黃金,甚至挖到金脈。

你可能也喜歡

請往下繼續閱讀

登入網站會員

享受更多個人化的會員服務