OpenAI發表會Mark超吸睛!他來自台灣,如何被奧特曼網羅?

曾子軒
user

曾子軒

2024-05-14

瀏覽數 28,000+

Mark Chen(左)於OpenAI發表會上示範新功能。取自OpenAI官網
Mark Chen(左)於OpenAI發表會上示範新功能。取自OpenAI官網
00:00
00:00

2024/5/14編按:OpenAI新發表會,推GPT-4o再度震驚全球!不過現場上台示範的Mark Chen,對答落落大方、讓人更感驚艷。原來他是在台灣長大後赴美,現任職OpenAI要職,中文名陳信翰。母親是清大教授、父親則曾任職光電業要職,他究竟如何從小培養超強數理能耐,獲得奧特曼青睞?其實,去年他就曾在台灣活動中,暢談自己成長背景。

台北時間5月14日,OpenAI新發表會,上台的團隊中,有一位亞洲面孔Mark Chen。他面對全球注目,示範如何對GPT-4o(omni縮寫)表演深呼吸。雖笑說自己緊張,其實舉手投足間充滿自信,讓網友倍感驚艷。

影/OpenAI新發表會上,Mark Chen示範如何對GPT-4o(omni縮寫)表演深呼吸。

其實,這位也曾被OpenAI創辦人奧特曼(Sam Altman)盛讚的Mark Chen,正來自台灣。目前身為OpenAI多模態與尖端研究部門主管(head of multimodal and frontier research),去年9月也曾受邀至國立清華大學電機資訊學院演講。他的出身背景為何?

誰是Mark Chen?

陳信翰在美國出生成長,高中時隨家人返台讀書,就讀新竹實中雙語部。張智傑攝

陳信翰在美國出生成長,高中時隨家人返台讀書,就讀新竹實中雙語部。張智傑攝

Mark Chen的中文名字是陳信翰,他的母親邱瀞德為清華大學教授、現任資訊系統與應用研究所所長,父親陳建任曾任聯亞光電董事長。陳信翰在美國出生成長,高中時隨家人返台讀書,就讀新竹實中雙語部。

清大電資學院院長徐碩鴻分享,陳信翰高中曾到清大先修包含離散數學在內的課程。這並非清大資應所首次邀請他進行交流,2021年陳信翰就曾以「Generating Text and Images with GPT」為題線上分享。

徐碩鴻回憶,曾在陳信翰就讀高中時到他家拜訪,當時陳信翰向他分享自己SAT拿下滿分。曾子軒攝

徐碩鴻回憶,曾在陳信翰就讀高中時到他家拜訪,當時陳信翰向他分享自己SAT拿下滿分。曾子軒攝

去年在台灣的人工智慧論壇上,主持人曾問陳信翰,台灣和美國教育有何差異?他委婉表示,自己在台灣並非一個有紀律(disciplined)的學生。事實上,陳信翰接連在數學競賽AMC10、AMC12和AIME拿下滿分的好成績,因此進入麻省理工學院就讀。2008年因為AMC12接受採訪時他曾表示,「台灣的課本和試題都太強調演算,會磨損學生享受數學的樂趣。」

在MIT拿到數學和資工雙學位、在學時曾在微軟實習,陳信翰畢業後進入自營交易機構從事量化投資,開發股票和期貨的機器學習演算法,目前則在OpenAI擔任研究科學家,領導多模態與尖端研究部門,他對Codex、GPT-3、Image GPT都有貢獻,曾帶領DALLE2團隊,並且替GPT4引進視覺功能。

這場長達90分鐘的分享吸引超過400名觀眾參加,不僅座無虛席,走道上也有學生或坐或臥,陳信翰先以「Getting the Most out of GPT」演講,並隨後回答觀眾提問。

GPT-4o模型進步史,就是智力成長史

陳信翰表示,「GPT模型愈來愈像人類,」接著以模型版本迭代詳細說明。他指出GPT模型的本質為機率模型,利用機器學習方法預測新詞彙、藉此完成語句。當GPT-2出現時,即便沒有訓練模型完成特定任務,但模型卻能夠完成所有語言描述的任務。

陳信翰強調,GPT-2讓OpenAI發現「幾乎所有任務都能用語言描述」,這為何重要?關鍵在於,這個頓悟讓OpenAI體會到可以將任務化為「prompt」(指令、提示),日後藉此調校並改善模型。

進展到GPT-3,帶給OpenAI兩則啟示,其一為規模的重要性,體現出縮放定律(scaling laws)不會騙人。OpenAI曾在2020年發表論文,指出當自回歸生成式模型的模型規模增長、使用更多算力時,表現將會進步,且幅度還能用精確公式預測。陳信翰表示,「我們將會盡可能地追逐這個定律,希望它不會失效(break)。」

(只到9/30!)現在訂遠見最優惠,訂兩年雜誌再送你一年!

第二則啟示則是,只要提供足夠脈絡和實例,GPT-3就能從中學習如何完成訓練時未曾見過的任務,逐漸能夠達成人類推理時,利用歸納法做到的一般化(generalization)。快轉至今年發表的GPT-4,則引入視覺輸入(visual input)的多模態功能,且更會推理、對語言理解加深,例如能夠解釋笑話的笑點何在,這和人類對話時可以脈絡化(contextualize)的理解相同。

陳信翰盤點GPT隨版本變化的「成長歷程」,從完成句子到用指令對話,再逐步學會歸納法、理解脈絡,儘管運作方式與人類有歧異,但觀察起來有如幼童成長。

陳信翰表示,改善GPT推理(reasoning)能力,將會是OpenAI重要工作。曾子軒攝

陳信翰表示,改善GPT推理(reasoning)能力,將會是OpenAI重要工作。曾子軒攝

對齊模型與人類、好模型標準多元

另外,陳信翰也分享GPT的兩大挑戰:先要對齊模型行為與人類意圖,再來則想讓模型變得更「好」。

陳信翰指出,語言模型設計用途是用來預測下個詞彙,而非「對人有幫助」,因此初期的模型產出很難滿足需求。對此OpenAI的解法是「人類回饋強化學習」(RLHF),以回饋模型(reward model)讓GPT知道並模仿人類偏好。

知曉人類意圖以後,模型還能怎麼改善?首先要定義「什麼是更好」,「更好」本身就有著多重意涵,其中有三層:

1. 「讓模型運作更像人類」是一種進步,因此OpenAI有在關注「思維連鎖」(chain of thought)研究,要求模型不要直接回答問題,而要模仿人類思考時的分拆步驟,也透過互相辯論對抗,避免生成內容只有單極聲音。

2. 「讓模型回答更能驗證」也是一種進步,這點則可以用外部網頁爬蟲和自我監督處理,請開發商進駐提供外掛,直接和即時資訊對接。

3. 「讓模型回答更多元」當然也是一種進步,因此OpenAI有在考慮多元化提供人類回饋者的背景,藉此反映不同族群的想法與偏好,跟著帶動生成內容的方向。

在問答環節,陳信翰針對模型信任與安全性、OpenAI拒絕開源給出回應,也分享未來研究發展方向。

就模型信任與安全性而言,消極層次能做到的是事前預防,例如直接禁止兒童性剝削的關鍵字,其餘有爭議的詞彙則以人類回饋反制;積極層面則是更積極探究模型如何思考,並且讓模型勇於說「我不知道」,再透過外部資訊檢索補足缺陷。

陳信翰指出,安全性絕對是OpenAI關注議題,也有人提問如何制定「圍欄」確保安全。曾子軒攝

陳信翰指出,安全性絕對是OpenAI關注議題,也有人提問如何制定「圍欄」確保安全。曾子軒攝

針對沒有開源GPT-4,陳信翰則解釋貿然開源反而會讓人惡用,因此先開放給一般用戶使用、理解缺陷後,日後才會視情況開源,陳信翰強調安全性無法在真空中達到,意指唯有人們在真實世界試用,研究者才能理解最先進技術的限制與不足。不過,OpenAI不開源的理由,仍然無法被國際科技社群廣泛接受。

至於未來研究方向,讓模型變得更輕量化、甚至在手機上也能用,還有增加模型與真實世界的互動表現,並測試多模態模型的邊界,以及讓模型可以完成廣泛目標(general purpose),OpenAI都有在投入進行。

奧特曼和陳信翰等人,正在帶領OpenAI不斷推進機器智能,直至新的疆界。我們在旁一同見證,同時期待與擔憂,並且不懈地反思人類的價值。

AI教父黃仁勳的創業領導成功之道
數位專題

AI教父黃仁勳的創業領導成功之道

AI晶片巨頭輝達(NVIDIA)執行長黃仁勳勢不可擋!1993年創立輝達以來,公司市值近來創下歷史新高,黃仁勳身價更是破千億美元榮登全球前15大富豪。隨著Computex 2024登場,他帶來的A

請往下繼續閱讀

登入網站會員

享受更多個人化的會員服務