字級:
A+
|
A-
如果說Open AI的起源與馬斯克有關,那ChatGPT誕生就少不了輝達執行長黃仁勳的貢獻,2016年黃仁勳親自將全球第一台AI專用超級電腦DGX-1送給OpenAI,成為ChatGPT輝煌的基石,如今聯合創辦人蘇茨克維也受邀至GTC大會,與相識多年的黃仁勳進行爐邊對談,親自解密GPT-4為何如此強大!
蘇茨克維(Ilya Sutskever)小檔案:
Open AI聯合創始人、首席科學家,領導發明GPT 1、2、3及Chat GPT,也是最近火熱的GPT-4主要負責人之一。
蘇茨克維推動許多AI人工智慧開創性研究,包括圖片識別、語言翻譯、深度學習與機器學習,被視為AI領域的先驅。
這場爐邊對談從蘇茲克維對於AI領域研究的起源展開,蘇茨克維回憶,2003年「學習」還只是人類能做,但電腦不能做的事情,因此他想研究如何透過神經網路(註1)讓電腦深度學習,當時他並不清楚這對未來職業工作會有什麼影響,只覺得是一個長期前景看好的產業。
註1:神經網路:指導電腦以受人腦啟發的方式來處理資料,是一種機器學習程序,稱為「深度學習」,利用類似人腦分層結構中的互連節點或神經元,建立可讓電腦從錯誤中學習並改善的適應型系統。(資料來源:亞馬遜)
蘇茨克維坦言,最開始大家根本不知道神經網路「規模」的重要性,幾百個神經元就稱得上是大型神經網路了,直到2012年前,他逐漸意識到,深度學習會得到很多關注,只要電腦的神經網路有足夠的深度和規模,就可以解決更困難的任務,而關鍵就是龐大的資料庫與運算能力。
但受制當時前人經驗稀少、技術有限,蘇茨克維與實驗室的同事只能土法煉鋼培育神經網路,直到Geoffrey Hinton提醒,才開始嘗試使用GPU,並發現訓練速度快得「令人難以置信」,這也是蘇茨克維與黃仁勳攜手合作的開始。
聯合創立OpenAI 奠定非監督學習、強化學習目標
▲蘇茨克維領導發展大型語言模組GPT系列/圖取自OpenAI。
黃仁勳稱「ChatGPT是AI的iPhone時刻」,面對巨大的成功,蘇茨克維講起2016年創辦OpenAI時,環境與現在並不相同,很多現在理所當然的事,在當時都是艱鉅的挑戰,但他仍想出了一個「讓自己都激動」的方法-透過壓縮數據進行「非監督學習(註2)」以及強化學習,成為OpenAI至今的重點策略。
註2:指訓練資料不須以人力事先處理標籤,而是按照關聯性歸類、找出潛在規則與套路、形成集群,不對資訊有正確或不正確的判別,在資料探勘初期很好用,但也可能會出現結果偏差、無意義的歸類結果。
蘇茨克維提到,OpenAI創立後的第一個大型專案是一個即時戰略遊戲,透過對抗來強化學習,是日後發展ChatGPT的重要養分,如今ChatGPT在透過不斷培訓壓縮數據,已經不只是一個大型的語言模組,它真正的工作是在預測文本的「下一個字詞」。
蘇茨克維解釋,神經網路在生成式文本的表達上,其實是對「世界的映射」,簡單來說,就是用文字來呈現它理解的世界,而不是單純擷取網路文本回答問題,這樣不但不精準還可能侵權,所以要透過來自人類的反饋強化學習,盡可能讓AI知道我們想要的樣子,提高精準度,讓它越來越可靠。
GPT-4為何強大?蘇茲克維:因為它能「看見」
▲GPT-4對文本理解能力強大,遠勝ChatGPT/圖取自OpenAI。
OpenAI前陣子推出GPT-4又比ChatGPT更進化,已經能以頂尖成績通過SAT考試、律師資格考,到底為什麼有如此大進步?蘇茲克維以推理小說為例,我們看故事時並不知道後續發展,但人物、情節及隱藏的線索,可以幫助推測最後的「兇手」,就像GPT-4在理解大量文本之後,預測出的「下一個單詞」。
而GPT-4是「MultiModal(多模態)」的模型,不只學習文字,也能學習影像與聲音,當對世界理解越高、能力就越強。蘇茲克維認為人的一生只能「聽見」10億個字,但可以透過「視覺」學習更多非文字化的資訊,這也是為什麼可以「看見」圖表的GPT-4在數學考試的成績遠遠超越ChatGPT的原因。
爐邊談話的尾聲,黃仁勳好奇GPT-4是否有讓蘇茲克維感到驚艷或驚訝之處?他回答ChatGPT有時候會因誤解問題而做出愚蠢的回答,但GPT-4不但不會,還能用更快解決難題,例如寫出押韻的詩、或是解讀梗圖,但最令人驚豔的,莫過於「它存在的意義可以為人類帶來幫助」,無論生活或工作都能派上用場。
但蘇茲克維也承認,目前神經網路的推理能力仍然不太可靠,有時候會出現「幻想」,甚至是人類不會犯的錯誤,還需要更多研究來克服,但他有充分的理由相信這個領域會持續進步,AI將在能力邊界繼續用實力震驚人類。