《科創板日報》3月19日訊(編輯,宋子喬)十年寒窗無人問,一朝成名天下知。當坐在舊金山先鋒大廈的寫字樓中埋頭寫代碼的時候,OpenAI首席執行官Sam Altman是否會想到,2023年,自己的面孔將如此頻繁地出現在各大科技媒體的封面?
人類是多么喜愛類比思考,如同在互聯網2.0時代追問“為什么是蘋果?”一樣,新問題來了:為什么是OpenAI?
長期以來,谷歌一直占據著人工智能領域的頭把交椅,基于這一點,這一問題可被進一步具體化——OpenAI為什么能在和谷歌的較量中勝出?
(相關資料圖)
解謎第一步,了解你的探索對象。
▌大衛挑戰歌利亞
ChatGPT的開發商OpenAI一出生便“自帶光環”——
2015年12月,美國知名VC機構Y Combinator的合伙人兼總裁山姆?阿爾特曼(Sam Altman)、Linkedin創始人里德?霍夫曼(Reid Hoffman)在舊金山成立了OpenAI,特斯拉CEO埃隆?馬斯克(Elon Musk)、PayPal聯合創始人彼得?蒂爾(Peter Thiel)、Stripe的CTO布羅克曼(Greg Brockman)等人共同認捐10億美元。
彼時的人工智能領域,17歲的谷歌獨領風騷。3個月后,其收編已有一年的DeepMind,以AlphaGo戰勝人類圍棋世界冠軍,也為人工智能行業注入了一針強心劑。
而OpenAI意氣風發,將自己定位為非盈利性組織、承諾將免費分享開發代碼,目標很明確——遏制谷歌在人工智能領域的壟斷地位。
大衛與歌利亞的對決就此拉開序幕。
2019年初,OpenAI宣布從“非盈利”性質過渡到“封頂營利(capped for profit)”,成立子公司OpenAI LP并“抱上金大腿”——引入了微軟的10億美元投資。阿爾特曼也正是在此時辭去了YC集團(Y Combinator的母公司)總裁職務,全身心投入到OpenAI并擔任CEO。
野心有了,但前路荊棘叢生,少年滿眼迷茫。
想要成功挑戰谷歌在人工智能領域的地位好比蚍蜉撼樹,更遑論谷歌CEO桑德?皮查伊(Sundar Pichai)在2016年5月宣布將公司戰略轉為“人工智能為先”(AI First)。
阿爾特曼曾在2019年被問及OpenAI要如何實現盈利,他坦言,“老實說,我們不知道(honest answer is we have no idea)”。
▌選擇大于努力
與其將ChatGPT背后的大模型GPT視作一個顛覆式創新,倒不如說它是站在前人肩膀上的集大成者。
GPT的“T”是指Transformer架構,該架構是其技術底座,由谷歌研發而成,已經開源。特斯拉自動駕駛、預測蛋白質結構的AlphaFold2模型都是在Transformer的基礎上構建的。
起點明顯低于谷歌,OpenAI要如何翻盤?
阿爾特曼的一句話給出了解謎線索——“無論做什么創業公司都會很辛苦,不如干票大的。”(Startups are very hard no matter what you do , you may as well go after a big opportunity.)
“a big opportunity”是什么?大模型是也。
2015年之前,人工智能的江湖,小模型遍地走。有科技業內人士分析稱,國內在ChatGPT上落后的原因,是之前把資源更多地放在產業互聯網和B端業務,涉及的是產業端的小模型,而沒有把精力放在面向C端的通用人工智能,導致錯失了時間窗口機遇。
當然,一直以來,大模型也是谷歌在內的大公司的研究方向。但能做到“孤注一擲”、“鐘愛”GPT路線的,只有OpenAI一家。反觀谷歌先后推出了BERT、T5、Switch Transformer、PaLM-E等模型,可謂廣撒網。
即便在與谷歌的較量中長期落于下風,OpenAI也沒有放棄將GPT作為唯一路線——
2018年,OpenAI推出了1.17億參數的GPT-1,谷歌推出了3億參數的BERT。結果是,發布更早的GPT-1完敗晚4個月發布的BERT。在當時的競賽排行榜上,閱讀理解領域被BERT屠榜了。此后,BERT成為了NLP(自然語言處理)領域最常用的模型。
OpenAI選擇“硬剛”,此后幾年,在幾乎沒有改變模型架構的基礎上,OpenAI陸續推出參數更大的迭代版本GPT-2、GPT-3。
與谷歌一同在AI的荒野上求索,OpenAI選擇了人跡更少的一條路,再次印證“選擇有時候比努力更重要” 。
▌被貴人“放養”的義子
10億美元的啟動資金讓OpenAI含著金湯匙出生,但奈何其花錢如流水,上千億規模的大模型光訓練費用就要上百萬美金。投靠微軟后OpenAI絲毫不該本性,前者好比收了一個大手大腳卻不爭氣的義子。
微軟選擇了“放養”,用金錢為GPT大模型打造一條護城河。但天下沒有免費的午餐,微軟并不是為了做慈善。
阿爾特曼的作用再次體現,他多次飛去西雅圖,為微軟CEO薩蒂亞?納德拉(Satya Nadella)現場展示OpenAI的模型。
經過多次談判,兩者達成了獨特的合作模式:
業務上,微軟成了OpenAI的唯一云計算供應商和“首要合作伙伴”,其他公司想使用OpenAI的技術,最好的方式是搭上微軟的Azure云計算梯子。
利潤分配上,微軟相當于“租了OpenAI”,一旦OpenAI超額盈利,微軟能直接“提現”。即微軟新一輪投資完成、OpenAI LP首批投資人收回初始投資后,微軟有權獲得OpenAI LP 75%利潤;微軟收回130億美元投資、從OpenAI LP獲得920億美元利潤后,它分享利潤的比例從75%降到49%;OpenAI LP產生的利潤達到1500億美元后,投資方的全部股權轉讓給OpenAI的非營利基金。
這筆買賣,納德拉并不吃虧。據市場消息,在2019年到2023年之間,微軟又投資了20億美元。
▌再度借勢谷歌實現技術躍遷
在通往大模型的路上,OpenAI用七八年的時間只磨一劍,此刻霜刃未試,只需一陣恰如其分的東風。這陣風起于2022年——最新版本的GPT實現了量變到質變的突破,完成了技術躍遷,對手谷歌起到了關鍵作用。我們可以來回顧這個過程:
如今,GPT大模型被稱為暴力美學的典范,驗證了“模型越大,性能越好”的邏輯。但曾幾何時,這一邏輯長期跑不通。
OpenAI的研究者最開始認為語言模型的性能與模型尺寸的關系可以通過對數線性曲線預測,即模型尺寸呈指數增長時,性能會隨之線性增加(見下圖)。
在這個階段,即便最大的 GPT-3,其性能也不能勝過小模型,故NLP的研究聚焦在更小的模型或者高效參數適應,大模型前途一片黯淡。
轉機出現在2022年1月。一位谷歌研究員對模型訓練方式做出了一個小小的改變,正是這個創新,徹底改變了大模型的命運。
該研究員叫Jason Wei,他提出了“思維鏈”的概念,一種針對模型訓練的離散式提示學習方式。簡單來說,就是將問題的“思維過程”提示給模型,指導它獲得更好的答案。
標注思維鏈后,大模型似乎增強了理解力,回答問題的準確性大大提高,進而推翻了推翻上述比例定律,頗有種“山窮水盡疑無路 柳暗花明又一村”的感覺。
借助新的訓練方式,當模型尺寸足夠大、達到一定規模時,會突然獲得小模型不具備的能力,讓模型的性能急劇增加、超越比例曲線(見下圖)。
之后的故事,如你所見:ChatGPT甫一上線,上百萬用戶瘋狂涌入并在社交媒體上轉發對話截圖;大洋彼岸的中國,股市里一眾板塊你方唱罷我登場,而這一切都發生在短短四個月之內。
▌結語
如果非要為OpenAI的成功尋求一個答案,那么你可能得到一句口水話:OpenAI做對選擇并堅持了下去,期間找到“貴人”微軟相助守住了這份少年意氣,沒有放棄每一個借力向上的機會。
如今,更有無數追隨者正奔赴大模型領域,它們追尋著OpenAI的選擇,但是行百里者半九十,能否堅持下去就要看各自的本事了。
(科創板日報 宋子喬)