對話 John Schulman:如果帶著 2025 的記憶回到十年前,OpenAI 能多快造出 ChatGPT?

0 評論 176 瀏覽 0 收藏 9 分鐘

OpenAI聯(lián)合創(chuàng)始人John Schulman的最新訪談揭示了AI領(lǐng)域的關(guān)鍵認(rèn)知變革:后訓(xùn)練階段的精細(xì)化操作比單純堆砌算力更能釋放模型潛力。他的新項目Thinking Machines正致力于終結(jié)AI開發(fā)的‘煉金術(shù)時代’,通過引入可拆解的‘原語’構(gòu)建標(biāo)準(zhǔn)化訓(xùn)練流程。本文深度解析了從強(qiáng)化學(xué)習(xí)進(jìn)化到多模態(tài)突破的技術(shù)趨勢,并為創(chuàng)業(yè)者提煉出2025年AI賽道的三條實戰(zhàn)法則。

在 AI 領(lǐng)域,John Schulman 是一個無法繞過的名字。作為 OpenAI 的聯(lián)合創(chuàng)始人,他曾一手主導(dǎo)了 ChatGPT 的強(qiáng)化學(xué)習(xí)架構(gòu)。

最近,在一次深度訪談中,John 被問到一個極具啟發(fā)性的問題:如果讓初創(chuàng)時期的 OpenAI 團(tuán)隊帶著今天的認(rèn)知回到 2015 年,你們能用多快的速度造出 ChatGPT?

本文將結(jié)合 John Schulman 的最新創(chuàng)業(yè)項目Thinking Machines,深度拆解這場對話中關(guān)于“后訓(xùn)練、 “原語”、“自進(jìn)化”的核心內(nèi)涵。

這不僅是一場技術(shù)回顧,更是對未來 3-5 年 AI 商業(yè)競爭壁壘的預(yù)判。

01 多快能造出現(xiàn)在 ChatGPT?認(rèn)知差才是真正的算力

John 被問到的第一個問題是:如果回到 2015 年,你們能多快造出 ChatGPT?

他的回答出人意料:并不需要 GPT-4 這種規(guī)模的算力,甚至不需要 GPT-3 的全量算力。

1. 被低估的“后訓(xùn)練”力量

在 2015-2020 年間,整個行業(yè)的重心都在“預(yù)訓(xùn)練”上,即不斷喂數(shù)據(jù)、堆參數(shù)。

但 John 指出,今天我們已經(jīng)意識到,“后訓(xùn)練”階段(包括 SFT 監(jiān)督微調(diào)和 RLHF 強(qiáng)化學(xué)習(xí))對模型表現(xiàn)出的“智能感”起到了決定性作用。

  • 認(rèn)知的錯位:過去我們認(rèn)為,模型必須要足夠“大”才能理解指令。
  • 當(dāng)下的洞察:通過極高質(zhì)量、精心構(gòu)造的微調(diào)數(shù)據(jù)集,即便是一個參數(shù)量適中的模型,其表現(xiàn)也能在特定任務(wù)上超越巨大的原始模型。

如果你擁有今天的“數(shù)據(jù)配方”,在 2015 年那個算力匱乏的時代,你可以通過更聰明的微調(diào)手段,讓 GPT-2 級別的模型展現(xiàn)出類似對話代理的能力。

2. 從大力出奇跡到精細(xì)化煉金

上面的認(rèn)知差反映在商業(yè)上就是:先發(fā)優(yōu)勢并不完全在于你擁有多少塊 H100,而在于你是否掌握了讓模型高效對齊的特定數(shù)據(jù)工程方法。

02 Thinking Machines 的野心:終結(jié) AI 開發(fā)的煉金術(shù)時代

John 離開 OpenAI 創(chuàng)立了Thinking Machines,并推出了名為Tinker的項目。這背后是他對當(dāng)前 AI 工業(yè)界生產(chǎn)模式的深度反思。

1. 現(xiàn)狀:低效且不透明的黑盒訓(xùn)練

目前的 AI 模型訓(xùn)練過程極其類似于中世紀(jì)的煉金術(shù):

  • 開發(fā)者編寫冗長的腳本,將各種數(shù)據(jù)混雜在一起;
  • 按下運行鍵,燒掉幾十萬美金;
  • 等待結(jié)果,如果效果不好,由于訓(xùn)練過程的不可解釋性,很難精準(zhǔn)定位是哪一步出了問題。
  • 2. Tinker 的邏輯:引入低級原語

John 在訪談中多次提到一個詞:原語。

在計算機(jī)科學(xué)中,原語是最基礎(chǔ)的運算指令。John 認(rèn)為,目前的模型訓(xùn)練缺乏這種標(biāo)準(zhǔn)化、可拆解的基礎(chǔ)構(gòu)件。

Tinker 的目標(biāo)是將復(fù)雜的訓(xùn)練流程拆解為一系列透明的、可操縱的原語。包括:

  • 工程化轉(zhuǎn)型:開發(fā)者不再是祈禱奇跡發(fā)生的煉金術(shù)師,而是精密儀器的工程師。你可以像調(diào)試軟件代碼一樣,精細(xì)地調(diào)整訓(xùn)練過程中每一個權(quán)重的更新邏輯、每一批次數(shù)據(jù)的分布。
  • 全棧式賦能:Tinker 的目標(biāo)是讓非頂級 ML 專家也能根據(jù)業(yè)務(wù)場景,通過組合這些高效的原語,快速構(gòu)建出高性能的垂直領(lǐng)域模型。

這意味著 AI 的門檻正在從算法研究下移到工程效率。

正如我之前寫過的Reevo,成功的項目往往不是靠模型更聰明,而是靠工程化的交付更標(biāo)準(zhǔn)、更快速。

03 未來一年的關(guān)鍵詞:多模態(tài)與自進(jìn)化的閉環(huán)

當(dāng)談到未來一年的趨勢時,John 給出了非常具體的指引。

1. 強(qiáng)化學(xué)習(xí)的下半場:從人教到自悟

目前的 RLHF 極度依賴人類的標(biāo)注。但人類標(biāo)注有三個致命傷:貴、慢、且人類的認(rèn)知水平限制了 AI 的上限。

John 預(yù)測,未來的突破點在于深度自監(jiān)督強(qiáng)化學(xué)習(xí)。

  • AI 將學(xué)會自我對弈和自我評估
  • 在沒有人類實時干預(yù)的情況下,模型通過在大規(guī)模模擬環(huán)境中的探索,發(fā)現(xiàn)更高效的邏輯路徑
  • 這就像 AlphaZero 擺脫人類棋譜一樣,未來的通用模型將擺脫人類數(shù)據(jù)的天花板

2. 真正的多模態(tài):不只是文字的翻譯件

目前所謂的多模態(tài)(圖像進(jìn)、文字出)在 John 看來仍然是淺層的。下一代的 AI 將具備真正的感官融合能力:

  • 它能直接在多模態(tài)的原生空間里進(jìn)行推理
  • 它對物理世界的理解將通過視頻和傳感器數(shù)據(jù)得到質(zhì)的提升。

04 給 2025 年 AI 創(chuàng)業(yè)者的三條認(rèn)知紅利

基于 John 的訪談,結(jié)合我之前對全球爆款 AI 應(yīng)用(如 HubX, Talkie 等等)的分析,總結(jié)出以下三點實戰(zhàn)建議:

1. 規(guī)?;闹匦霓D(zhuǎn)移

縮放定律并沒有失效,但其重點正從參數(shù)規(guī)模轉(zhuǎn)向推理規(guī)模和數(shù)據(jù)精煉規(guī)模。

如果你在 2025 年還在盲目追求訓(xùn)練更大的模型,而忽視了如何在推理端通過更復(fù)雜的搜索和思維鏈來提升表現(xiàn),你將失去核心競爭力。

2. 關(guān)注低摩擦的工程工具

John 創(chuàng)立 Thinking Machines 本身就說明了一個趨勢:賦能開發(fā)者、降低模型調(diào)優(yōu)摩擦的“鏟子”公司,其商業(yè)價值可能比單純做模型的公司更穩(wěn)固。

開發(fā)者應(yīng)該關(guān)注那些能讓你快速實驗、精準(zhǔn)反饋的工具,而不是把資源浪費在低效的盲目訓(xùn)練上。

3. 小而美的垂直閉環(huán)依然是現(xiàn)金流之王

在訪談中,John 提到即使是 GPT-3 級別的算力,如果加上極致的后訓(xùn)練,也能達(dá)到驚人的效果。

這再次驗證了我們多次提到的:深入垂直場景,用高質(zhì)量的私有數(shù)據(jù)去做極細(xì)顆粒度的微調(diào),其投資回報率遠(yuǎn)高于去卷通用模型。

以上,祝你今天開心。

作者:張艾拉 公眾號:Fun AI Everyday

本文由 @張艾拉 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來自作者提供

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!