"DPO"相關(guān)的文章
AI,個人隨筆
總結(jié)：模型為什么越來越像人，而你為什么會在意這一點

總結(jié)：模型為什么越來越像人，而你為什么會在意這一點

大模型的每一次進化，背后都是人類經(jīng)驗的深度編碼。從預(yù)訓(xùn)練的基礎(chǔ)語言理解，到SFT的行為規(guī)范，再到RLHF的情感分寸，這條技術(shù)鏈的本質(zhì)是人類如何將自己的溝通邏輯、價值判斷和社交規(guī)則系統(tǒng)化地注入AI。本文將揭示大模型訓(xùn)練過程中那些看不見的人類‘腳手架’，以及它們?nèi)绾嗡茉霢I的行為邊界與人格特質(zhì)。
AI,個人隨筆
DPO：當行業(yè)開始嫌 RLHF 太累的時候

DPO：當行業(yè)開始嫌 RLHF 太累的時候

DPO的誕生揭示了AI訓(xùn)練領(lǐng)域的一個殘酷真相：RLHF雖有效卻如同苦役。這種新方法摒棄復(fù)雜的評分體系，回歸人類最本能的偏好判斷，不僅解放了訓(xùn)練師，更重塑了大模型對齊的工程實踐。本文將深入解析DPO如何用『二選一』的樸素智慧，解決RLHF時代的技術(shù)沉疴與人性困境。