国产a一级毛片爽爽影院_欧美日韩亚洲中字二区在线播放_国产在线每日都有更新_日韩中文字幕tv在线看_日韩美女婬乱大片A级网站_韩国无遮免费羞羞漫画_久久亚洲精品无码播放偷妻_国产成人777爽视频_色噜噜狠狠成人中文综合18_国产精品免费高清在线观看

大模型這一概念在2023年發(fā)揮出了巨大的能量，互聯(lián)網(wǎng)巨頭更是在這一領(lǐng)域里頻頻動作。那么如果將時間往回?fù)懿⒆犯菰?，到底是哪些事件或因素的?qū)動，決定了當(dāng)下的人工智能競爭格局？不妨來看看本文的解讀。

2012年12月，AI領(lǐng)域的一場頂級會議NIPS在美國內(nèi)華達(dá)州太浩湖舉辦，會議酒店里的一場秘密拍賣拍出了4400萬美元的高價。拍賣的是一家在會議前緊急成立的公司，公司成員只有3人，沒有發(fā)布任何產(chǎn)品。參與拍賣的有谷歌、微軟、DeepMind以及百度。

這是一場既豪橫又簡陋的拍賣，競拍方通過Gmail郵件遠(yuǎn)程出價，每一個小時出價一次，每次加價不少于100萬美元。60多歲的主辦方成員因患有頸椎疾病無法久坐，他在酒店的桌子上倒扣一個垃圾桶，把電腦放在垃圾桶上遙控科技巨頭出價。

競拍價一路攀升，2000萬美元以后，場內(nèi)只剩百度和谷歌，兩家公司都勢在必得。出價4400萬美元后，主辦方意外暫停了拍賣，時間被拖到第二天。第二天拍賣開始前，主辦方告訴百度，他們更希望加入谷歌。

這個故事被科技記者Cade Metz放在《深度學(xué)習(xí)革命》一書開頭，用來說明科技巨頭在人工智能領(lǐng)域?qū)θ瞬诺募ち覡帄Z。被拍賣的這家公司是DNNResearch，三名員工是被稱為“深度學(xué)習(xí)之父”的Geoffrey Hinton、AlexNet卷積神經(jīng)網(wǎng)絡(luò)創(chuàng)始人Alex Krizhevsky和現(xiàn)任OpenAI首席科學(xué)家IIya Sutskever。

這場拍賣之前，“人工智能”還只是科幻小說和電影里的事物，“深度學(xué)習(xí)”的概念就連前沿的科技巨頭內(nèi)部都少有人知。這場拍賣之后，一切開始發(fā)生變化。拍賣3年后，AlphaGo橫空出世。5年后，還是同一場NIPS會議中，谷歌8位研究員帶著Transformer模型架構(gòu)技驚四座。10年后，美國幾乎所有的頂尖AI實驗室里都有來自谷歌的身影。

一、Google Brain的第一個成功和失敗

數(shù)學(xué)公式組織著從微觀粒子世界到宏觀宇宙的廣闊圖景，同時也是人們構(gòu)建現(xiàn)代計算機和人工智能算法的工具——現(xiàn)代計算機底層邏輯運算的原理是形成于19世紀(jì)中期由George Boole發(fā)明的布爾計算。20世紀(jì)40年代，人們開始嘗試把生物神經(jīng)元的功能抽象化為數(shù)學(xué)模型，50年代末誕生了第一個Neural Network神經(jīng)網(wǎng)絡(luò)算法（NN算法）。

Geoffrey Hinton是George Boole的玄孫，在70年代進入NN算法領(lǐng)域，并成為推動NN算法發(fā)展的主要人物之一。到21世紀(jì)初，GPU的使用和分布式計算大大提升了算法運行的效率，NN算法成為熱門領(lǐng)域。Hinton在2006年提出深度信念網(wǎng)絡(luò)的概念，讓訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)成為了可能，“深度學(xué)習(xí)”成為神經(jīng)網(wǎng)絡(luò)算法的代名詞。

谷歌在當(dāng)時有一個神秘實驗室Google X，專門研究智能駕駛、增強現(xiàn)實等前沿尖端項目，這些項目往往都與人工神經(jīng)網(wǎng)絡(luò)有關(guān)。2011年，斯坦福大學(xué)人工智能教授吳恩達(dá)（Andrew Ng）加入Google X，希望把自己的神經(jīng)網(wǎng)絡(luò)研究推廣開來。

然而即便在谷歌，當(dāng)時也少有人認(rèn)識到神經(jīng)網(wǎng)絡(luò)可以帶來的改變，多次碰壁的吳恩達(dá)遇到了Jeff Dean，雙方一拍即合，很快把一些研究轉(zhuǎn)化出成果，這次的合作項目最終成為獨立的部門Google Brain。

2012年夏天，《紐約時報》詳細(xì)報道了吳恩達(dá)和Jeff Dean合作的“小貓論文”，他們用16000臺計算機組成了一個有10億連接的大型神經(jīng)網(wǎng)絡(luò)系統(tǒng)。系統(tǒng)從來自YouTube的1000萬張圖片中學(xué)會了“貓”的概念，并找出了其中含有貓的圖片。這讓谷歌的科學(xué)家大為震驚并深受鼓舞。

神經(jīng)網(wǎng)絡(luò)自學(xué)識別的貓的圖像 （圖源：紐約時報）

不過，吳恩達(dá)兩人的方法并不是當(dāng)時最高效的。在當(dāng)年秋天的ImageNet圖像識別大賽中，Hinton領(lǐng)導(dǎo)的三人組使用AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)奪得第一，他們的成績比第二名高出41%。這是ImageNet賽事的高光時刻，也是科技行業(yè)的“決定性瞬間”之一?！渡疃葘W(xué)習(xí)革命》一書的作者Cade Metz認(rèn)為，AlexNet是深度學(xué)習(xí)的轉(zhuǎn)折點，也是全球科技行業(yè)的轉(zhuǎn)折點，推動了后來的人工智能熱潮。

這次比賽也直接催生了文章開頭提到的拍賣會，Hinton團隊因此加入到Google Brain。

在這之后，學(xué)術(shù)投資成為谷歌具有戰(zhàn)略高度的投資方向。雖然深度學(xué)習(xí)在當(dāng)時是一個極小的領(lǐng)域，但谷歌創(chuàng)始人Larry Page認(rèn)為它將會重塑行業(yè)，要求尋找其中的人才。在收下Hinton的同時，谷歌開始著手下一個目標(biāo)。

二、驕傲的DeepMind和谷歌的豪賭

DeepMind主理人同樣有三位，主要創(chuàng)辦人Demis Hassabis從小智力超常，8歲開始編寫電腦游戲，13歲就獲得國際象棋大師的頭銜。20歲時，Hassabis在劍橋大學(xué)計算機科學(xué)專業(yè)獲得雙第一，畢業(yè)后成功經(jīng)營了一家60人的游戲公司。后來，Hassabis轉(zhuǎn)向攻讀認(rèn)知神經(jīng)科學(xué)，最終投入人工智能浪潮。

2010年決定創(chuàng)辦DeepMind時，資金問題是重要的考量之一。Hassabis通過一場棋局獲得了第一筆投資，來自Peter Thiel。Thiel是Paypal的創(chuàng)始人，通過他，DeepMind又獲得了來自馬斯克的投資。創(chuàng)辦兩年內(nèi)，DeepMind先后完成了兩輪融資。

Hassabis首先提出了AGI的概念，DeepMind以AGI為目標(biāo)保持獨立運作。創(chuàng)辦早期，DeepMind訓(xùn)練了一個玩游戲的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，系統(tǒng)通過觀看學(xué)會了玩《太空侵略者》《乒乓球》《越獄》等游戲，在很多游戲中的表現(xiàn)超過人類玩家。馬斯克在飛機上觀看DeepMind的演示視頻時，剛好被谷歌的Larry Page注意到，《Wired》報道稱，馬斯克向Larry Page介紹了DeepMind。

對于DeepMind這樣的機構(gòu)，注定無法獨立完成燒錢的AGI豪賭，它需要持續(xù)不斷的輸血，成立后很快陷入到窘境。幸運的是，Hinton團隊的拍賣會一舉抬高了AI領(lǐng)域人才的身價，同時谷歌正在不計成本的投入其中。

2013年，谷歌團隊乘坐專機去到倫敦與DeepMind接洽，在第二年以6.5億美元買下DeepMind。谷歌同意了DeepMind提出的要求：雙方合作技術(shù)不能用于軍事目的，并成立獨立道德委員會監(jiān)督。

DeepMind虧損壓力來到谷歌，電廠根據(jù)《CNBC》和《Bloomberg》媒體報道測算，2016年到2019年，DeepMind平均每年虧損4.6億美元。報道顯示，2019年，DeepMind所有公司間貸款和應(yīng)計利息共計15億美元，被谷歌一筆免除。

三、Facebook的開源力量

跟Hassabis一樣，Zuckerberg在哈佛大學(xué)校園里創(chuàng)辦Facebook時，第一筆天使投資也來自Peter Thiel。在DeepMind尋找買家時，Thiel促成了兩人的首次接洽。Facebook比谷歌更想要DeepMind，愿意支付更高的收購金額。然而這是一場失敗的收購，據(jù)《深度學(xué)習(xí)革命》一書記錄，Hassabis認(rèn)為，他跟Zuckerberg之間沒有“化學(xué)反應(yīng)”，更重要的是在AI安全方面沒有共同的認(rèn)知。

2013年是Facebook認(rèn)識到深度學(xué)習(xí)重要性的第一年，Zuckerberg決定招攬前沿的研究人才。但跟DeepMind一樣，這些來自學(xué)界的研究者認(rèn)為Facebook缺少吸引力。與財務(wù)收入相比，學(xué)者們看重自己的研究能不能在Facebook持續(xù)，卻發(fā)現(xiàn)后者根本沒有設(shè)置實驗室。

Zuckerberg找到了楊立昆（Yann LeCun）。楊立昆發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)，在深度學(xué)習(xí)領(lǐng)域跟Hinton有同樣的地位，手下學(xué)生眾多，如果由他運營實驗室，F(xiàn)acebook將能夠逆轉(zhuǎn)局面。

楊立昆信奉技術(shù)開放，會公布自己最新的研究成果，他認(rèn)為這一領(lǐng)域的進步由一代代研究人員接力推動。在《Popular Science》的一次專訪中，楊立昆談到同意這次合作的原因——他對實驗室的想象與Facebook的開放理念一致。Facebook社交帝國的基礎(chǔ)是開源軟件，Zuckerberg對開放的理解打消了楊立昆的擔(dān)憂。

楊立昆幫助Facebook經(jīng)營FAIR實驗室，同時仍然擔(dān)任在紐約大學(xué)的職務(wù)。有了實驗室的Facebook也有了從谷歌、微軟挖掘人才的優(yōu)勢。

開放開源讓Facebook保持著在AI領(lǐng)域的領(lǐng)先地位。2022年，來自獨立實驗室OpenAI的ChatGPT一飛沖天，Zuckerberg選擇開源Llama大模型應(yīng)對，從而迅速占據(jù)生態(tài)優(yōu)勢。促進這次開源決定的正是楊立昆。

四、不被看好的OpenAI

深度學(xué)習(xí)領(lǐng)域有三位學(xué)術(shù)巨頭，除了Hinton和楊立昆，另一位是Yoshua Bengio。谷歌和Facebook掀起AI人才爭奪戰(zhàn)后，Bengio收到了無數(shù)來自科技公司的邀約，但他都一一回絕，這些公司中就包括OpenAI。

當(dāng)時的OpenAI還沒有成立，Greg Brockman和Sam Altman正在召集人才。他們認(rèn)識到科技公司內(nèi)部的實驗室正在迅速擴張，必須采取行動，這得到了馬斯克的支持。根據(jù)《Wired》報道，Bengio給了他們一份名單，列出了他所認(rèn)為的這個領(lǐng)域最有前途的年輕研究人員，其中就包括Ilya Sutskever。

谷歌開出高薪挽留Sutskever，第一年接近200萬美元，是OpenAI的兩到三倍，這讓Sutskever產(chǎn)生了動搖?！渡疃葘W(xué)習(xí)革命》書中詳細(xì)記錄了這個故事，OpenAI原本計劃在當(dāng)年的NIPS會議上宣布成立，但Sutskever的猶豫打亂了計劃，最后一天的會議結(jié)束之后，他才確定“上車”。

OpenAI作為非盈利組織在2015年12月成立，它把自己定位為科技巨頭技術(shù)擴張的對抗力量，宗旨是確保AI技術(shù)造福人類。然而，秉持類似理想的DeepMind卻認(rèn)為，OpenAI只會加速行業(yè)里的技術(shù)對抗，從而帶來更多風(fēng)險，OpenAI初創(chuàng)團隊的技術(shù)人員當(dāng)中，有5個曾在DeepMind工作。不看好OpenAI的也包括楊立昆，楊立昆告訴Sutskever，他的選擇是在犯錯，并給出了10多條理由。

五、谷歌的一團火和滿天星

人工智能技術(shù)的理論突破幾乎全部來自校園里的學(xué)術(shù)團隊，谷歌、Facebook的實驗室承擔(dān)了高校與商業(yè)公司之間的紐帶，培養(yǎng)了大批學(xué)術(shù)力量，推動了科研成果的誕生。隨著時間推移，很多科研人員意識到事情發(fā)生了變化。

Ilya Sutskever在后來的采訪中談到自己離開谷歌的原因，他表示，人工智能的神經(jīng)網(wǎng)絡(luò)變得越來越龐大，未來將會是更大的、更有組織的的工程項目。研究人員需要用更宏觀的視角研究它們，實驗室能夠提供舒適的環(huán)境和優(yōu)越的回報，但無法給他們調(diào)動更多的資源。

OpenAI的成立開啟了一種趨勢。很快，過去幾年加入科技巨頭實驗室的研發(fā)人員開始陸續(xù)出走。其中最具代表性的，應(yīng)當(dāng)是谷歌發(fā)明了Transformer模型架構(gòu)的8位作者。

2017年，谷歌8位研究員完成的《Attention is All You Need》論文橫空出世，推動AI行業(yè)進入到大模型時代，Transformer成為幾乎所有AI大模型的核心。但從2017年至今，8位作者已經(jīng)全部從谷歌出走，進入到各個領(lǐng)域的“OpenAI”當(dāng)中。

2012年以來，谷歌的實驗室成了AI技術(shù)和人才策源地。過程中，AI研究經(jīng)歷了從論文到落地的階段，開始走向應(yīng)用?？粗嗄陮W(xué)術(shù)投資成果散落各地，谷歌終于幡然醒悟。隨著Geoffrey Hinton在2023年退休，谷歌一方面宣布不再公布最新的科研成果，另一方面把DeepMind和Google Brain合并成Google DeepMind，由Hassabis擔(dān)任CEO。

過去幾年一直處在弱勢地位的微軟，卻因為OpenAI的崛起重新拿到先發(fā)優(yōu)勢。谷歌的戰(zhàn)略調(diào)整也決定了，始終擔(dān)心AI安全問題的Hassabis將不得不加快他的“曼哈頓計劃”。而先后失去了DeepMind和OpenAI的馬斯克，不得不X上繼續(xù)呼吁人們警惕AI技術(shù)擴張帶來的威脅。