與正式亮相時(shí)隔4個(gè)月之后，創(chuàng)新工場董事長兼CEO李開復(fù)創(chuàng)辦的AI公司“零一萬物”有了新進(jìn)展。

11月6日，零一萬物正式發(fā)布了開源大模型“Yi”。目前，Yi系列模型已在Hugging Face、ModelScope、GitHub三大全球開源社區(qū)平臺上線，并對外開放了商用申請。

李開復(fù)說，開源對推動世界技術(shù)革命的發(fā)展有著非常重要的意義，從Linux開始，到各種AI技術(shù)，再到今天AI 2.0，一直有開源的力量在不斷地推動一波波的技術(shù)浪潮。

這也是零一萬物選擇做開源大模型的原因。“零一萬物的發(fā)展受益于此前開源社區(qū)的一些集體智慧，這也讓我們有義務(wù)去做一些貢獻(xiàn)，”李開復(fù)表示，“很多人覺得大模型需要超級多的資源，只有OpenAI、微軟、谷歌、阿里、百度、騰訊這樣的公司才能做，但是任何技術(shù)都是需要全球化的參與，而開源的方向是讓大家都有機(jī)會能夠接觸到大模型?！?/p>

“燒錢”

今年3月，李開復(fù)在社交平臺正式宣布要創(chuàng)辦一家AI公司。到了7月，新公司正式定名為“零一萬物”，并已有數(shù)十名核心成員，主要集中在大模型技術(shù)、人工智能算法、自然語言處理、系統(tǒng)架構(gòu)、算力架構(gòu)、數(shù)據(jù)安全、產(chǎn)品研發(fā)等領(lǐng)域。

據(jù)當(dāng)時(shí)介紹，零一萬物的聯(lián)創(chuàng)團(tuán)隊(duì)成員包含前阿里巴巴副總裁、前百度副總裁、前滴滴/百度首席算法負(fù)責(zé)人、前谷歌中國高管、前微軟/SAP/Cisco/副總裁，算法和產(chǎn)品團(tuán)隊(duì)背景均來自國內(nèi)外大廠。

在發(fā)布Yi系列模型的同時(shí)，零一萬物的部分團(tuán)隊(duì)成員也首度亮相。比如零一萬物技術(shù)副總裁及Pretrain負(fù)責(zé)人黃文灝曾先后任職于微軟亞洲研究院和智源研究院，非常早就介入了AI 2.0工作。

零一萬物技術(shù)副總裁及AI Infra負(fù)責(zé)人戴宗宏此前曾擔(dān)任過華為云AI CTO及技術(shù)創(chuàng)新部長、阿里達(dá)摩院AI Infra總監(jiān)。他管理的Infra團(tuán)隊(duì)核心成員主要來自于阿里、華為、微軟、商湯，這些人曾經(jīng)參與支持了4個(gè)千億參數(shù)大模型規(guī)?；?xùn)練，管理過數(shù)萬張GPU卡。

有了豐富的人才儲備之后，零一萬物還需要解決數(shù)據(jù)和算力等問題。據(jù)李開復(fù)介紹，零一萬物想盡了各種辦法和渠道解決數(shù)據(jù)問題?！拔覀冊谕赓徺I了很多數(shù)據(jù)，也動用網(wǎng)絡(luò)爬蟲，去合法獲取允許的網(wǎng)站內(nèi)容，同時(shí)也用了很多網(wǎng)上已經(jīng)開源分享的數(shù)據(jù)。不過在拿到這些數(shù)據(jù)后，其中有很多重復(fù)，質(zhì)量也參差不齊，所以我們對這些數(shù)據(jù)做了非常系統(tǒng)化的篩選，最終是從100多T的數(shù)據(jù)中挑選出3T”。

在算力方面，李開復(fù)則提到，“在零一萬物初創(chuàng)階段，就判斷GPU比黃金重要，所以很早就在規(guī)劃各種資源，現(xiàn)在零一萬物的算力資源足夠用到18個(gè)月之后”。

而對于一家AI公司尤其是做大模型的公司來說，無論是招募人才，還是購置數(shù)據(jù)和算力資源，都是一筆不菲的投入。李開復(fù)也透露稱，在沒有完成新一輪融資之前，零一萬物已經(jīng)負(fù)債幾千萬美元。

不過，零一萬物也已得到資本的青睞。據(jù)記者了解，零一萬物已完成新一輪融資，由阿里云領(lǐng)投，估值超過了10億美元。這也意味著，李開復(fù)只用了8個(gè)月的時(shí)間，就創(chuàng)造出一個(gè)獨(dú)角獸公司。

成績

據(jù)李開復(fù)介紹，零一萬物從今年6、7月份才開始寫下第一行代碼，在短短四個(gè)月的時(shí)間內(nèi)，零一萬物卻交出一份亮眼的成績單。

此次發(fā)布的Yi系列模型包含34B和6B兩個(gè)版本。其中，截至11月5日的數(shù)據(jù)，Yi-34B在Hugging Face英文測試公開榜單Pretrained預(yù)訓(xùn)練開源模型排名中，以70.72的分?jǐn)?shù)位列全球第一，超過了LLaMA2-70B和Falcon-180B等眾多大尺寸模型。

在中文方面，Yi-34B在C-Eval中文權(quán)威榜單排行榜上也超越了全球所有開源模型。其中在CMMLU、E-Eval、Gaokao三個(gè)主要的中文指標(biāo)上，Yi-34B的表現(xiàn)也已超越GPT-4。

另外值得注意的是，Yi-34B將發(fā)布可支持200K上下文窗口（context window）版本，可以處理約40萬漢字超長文本輸入。相比之下，OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5萬字。

在語言模型中，上下文窗口是大模型綜合運(yùn)算能力的金指標(biāo)之一，對于理解和生成與特定上下文相關(guān)的文本至關(guān)重要，擁有更長窗口的語言模型可以處理更豐富的知識庫信息。而零一萬物，也成為第一家將超長上下文窗口在開源社區(qū)開放的大模型公司。

除了此次發(fā)布的大模型產(chǎn)品之外，李開復(fù)還重點(diǎn)介紹了背后的一些研發(fā)能力。其表示，憑借AI Infra的支撐，Yi-34B模型訓(xùn)練成本下降了40%，“也就是說別的公司如果需要2000臺GPU訓(xùn)練這樣一個(gè)模型，而我們可能只要1200張”。

同時(shí)，經(jīng)過幾個(gè)月大量的建模和實(shí)驗(yàn)，零一萬物自研出一套“規(guī)?；?xùn)練實(shí)驗(yàn)平臺”，用來指導(dǎo)模型的設(shè)計(jì)和優(yōu)化?，F(xiàn)在，數(shù)據(jù)配比、超參搜索、模型結(jié)構(gòu)實(shí)驗(yàn)等都可以在小規(guī)模實(shí)驗(yàn)平臺上進(jìn)行，小尺寸模型成功后，再應(yīng)用到大尺寸模型當(dāng)中，在訓(xùn)練34B模型時(shí)，零一萬物已經(jīng)驗(yàn)證了該平臺的有效性，并且每個(gè)節(jié)點(diǎn)的預(yù)測誤差都控制在了0.5%以內(nèi)。

基于這樣的模型預(yù)測能力，可大大減少訓(xùn)練誤差對于計(jì)算資源的浪費(fèi)，同時(shí)也讓以往的大模型訓(xùn)練碰運(yùn)氣的“煉丹”過程變得極度細(xì)致和科學(xué)化。李開復(fù)宣布，在完成Yi-34B預(yù)訓(xùn)練的同時(shí)，零一萬物已經(jīng)啟動下一個(gè)千億參數(shù)模型的訓(xùn)練。

未來

在談到大模型的未來前景時(shí)，李開復(fù)再次強(qiáng)調(diào)，大模型時(shí)代不僅是人類跨向AGI的重要一步，同時(shí)也是一個(gè)巨大的平臺機(jī)會，這個(gè)平臺可以比肩PC時(shí)代、移動互聯(lián)網(wǎng)時(shí)代。

而在這樣一個(gè)時(shí)代，最大的商機(jī)是創(chuàng)造出超級應(yīng)用（Super App）。在李開復(fù)看來，Super App是大部分人需要花大量時(shí)間，每天必須有它才能得到自己的價(jià)值體現(xiàn)。比如PC時(shí)代的微軟Office，移動互聯(lián)網(wǎng)時(shí)代的微信等，都是Super App。

所以，做出一款Super App也是零一萬物在努力的目標(biāo)?！拔覀兊腟uper App雛形很快就會跟大家見面，”李開復(fù)表示，“在這個(gè)階段，我們也不認(rèn)為我們自己就能把Super App做出來，但Super App一定都是簡單的開始，然后用精益創(chuàng)業(yè)的方法不斷迭代，最終迭代成超級應(yīng)用”。

這是零一萬物做Super App的方法論，李開復(fù)認(rèn)為這也將是未來十萬甚至上百萬開發(fā)者去嘗試的方法論。AI 2.0充滿著機(jī)會，零一萬物希望自己能夠開發(fā)出一個(gè)Super App，同樣，任何一個(gè)創(chuàng)業(yè)者如果找對了方向，并進(jìn)行快速迭代，那也有可能打造出AI 2.0時(shí)代的Super App。

另外從企業(yè)發(fā)展角度，李開復(fù)也表示，在AI 2.0時(shí)代，商業(yè)化非常重要。在AI 1.0時(shí)代，很多AI公司沒有做好商業(yè)化，很早就被淘汰，而那些做出收入的，在持續(xù)性上也做得不夠好，所以AI 1.0的公司交出的成績單并不理想。

這也為AI 2.0時(shí)代的創(chuàng)業(yè)公司敲響了警鐘。“我們做App就是朝著能夠快速有收入，并且能夠產(chǎn)生非常好的利潤，讓收入變得可持續(xù)?，F(xiàn)在那些發(fā)展成功的公司，都是因?yàn)樗麄兊氖杖胗匈|(zhì)量，在零一萬物看來，應(yīng)用的收入質(zhì)量要高于做ToB，所以我們也選擇堅(jiān)定不移地走ToC路徑?！崩铋_復(fù)說。

來源：21世紀(jì)經(jīng)濟(jì)報(bào)道   白楊

責(zé)任編輯：李賽男