太平洋科技要聞

首頁 > 科技要聞 > 科技> 正文

圖靈諾獎得主等大佬齊聚海淀！清華版Sora震撼首發(fā)，硬核AI盛會破算力黑洞

新智元整合編輯：龔震發(fā)布于：2024-05-05 21:27

中關(guān)村論壇舉辦以來的首個主題日活動：「人工智能主題日」

到場嘉賓，也是星光熠熠，大佬云集，還有著濃濃的國際范兒，與世界頂尖水平接軌。

一共161位嘉賓，近一半是外籍AI大佬和從業(yè)者。

而嘉賓陣容也是非常豪華，匯集了國內(nèi)外30多名院士，還有諾獎、圖靈獎得主，清北港科大等知名高校的校長副校長。

百度、螞蟻、微軟、亞馬遜等世界領(lǐng)軍科技企業(yè)，也都前來參會。

可以說，「人工智能主題日」堪稱如今AI界的頂級盛會，亮點(diǎn)滿滿，精彩紛呈。

重磅技術(shù)成果發(fā)布

國產(chǎn)Sora，又上新了！

在今天的中關(guān)村論壇「人工智能主題日」上，生數(shù)科技聯(lián)合清華大學(xué)，共同發(fā)布了最新的視頻大模型「Vidu」。

Vidu生成的畫面一亮相，就讓全場驚呼——這個效果也太像Sora了！

在人物和場景時間一致性的保持上，Vidu的表現(xiàn)令人印象深刻。

而且，它生成的視頻最長可達(dá)16秒左右，在時長上破了紀(jì)錄。

甫一亮相，Vidu就得到了業(yè)內(nèi)公認(rèn)——

綜合考慮時長、一致性、真實度、美觀性等因素，它是「國產(chǎn)Sora」模型中當(dāng)之無愧的佼佼者，是國內(nèi)最能和Sora全面對標(biāo)的視頻模型。

清華大學(xué)人工智能研究院副院長、生數(shù)科技首席科學(xué)家朱軍為我們放出了Vidu的以下演示。

一只小狗在游泳池里游泳，毛發(fā)纖毫畢現(xiàn)，狗腳劃水的動作十分自然，和水的相互作用十分符合物理學(xué)原理。

人物眼睛的特寫、做陶罐的女人手中正在轉(zhuǎn)動的陶罐、一對坐著的男女同時抬頭的動作，都刻畫地細(xì)致入微，逼真到仿佛現(xiàn)實。

總的來說，Vidu具有以下幾大特點(diǎn)——

模擬真實物理世界

森林里的湖邊風(fēng)光，無論是樹、水面、云朵，還是整體的光影效果，很逼真寫實。

汽車行駛在崎嶇山路上的場景，也是非常經(jīng)典的Sora演示。

Vidu模擬了非常真實的光影效果，連揚(yáng)起的灰塵，都十分符合物理規(guī)律。

富有想象力

在這艘AI視頻模型必考題中，Vidu生成的視頻效果實在太驚艷！

畫室里的一艘船駛向鏡頭的場景。

這道題，考驗了模型虛構(gòu)場景的能力，為了生成超現(xiàn)實主義的畫面，它們需要具有超強(qiáng)的想象力。

理解多鏡頭語言

可以看出，Vidu能夠理解多鏡頭的語言，不再是簡單的鏡頭推拉。這樣，就能模擬我們的攝影過程。

生成的這個視頻中，要求它包含海邊小屋、鏡頭過渡到陽臺、俯瞰大海、帆船、云朵等元素。

Vidu生成的視頻，具有復(fù)雜的動態(tài)鏡頭，遠(yuǎn)、近、中景、特寫，以及長鏡頭、追焦等效果，都十分驚艷。

一鏡到底，16s時長

而在這個視頻中，Vidu展現(xiàn)出了16s的超長「一鏡到底」。

而且，視頻完全是由單一大模型生成的，不需要任何插幀、剪切，直接就實現(xiàn)了端到端的生成。

超強(qiáng)時空一致性

要求它以《戴珍珠耳環(huán)的少女》為靈感，生成一只藍(lán)眼睛的橙色貓，可以看出，Vidu生成了連貫的視頻。

從旋轉(zhuǎn)的各個視角看，都非常逼真，甚至讓人產(chǎn)生了「這是一個3D模型」的錯覺。

它生成的視頻中，人物和場景在時空中始終保持一致。

理解中國元素

相比國外的AI視頻模型，Vidu也更理解中國元素。

熊貓、龍這樣的中國元素，它都能理解和生成。

和Pika、Gen-2比起來，Vidu的表現(xiàn)也絲毫不弱。

一艘木頭玩具船在地毯上航行。

兩位對手的視頻一個只有4s，一個更是畫面簡單的循環(huán)播放，而Vidu的視頻以16s的自然畫面秒殺了它們，在一致性的保持和語義理解上，也都非常突出。

用和Sora同樣的prompt，Vidu的表現(xiàn)甚至更好。

Sora并未理解旋轉(zhuǎn)的鏡頭是什么意思，而Vidu不僅表現(xiàn)出了旋轉(zhuǎn)，還保持了一致性的效果。

幾分鐘的視頻結(jié)束，全場響起經(jīng)久不息的掌聲。

之所以能在短時間做出如此驚艷的視頻AI模型，離不開團(tuán)隊的長期積累和多項原創(chuàng)成果。

團(tuán)隊的技術(shù)路線，竟也和Sora的高度一致。

全球首個低碳、高性能多語言LLM

此外，全球首個低碳、高性能、低幻覺多語言大模型Tele-FLM，由北京智源人工智能研究院與中國電信人工智能研究院（TeleAI）在今天正式聯(lián)合發(fā)布——所有核心技術(shù)、權(quán)重、訓(xùn)練過程中的各種細(xì)節(jié)全面開源。

520億參數(shù)的Tele-FLM在2T token的數(shù)據(jù)上，用時2個月完成訓(xùn)練。

值得一提的是，據(jù)Meta3官網(wǎng)信息，Llama 3-70B模型的訓(xùn)練，可能使用了近5萬塊H100。而Tele-FLM僅用了896×A800的算力，完成了訓(xùn)練。

此外，模型訓(xùn)練過程還對數(shù)據(jù)質(zhì)量進(jìn)行嚴(yán)格把控。

通過使用高質(zhì)量的中文數(shù)據(jù)，雖然只占30%，但Tele-FLM的中文能力明顯超越了對標(biāo)的模型，取得了領(lǐng)先的成果。

未來，還將推出千億、六千億、甚至萬億參數(shù)版本，而且都將全部開源，供所有人使用。

順便提一句，會上最精彩的部分，莫過于機(jī)器人上臺表演了。

看看來自宇樹科技的這只機(jī)器狗，倒立行走，簡直太颯了。

除了頗有前沿范兒的技術(shù)成果發(fā)布，人工智能主題日上，國內(nèi)大佬的演講也是干貨滿滿。

大佬演講精彩亮點(diǎn)

北大教授、中科院院士鄂維南的演講，讓我們重新審視，大模型+大數(shù)據(jù)庫相結(jié)合的價值所在。

如今，我們能夠暢想人工智能的未來，那都是因為有一個最基本的工具——深度學(xué)習(xí)。

其實，深度學(xué)習(xí)很早就誕生了。

但真正將其帶向世界，釋放出重大威力的標(biāo)志性事件便是——2012年，Hinton和兩位學(xué)生訓(xùn)練的大型深度神經(jīng)網(wǎng)絡(luò)一舉贏得ImageNet大賽。

每個人都知道，若想開展機(jī)器學(xué)習(xí)研究，需要有三個最基本的工具：

一是模型工具，借助諸如Pytorch、TensorFlow、MindSpore等工具，AI開發(fā)者才能寫出深度神經(jīng)網(wǎng)絡(luò)。

二是算力工具，當(dāng)然非GPU莫屬，再結(jié)合CUDA這樣的架構(gòu)，實現(xiàn)高效的算力利用率。

三是數(shù)據(jù)工具。

現(xiàn)在，全世界包括OpenAI、谷歌等在內(nèi)的公司，都希望獲取高質(zhì)量的數(shù)據(jù)。同時，數(shù)據(jù)稀缺已然成為LLM訓(xùn)練的一大難題。

也正是在數(shù)據(jù)這個領(lǐng)域，現(xiàn)在的發(fā)展還不是很成熟，缺少可以利用的工具。

對于數(shù)據(jù)的處理，大家還是主要憑經(jīng)驗，沒有一個完整的系統(tǒng)，去解決這一問題。

其中，「非結(jié)構(gòu)化數(shù)據(jù)」處理，是機(jī)器學(xué)習(xí)方法的主要困難之一。

如果我們可以將文本、視頻之類的數(shù)據(jù)，能夠?qū)⑵浞旁谝粋€表格當(dāng)中，那將會大大降低ML門檻。

就在這個月初，國際上第一個AI「非結(jié)構(gòu)化數(shù)據(jù)庫」MyScale正式宣布開源。

通過自研高性能和高數(shù)據(jù)密度的向量索引算法，成為目前綜合性能最好，功能最強(qiáng)的AI數(shù)據(jù)庫。

LLM+大數(shù)據(jù)雙輪驅(qū)動

那么，現(xiàn)在有了如上這些能力，接下來可以做什么？

或者說，下一個技術(shù)路線是什么？

當(dāng)我們將所有數(shù)據(jù)放在「數(shù)據(jù)庫」中，基于此，就可以構(gòu)建各種各樣的小模型，由此產(chǎn)生了「模型庫」。

最后，就可以通過操作系統(tǒng)對模型進(jìn)行調(diào)度。

這樣的優(yōu)勢在于，不僅可以將所有結(jié)構(gòu)化數(shù)據(jù)，以及非結(jié)構(gòu)化數(shù)據(jù)，放在同一個數(shù)據(jù)庫中，還能通過常見的SQL語言實現(xiàn)搜索查詢。

此外，還可以很高效地訓(xùn)練出小樣本的數(shù)據(jù)模型。與訓(xùn)大模型不同，訓(xùn)練小模型，如何選取數(shù)據(jù)是非常困難的。

比如針對自動駕駛場景，無用樣本只會影響模型的效率和精度問題。

有了AI數(shù)據(jù)庫，就可以快速獲取相應(yīng)的樣本數(shù)據(jù)，比如紅燈、左轉(zhuǎn)彎等。

由此一來，訓(xùn)練后的自動駕駛模型，準(zhǔn)確率可以提升50%-90%。

除此以外，模型管理平臺，可以提供對模型全周期的管理。

一個很典型的場景是——政府智慧城市管理，以前遇到的是數(shù)據(jù)孤島的難題，到現(xiàn)在的模型孤島。

每個企業(yè)基于不同的模型做一個應(yīng)用，由此帶來的問題是，正度很難實現(xiàn)全面、方便快捷的管理。

而云平臺的出現(xiàn)，可以讓企業(yè)基于此做低門檻的開發(fā)，根據(jù)需求即可調(diào)用成千上萬的模型。

而現(xiàn)在，大模型誕生可以大大提升基礎(chǔ)AI能力，還有可以實現(xiàn)具體任務(wù)的Agent。

接下來，就可以在原來框架下稍作改動：

- 小模型改成Agent

- 模型生產(chǎn)平臺以預(yù)訓(xùn)練模型作為基座

另一方面，模型操作系統(tǒng)可以將模型和任務(wù)完成對接。

比如，把政府的需求梳理后，針對每個需求去做一個模型，結(jié)果就會產(chǎn)生很多模型。甚至一個需求，需要做不同的模型。

然而，針對復(fù)雜場景，模型操作系統(tǒng)卻很難將模型和任務(wù)完成對接。

鄂維南院士表示，「這恰恰是未來大模型能夠提供的真正的核心能力——一個能完全將模型和任務(wù)匹配的操作系統(tǒng)」。

另外，大模型還可以和大數(shù)據(jù)庫進(jìn)行結(jié)合。

比如，鄂維南院士預(yù)告的團(tuán)隊成果——Science Navigator平臺。

它是將所有理工科的文獻(xiàn)塞到一個數(shù)據(jù)庫里，由此訓(xùn)出的文獻(xiàn)大模型，具備了查詢文獻(xiàn)、提供論文寫作靈感等能力。

未來，還可設(shè)想將國家圖書館所有資料塞進(jìn)數(shù)據(jù)庫中，讓模型釋放出更大的潛力。

總而言之，想要訓(xùn)出優(yōu)質(zhì)大模型，構(gòu)建一個高效的數(shù)據(jù)處理的系統(tǒng)，是關(guān)鍵所在。

光電智能計算登上Nature

接下來，是中國工程院院士、中國人工智能學(xué)會理事長戴瓊海對于光電智能計算方面的介紹。

要說大模型再發(fā)展下去，面臨的最大危機(jī)是什么？

大家都知道，答案無疑就是算力和電力的巨大缺口了。

如今，GPT系列的研究，已經(jīng)累計投入了超過30億美元。

AI模型的耗電，實在是太猛了！

ChatGPT每天的能耗高達(dá)70萬美元，而在十年內(nèi)，大模型計算將消耗我國每年發(fā)電量的5%到10%！

黃仁勛、Sam Altman、馬斯克等大佬，也都紛紛預(yù)言：下一波AI消耗的電力將遠(yuǎn)遠(yuǎn)超過預(yù)期，能源系統(tǒng)難以應(yīng)對。超級AI，將成電力需求的無底洞！

如今的主流通用芯片就是GPU，此外還有延長線，即專用芯片，這些都是基于電子電路的發(fā)展。

而第三條路，就是新型的計算架構(gòu)，比如量子計算、存算一體、光電計算。

能否從電子電路，改變成光的載體？1966年，「光纖之父」高錕打開了光通信的大門。

不過有一個問題是：功耗下來了，算力卻一直提不上去。

為此，我國在國際上第一個提出了一個，大規(guī)�？芍貥�(gòu)衍射計算處理器（DPU）。

在架構(gòu)突破上，我國團(tuán)隊首次提出了光-電-光融合可重構(gòu)計算方法；在非線性突破上，首次提出了光電探測非線性激活函數(shù)。

光電之間的ADDA轉(zhuǎn)換，要花費(fèi)巨大的功耗，這就是一個最重要的瓶頸。

在此基礎(chǔ)上，團(tuán)隊提出了光電混合全模擬的智能計算架構(gòu)，研制了ACCEL芯片，突破了光電模數(shù)的轉(zhuǎn)換瓶頸，直接讓系統(tǒng)級能效提升了百萬倍！

這項研究去年已在Nature上發(fā)表，同樣屬于中關(guān)村創(chuàng)新成果。

如今，ACCEL芯片已經(jīng)在很多任務(wù)級開展了工作，讓能耗大大下降。

相比英偉達(dá)A100，ACCEL芯片讓系統(tǒng)級算力提升了3個數(shù)量級，能效提升了6個數(shù)量級。

在國際上的整個光芯片領(lǐng)域，都處在最前沿。

不過，真正的大模型訓(xùn)練和推理，還是存在一個關(guān)鍵的問題：深度網(wǎng)絡(luò)做不了深，層數(shù)就非常有限。

于是，團(tuán)隊又提出了一個新的架構(gòu)——大規(guī)模智能光計算芯片「太極」。

電子的深度網(wǎng)絡(luò)架構(gòu)可以做一百層、兩百層，但光卻做不了深，怎么辦？

團(tuán)隊的辦法是，化「深」為「廣」，其中有干涉也有衍射，用干涉來做廣，用衍射來做深，這就把以前的深度架構(gòu)改成了拉伸的架構(gòu)。

橫縱結(jié)合，是為太極。

兩種光性質(zhì)結(jié)合在了一起，就建立了任務(wù)編碼宏觀拆分機(jī)制。具有「廣度」的光神經(jīng)網(wǎng)絡(luò)，就能支撐復(fù)雜的智能任務(wù)。

甚至能做100多層的深度網(wǎng)絡(luò)。

而下圖中的藍(lán)色線條，即為衍射。干涉和衍射，就像樂高拼玩具一樣，拼在一起，就可以做大模型的光計算應(yīng)用。

大規(guī)模的太極光計算芯片，完全可以支持現(xiàn)在的圖像分類、多種音樂風(fēng)格的生成。

在未來5G和智慧城市結(jié)合，會帶來龐大的瞬時數(shù)據(jù)通道，讓端側(cè)處理面臨著嚴(yán)峻挑戰(zhàn)。

比如下面這個超大的視頻，如果由A100來跑，還需要8臺到10臺以上才可以。而光芯片只需要一臺，就可以進(jìn)行這方面的應(yīng)用了。

因此，光電智能計算，可以支撐智慧城市、智能安防等產(chǎn)業(yè)鏈。

未來，團(tuán)隊還計劃構(gòu)建一個光算力實驗室，總之，太極芯片非常有望實現(xiàn)工業(yè)場景的應(yīng)用。

海淀區(qū)優(yōu)勢聚集

以上重磅成果，恰好都誕生在海淀。為什么？

仔細(xì)分析可以知道，這種現(xiàn)象是一種必然。

人才+生態(tài)

在海淀，匯集了高密度的人才和生態(tài)土壤。

要說海淀區(qū)的AI人才濃度，說一聲全國TOP 1應(yīng)該不算過分。

在這里，匯聚起了1.23萬人工智能學(xué)者，和89位AI2000全球頂尖學(xué)者。

全國AI人才看北京，北京AI人才看海淀。

已經(jīng)「出廠」的人才，密密麻麻地分布在海淀的近千家企業(yè)。海淀的AI企業(yè)，直接占全北京的2/3，全國的1/5。

還在校的人才，也正緊鑼密鼓地培養(yǎng)中。

全海淀的37所高校中，設(shè)立AI專業(yè)的高校，就高達(dá)21所。

人才、企業(yè)、算力基礎(chǔ)設(shè)施布置，海淀是妥妥的一條龍布局。

說一聲AI建設(shè)創(chuàng)新策源地和產(chǎn)業(yè)高地，海淀區(qū)是當(dāng)之無愧。

從小學(xué)就開始了

AI人才從什么時候開始培養(yǎng)？在海淀區(qū)，答案是小學(xué)生。

海淀區(qū)教育委員會，在海淀區(qū)的中小學(xué)內(nèi)，正在建設(shè)「大模型+教育」場景。

為此智源研究院構(gòu)建了一套基礎(chǔ)教育專屬知識庫，為小學(xué)的3個學(xué)科、中學(xué)的6個學(xué)科，提供了2000套試題。

在學(xué)校，孩子們不僅有人工老師，還有AI老師。

海淀區(qū)的小學(xué)生和中學(xué)生們，在課余時間可以隨時向AI老師提問。各種學(xué)段、各種學(xué)科，AI老師都能為孩子們提供一對一精講答疑。

縱觀全區(qū)，已經(jīng)有36所學(xué)校的近3萬名學(xué)生，用上了AI產(chǎn)品。

作為全區(qū)AI教育的先鋒，中關(guān)村三小已經(jīng)基于多種大模型平臺，構(gòu)建出本校的模型對接平臺了！

在這個平臺上，設(shè)定好了學(xué)校專用的「知識庫」，可以對接不同的模型引擎，分析知識庫內(nèi)容，做相應(yīng)的輸出。

目前，中關(guān)村三小的小學(xué)生們，已經(jīng)擁有了自己的「小學(xué)信息科技課標(biāo)助手」「小學(xué)語文學(xué)科課標(biāo)助手」「六年級下冊」專用模型了！

海淀名校北京一零一中學(xué)，也和北京大學(xué)前沿計算中心、騰訊公司合作建立了人工智能AI實驗室。

在實踐的探索中，幾方聯(lián)合構(gòu)建出了三級人工智能實驗室課程體系，包括人工智能校本課程、大中貫通課程、校企聯(lián)合課程。

另一名校十一學(xué)校，則直接組建了一支AGI應(yīng)用研究項目團(tuán)隊。

在這里，老師們會使用智譜清言和Kimi Chat等國產(chǎn)大模型，來加持自己的教學(xué)設(shè)計國產(chǎn)，文章、報告、教案的生成，都比以往快了不少倍。

高校云集，精英匯聚

連中小學(xué)都已經(jīng)用AI工具全面「武裝」，那就更不用說，位于海淀的清華、北大、北航、人大、北大、北理工等響當(dāng)當(dāng)?shù)娜珖敿壐咝Ａ恕?/p>

強(qiáng)強(qiáng)聯(lián)合，會碰撞出怎樣的火花？

在高校層面，海淀區(qū)政府已經(jīng)率先打通了多項深度合作。

和清華，海淀區(qū)簽訂了「共建人工智能產(chǎn)業(yè)高地」戰(zhàn)略合作協(xié)議。

這項深入合作，將圍繞AI創(chuàng)新平臺建設(shè)、核心技術(shù)攻關(guān)、科技成果轉(zhuǎn)化等多方面，共同整合雙方資源。

其次，海淀區(qū)與北航簽署了合作備忘錄，共建AI產(chǎn)業(yè)高地。

未來，雙方還會在促進(jìn)科教融合發(fā)展、推動產(chǎn)業(yè)規(guī)模集聚、深化人才培養(yǎng)與交流、優(yōu)化人文環(huán)境建設(shè)等方面，開展深入合作。

同時，海淀區(qū)還與人大簽署了共建人工智能產(chǎn)業(yè)高地合作備忘錄，在人工智能理論研究、技術(shù)協(xié)同攻關(guān)、高端智庫建設(shè)、人才培養(yǎng)等方面緊密對接，加速科研成果轉(zhuǎn)化落地，推動人工智能健康發(fā)展，全力建設(shè)好中關(guān)村人工智能產(chǎn)業(yè)集聚區(qū)

最后，海淀區(qū)會繼續(xù)與北郵、北大、北理工等高校，在核心技術(shù)攻關(guān)、人才交流培養(yǎng)、產(chǎn)業(yè)集聚發(fā)展、科技成果轉(zhuǎn)化等領(lǐng)域展開深入合作，加快形成新質(zhì)生產(chǎn)力。

AI產(chǎn)業(yè)高地，已然在逐漸建成。

全國重點(diǎn)實驗室落地

與此同時，海淀區(qū)服務(wù)落地了多個人工智能領(lǐng)域全國重點(diǎn)實驗室。

海淀區(qū)積極對接全國重點(diǎn)實驗室，重點(diǎn)落地建設(shè)清華大學(xué)互聯(lián)網(wǎng)體系結(jié)構(gòu)室、北京大學(xué)微納電子器件與集成技術(shù)等人工智能領(lǐng)域相關(guān)全國重點(diǎn)實驗室，加強(qiáng)區(qū)域共建，推動優(yōu)勢學(xué)科向縱深突破。

深度對接區(qū)內(nèi)人工智能領(lǐng)域全國重點(diǎn)實驗室，服務(wù)支持全重發(fā)展建設(shè)，推動優(yōu)質(zhì)科技成果落地海淀。

科技成果轉(zhuǎn)化平臺

如何讓高校成果走向?qū)嶒炇�？如何讓AI技術(shù)更好地服務(wù)企業(yè)和社會？

為了打通科技成果轉(zhuǎn)化「最初一公里」，概念驗證中心如雨后春筍般破土而出。

而當(dāng)前，已有的清華、中科院等5家概念驗證中心，已經(jīng)踏出了成果轉(zhuǎn)化的「第一步」。

此外，海淀區(qū)還正在籌建AI領(lǐng)域概念驗證中心。

未來，還會有更多的科研成果在海淀區(qū)完成應(yīng)用轉(zhuǎn)化，隨著產(chǎn)業(yè)聚集，這里將出現(xiàn)一片別樣的創(chuàng)新生態(tài)。

文章來源：新智元

人工智能大模型

新智元

原創(chuàng)欄目