太平洋科技要聞

SIGGRAPH 2024：英偉達(dá)“AI盒子”升級(jí)，黃仁勛想打造物理世界的數(shù)字副本

騰訊科技整合編輯：太平洋科技發(fā)布于：2024-07-30 16:45

北京時(shí)間7月30日，英偉達(dá)（也稱NVIDIA）在美國(guó)丹佛市舉行的頂尖計(jì)算機(jī)圖形大會(huì)SIGGRAPH 2024上展示了在渲染、仿真和生成式AI領(lǐng)域的多項(xiàng)最新進(jìn)展。

去年的SIGGRAPH，英偉達(dá)推出GH200、L40S顯卡、ChatUSD輪番登場(chǎng)。而今年的主角，是英偉達(dá)在生成式AI時(shí)代的新王牌——“Nvidia NIM”全新升級(jí)，并且通過(guò)NIM 將生成式 AI 應(yīng)用于 USD（通用場(chǎng)景描述），拓寬AI在3D世界的可能性。

Nvidia NIM升級(jí)：既是福音，也是挑戰(zhàn)

英偉達(dá)宣布，Nvidia NIM實(shí)現(xiàn)了進(jìn)一步優(yōu)化，并標(biāo)準(zhǔn)化了AI模型的復(fù)雜部署。NIM是英偉達(dá)在AI布局中的關(guān)鍵一環(huán)。黃仁勛多次對(duì)NIM帶來(lái)的創(chuàng)新贊賞有佳，稱其是“AI-in-a-Box, 本質(zhì)上它就是盒子里的人工智能�！�

這次升級(jí)無(wú)疑鞏固了英偉達(dá)在AI領(lǐng)域的領(lǐng)導(dǎo)地位，成為其技術(shù)護(hù)城河的重要組成部分。

一直以來(lái)，CUDA被認(rèn)為是英偉達(dá)在GPU領(lǐng)域建立領(lǐng)導(dǎo)地位的關(guān)鍵因素。借助CUDA的支持，GPU從單一的圖形處理器發(fā)展成為通用的并行計(jì)算設(shè)備，使得AI開(kāi)發(fā)成為可能。不過(guò)，盡管英偉達(dá)的軟件生態(tài)系統(tǒng)非常豐富，但對(duì)于缺乏AI基礎(chǔ)開(kāi)發(fā)能力的傳統(tǒng)行業(yè)來(lái)說(shuō)，這些分散的系統(tǒng)仍然過(guò)于復(fù)雜和難以掌握。

為了解決這一問(wèn)題，在今年3月，英偉達(dá)在GTC大會(huì)上推出了NIM（Nvidia Inference Microservices）云原生微服務(wù)，將過(guò)去幾年開(kāi)發(fā)的所有軟件集成在一起，以簡(jiǎn)化和加速AI應(yīng)用的部署。NIM可將模型作為優(yōu)化的“容器”，這些容器可部署在云端、數(shù)據(jù)中心或工作站上，讓開(kāi)發(fā)人員能夠在幾分鐘內(nèi)完成工作，比如輕松為副駕駛、聊天機(jī)器人等構(gòu)建生成式 AI 應(yīng)用程序。

到現(xiàn)在，Nvidia布局的NIM生態(tài)系統(tǒng)已經(jīng)可提供一系列預(yù)訓(xùn)練的AI模型。英偉達(dá)宣布，幫助開(kāi)發(fā)者在多個(gè)領(lǐng)域加速應(yīng)用開(kāi)發(fā)和部署，并且重點(diǎn)在不同的領(lǐng)域（如理解、數(shù)字人、三維開(kāi)發(fā)、機(jī)器人技術(shù)和數(shù)字生物學(xué)）中提供的具體AI模型：

Nvidia NIM（Nvidia Inference Model）提供的服務(wù)及其具體模型

理解方向，NIM可使用Llama 3.1和NeMo Retriever，提升文本數(shù)據(jù)的處理能力；數(shù)字人方向，提供了Parakeet ASR和FastPitch HiFiGAN等模型，支持高保真語(yǔ)音合成和自動(dòng)語(yǔ)音識(shí)別，為構(gòu)建虛擬助手和數(shù)字人類提供了強(qiáng)大的工具；

在三維開(kāi)發(fā)方面，USD Code和USD Search等模型簡(jiǎn)化三維場(chǎng)景的創(chuàng)建和操作，幫助開(kāi)發(fā)者更高效地構(gòu)建數(shù)字孿生和虛擬世界；

在機(jī)器人具身方向，英偉達(dá)推出了MimicGen和Robocasa模型，通過(guò)生成合成運(yùn)動(dòng)數(shù)據(jù)和模擬環(huán)境，加速了機(jī)器人技術(shù)的研發(fā)和應(yīng)用。MimicGen NIM 可根據(jù) Apple Vision Pro 等空間計(jì)算設(shè)備記錄的遠(yuǎn)程操作數(shù)據(jù)，生成合成運(yùn)動(dòng)數(shù)據(jù)。Robocasa NIM 可在 OpenUSD (一個(gè)用于在 3D 世界中進(jìn)行開(kāi)發(fā)和協(xié)作的通用框架)中生成機(jī)器人任務(wù)和仿真就緒環(huán)境。

數(shù)字生物學(xué)領(lǐng)域的DiffDock和ESMFold等模型，則在藥物發(fā)現(xiàn)和蛋白質(zhì)折疊預(yù)測(cè)方面提供了先進(jìn)的解決方案，推動(dòng)了生物醫(yī)學(xué)研究的進(jìn)展等等。

此外，Nvidia宣布Hugging Face推理即服務(wù)平臺(tái)也由Nvidia NIM提供支持，在云端運(yùn)行。

通過(guò)整合這些多功能模型，Nvidia的這種生態(tài)系統(tǒng)不僅提升了AI開(kāi)發(fā)的效率，還提供了創(chuàng)新的工具和解決方案。不過(guò)，盡管Nvidia NIM的諸多升級(jí)對(duì)于行業(yè)確實(shí)是一大“福音”。但從另一面來(lái)看，也給程序員們帶來(lái)了很多挑戰(zhàn)。

Nvidia NIM通過(guò)提供預(yù)訓(xùn)練的AI模型和標(biāo)準(zhǔn)化的API，大大簡(jiǎn)化了AI模型的開(kāi)發(fā)和部署過(guò)程，這對(duì)于開(kāi)發(fā)者來(lái)說(shuō)確實(shí)是一大福音，但是否也意味著普通程序員的就業(yè)機(jī)會(huì)未來(lái)或?qū)⑦M(jìn)一步收縮？畢竟，企業(yè)可以用更少的技術(shù)人員完成同樣的工作，因?yàn)檫@些任務(wù)已經(jīng)由NIM預(yù)先完成，普通程序員可能不再需要進(jìn)行復(fù)雜的模型訓(xùn)練和調(diào)優(yōu)工作。

教AI用3D思維進(jìn)行思考，構(gòu)建虛擬物理世界

英偉達(dá)在SIGGRAPH大會(huì)上也展示了生成性AI在開(kāi)放USD和Omniverse平臺(tái)上的應(yīng)用。

英偉達(dá)宣布，構(gòu)建了世界上首個(gè)能夠理解基于 OpenUSD（Universal Scene Description 通用場(chǎng)景描述）語(yǔ)言、幾何、材料、物理和空間的生成性AI模型，并將這些模型打包為Nvidia NIM微服務(wù)。目前，在Nvidia API目錄中有三個(gè)NIM可供預(yù)覽：USD Code，用于回答開(kāi)放USD的知識(shí)問(wèn)題并生成開(kāi)放USD Python代碼；USD Search，允許開(kāi)發(fā)者使用自然語(yǔ)言或圖像輸入搜索龐大的開(kāi)放USD 3D和圖像數(shù)據(jù)庫(kù)；USD Validate，可檢查上傳文件與開(kāi)放USD發(fā)布版本的兼容性，并使用Omniverse云API生成完全RTX渲染的路徑追蹤圖像。

英偉達(dá)表示，隨著Nvidia NIM微服務(wù)對(duì)OpenUSD的增強(qiáng)和可訪問(wèn)性，未來(lái)各行各業(yè)都可以構(gòu)建基于物理的虛擬世界和數(shù)字孿生。通過(guò)基于開(kāi)放USD的新的生成性AI和Nvidia加速開(kāi)發(fā)框架，這些框架構(gòu)建于Nvidia Omniverse平臺(tái)之上，更多行業(yè)現(xiàn)在可以開(kāi)發(fā)用于可視化工業(yè)設(shè)計(jì)和工程項(xiàng)目的應(yīng)用程序，以及用于模擬環(huán)境以構(gòu)建下一波物理AI和機(jī)器人。此外，新的USD連接器將機(jī)器人和工業(yè)模擬數(shù)據(jù)格式以及開(kāi)發(fā)者工具連接起來(lái)，使用戶能夠?qū)⒋笠?guī)模、完全由Nvidia RTX光線追蹤的數(shù)據(jù)集流式傳輸?shù)紸pple Vision Pro。

簡(jiǎn)而言之，通過(guò)Nvidia NIM引入U(xiǎn)SD，通過(guò)大模型更好的理解物理世界和構(gòu)建虛擬世界，這是一筆非常寶貴的數(shù)字資產(chǎn)。舉個(gè)例子，在2019年，法國(guó)巴黎圣母院遭遇嚴(yán)重火災(zāi)，教堂大面積被毀。慶幸的是，育碧游戲設(shè)計(jì)師曾無(wú)數(shù)次造訪這座建筑物，學(xué)習(xí)它的結(jié)構(gòu)，完成了對(duì)巴黎圣母院的數(shù)字復(fù)原工作，在3A游戲《刺客信條：大革命》，重現(xiàn)了巴黎圣母院的所有細(xì)節(jié)，也給巴黎圣母院的修復(fù)帶來(lái)很大的幫助。當(dāng)時(shí)設(shè)計(jì)師和歷史學(xué)家用了兩年的時(shí)間來(lái)復(fù)刻，但隨著該技術(shù)的推出，未來(lái)針對(duì)數(shù)字副本的重現(xiàn)我們可以大規(guī)模的提速，通過(guò)AI來(lái)更精細(xì)化的理解和復(fù)刻物理世界。

再比如，設(shè)計(jì)師在Omniverse中構(gòu)建基礎(chǔ)三維場(chǎng)景，并利用這些場(chǎng)景調(diào)節(jié)生成性AI，實(shí)現(xiàn)可控和協(xié)作的內(nèi)容創(chuàng)作過(guò)程。比如WPP與可口可樂(lè)公司率先采用這一工作流程，來(lái)擴(kuò)大其全球廣告活動(dòng)。

Nvidia還宣布即將推出幾種新的NIM微服務(wù)，包括USD Layout、USD Smart Material和FDB Mesh Generation，以進(jìn)一步提升開(kāi)發(fā)者在開(kāi)放USD平臺(tái)上的應(yīng)用能力和效率。

這次NVIDIA Research攜20多篇論文參會(huì)，分享涉及推動(dòng)合成數(shù)據(jù)生成器和逆渲染工具發(fā)展的創(chuàng)新成果，其中兩篇獲得了技術(shù)最佳論文獎(jiǎng)。今年展示的研究表明，AI通過(guò)提升圖像質(zhì)量和解鎖新的3D表示方式，使模擬能力變得更好；同時(shí)，改進(jìn)的合成數(shù)據(jù)生成器和更多內(nèi)容也提高了AI的水平。這些研究展示了Nvidia在AI和模擬領(lǐng)域的最新進(jìn)展和創(chuàng)新。

圖注：Getty Images生成性AI案例

英偉達(dá)表示，設(shè)計(jì)師和藝術(shù)家現(xiàn)在有了新的改進(jìn)方式，通過(guò)使用基于許可數(shù)據(jù)訓(xùn)練的生成性AI來(lái)提高生產(chǎn)力。比如Shutterstock（美國(guó)圖片供應(yīng)商），推出了其生成性3D服務(wù)的商業(yè)測(cè)試版。它僅需使用文本或圖像提示，使創(chuàng)作者能夠快速原型化3D資產(chǎn)，并生成360 HDRi背景以照亮場(chǎng)景；以及Getty Images（美國(guó)圖片交易公司）加速了其生成性AI服務(wù)，使圖像生成速度加倍，提高輸出質(zhì)量。這些服務(wù)基于多模態(tài)生成性AI架構(gòu)Nvidia Edify，通過(guò)新模型速度加倍，提升了圖像質(zhì)量和提示準(zhǔn)確性，讓用戶能夠控制相機(jī)設(shè)置，如景深或焦距。用戶可以在大約六秒鐘內(nèi)生成四張圖像，并將它們放大到4K分辨率。

結(jié) 語(yǔ)

在黃仁勛出現(xiàn)的各大場(chǎng)合中，他總是穿著一襲皮衣，向世界描繪AI所帶來(lái)的激動(dòng)人心的未來(lái)。

我們也經(jīng)歷著英偉達(dá)的成長(zhǎng)，目睹英偉達(dá)一步步從游戲GPU巨頭到AI芯片霸主、再到縱橫AI軟硬件全棧式布局，英偉達(dá)的野心十足，在AI的技術(shù)浪潮最前沿快速迭代。

從可編程著色GPU、CUDA加速計(jì)算，到Nvidia Omniverse和生成式AI NIM微服務(wù)的推出，再到推動(dòng)3D建模、機(jī)器人模擬和數(shù)字孿生技術(shù)的發(fā)展，也意味著新一輪AI產(chǎn)業(yè)的革新來(lái)臨。

不過(guò)，隨著大公司擁有更多的資源，包括資金、技術(shù)和人力，能夠更快地采用和實(shí)施Nvidia NIM等先進(jìn)技術(shù)。而中小企業(yè)由于資源有限，可能難以跟上技術(shù)發(fā)展的步伐。再加上人才技術(shù)水平的不同，未來(lái)是否會(huì)導(dǎo)致更多的技術(shù)不平等加��？

人類之理想中的AI，是幫助人類解放雙手和勞動(dòng)力，帶給人類更高生產(chǎn)力的世界。但是當(dāng)生產(chǎn)力和生產(chǎn)資料被少部分人掌握的時(shí)候，會(huì)不會(huì)引發(fā)帶來(lái)更深層次的一場(chǎng)危機(jī)？這都是我們需要思考的問(wèn)題。

本文來(lái)源：騰訊科技

英偉達(dá) 生成式AI Nvidia NIM

騰訊科技

原創(chuàng)欄目