首頁(yè) > 科技要聞 > 科技> 正文

挑戰(zhàn)OpenAI，微軟自研5000億參數(shù)絕密武器曝光！前谷歌DeepMind高管帶隊(duì)

新智元 整合編輯：龔震 發(fā)布于：2024-05-07 16:53

不需要OpenAI，微軟或許也會(huì)成為AI領(lǐng)頭羊！

外媒Information爆料稱，微軟內(nèi)部正在開(kāi)發(fā)自家首款5000億參數(shù)的大模型MAl-1。

這恰好是，納德拉帶領(lǐng)團(tuán)隊(duì)證明自己的時(shí)候到了。

在向OpenAI投資100多億美元之后，微軟才獲得了GPT-3.5/GPT-4先進(jìn)模型的使用權(quán)，但終究不是長(zhǎng)久之計(jì)。甚至，此前有傳言稱，微軟已經(jīng)淪落為OpenAI的一個(gè)IT部門(mén)。

在過(guò)去的一年，每個(gè)人熟知的，微軟在LLM方面的研究，主要集中在小體量phi的更新，比如Phi-3的開(kāi)源。

而在大模型的專攻上，除了圖靈系列，微軟內(nèi)部還未透露半點(diǎn)風(fēng)聲。

就在今天，微軟首席技術(shù)官Kevin Scott證實(shí)，MAI大模型確實(shí)正在開(kāi)發(fā)中。

顯然，微軟秘密籌備大模型的計(jì)劃，是為了能夠開(kāi)發(fā)出一款全新LLM，能夠與OpenAI、谷歌、Anthropic頂尖模型競(jìng)爭(zhēng)。

畢竟，納德拉曾說(shuō)過(guò)，「如果OpenAI明天消失了，也無(wú)關(guān)緊要」。

「我們有的是人才、有的是算力、有的是數(shù)據(jù)，我們什么都不缺。我們?cè)谒麄冎�，在他們之上，在他們周�(chē)埂?/p>

看來(lái)，微軟的底氣，就是自己。

自研5000億MAI-1大模型

據(jù)介紹，MAI-1大模型由前谷歌DeepMind負(fù)責(zé)人Mustafa Suleyman，負(fù)責(zé)監(jiān)督。

值得一提的是，Suleyman在加入微軟之前，還是AI初創(chuàng)Inflection AI創(chuàng)始人兼CEO。

創(chuàng)辦于2022年，一年的時(shí)間，他帶領(lǐng)團(tuán)隊(duì)推出了大模型Inflection（目前已更新到了2.5版本），以及日活破百萬(wàn)的高情商AI助手Pi。

不過(guò)因?yàn)闊o(wú)法找到正確的商業(yè)模式，Suleyman和另一位聯(lián)創(chuàng)，以及大部分員工，在3月份共同加入微軟。

也就是說(shuō)，Suleyman和團(tuán)隊(duì)負(fù)責(zé)這個(gè)新項(xiàng)目MAI-1，會(huì)為此帶來(lái)更多的前沿大模型的經(jīng)驗(yàn)。

還是要提一句，MAI-1模型是微軟自研發(fā)的，并非從Inflection模型繼承而來(lái)。據(jù)兩位微軟員工稱，「MAI-1與Inflection之前發(fā)布的模型不同」。

不過(guò)，訓(xùn)練過(guò)程可能會(huì)用到其訓(xùn)練數(shù)據(jù)和技術(shù)。擁有5000億參數(shù)，MAI-1的參數(shù)規(guī)模將遠(yuǎn)遠(yuǎn)超出，微軟以往訓(xùn)練的任何小規(guī)模開(kāi)源模型。

這也意味著，它將需要更多的算力、數(shù)據(jù)，訓(xùn)練成本也是高昂的。

為了訓(xùn)練這款新模型，微軟已經(jīng)預(yù)留了一大批配備英偉達(dá)GPU的服務(wù)器，并一直在編制訓(xùn)練數(shù)據(jù)以優(yōu)化模型。

其中，包括來(lái)自GPT-4生成的文本，以及外部來(lái)源（互聯(lián)網(wǎng)公共數(shù)據(jù)）的各種數(shù)據(jù)集。

大小模型，我都要

相比之下，GPT-4曾被曝出有1.8萬(wàn)億參數(shù)，Meta、Mistral等AI公司發(fā)布較小開(kāi)源模型，則有700億參數(shù)。

當(dāng)然，微軟采取的是多管齊下的策略，即大小模型一起研發(fā)。

其中，最經(jīng)典的便是Phi-3了——一個(gè)能夠塞進(jìn)手機(jī)的小模型，而且最小尺寸3.8B性能碾壓GPT-3.5。

Phi-3 mini在量化到4bit的情況下，僅占用大約1.8GB的內(nèi)存，用iPhone14每秒可生成12個(gè)token。

在網(wǎng)友拋出「應(yīng)該用更低成本訓(xùn)練AI，不是更好嗎」的問(wèn)題后，Kevin Scott回復(fù)到：

這并不是一個(gè)非此即彼的關(guān)系。在許多AI應(yīng)用中，我們結(jié)合使用大型前沿模型和更小、更有針對(duì)性的模型。我們做了大量工作，確保SLM在設(shè)備上和云中都能很好地運(yùn)作。我們?cè)谟?xùn)練SLM方面積累了大量經(jīng)驗(yàn)，甚至還將其中一些工作開(kāi)源，供他人研究和使用。我認(rèn)為，在可預(yù)見(jiàn)的未來(lái)，這種大與小的結(jié)合還將繼續(xù)下去。

這表明，微軟既要開(kāi)發(fā)成本低廉、可集成到應(yīng)用中，并能在移動(dòng)設(shè)備上運(yùn)行的SLM，也要開(kāi)發(fā)更大、更先進(jìn)的AI模型。

目前，微軟自稱是一家「Copilot公司」。得到AI加持的Copilot聊天機(jī)器人，可以完成撰寫(xiě)電子郵件、快速總結(jié)文件等任務(wù)。

而未來(lái)，下一步的機(jī)會(huì)在哪？

大小模型兼顧，正體現(xiàn)了充滿創(chuàng)新活力的微軟，更愿意探索AI的新路徑。

不給OpenAI當(dāng)「IT」了？

話又說(shuō)回來(lái)，自研MAI-1，并不意味著微軟將會(huì)拋棄OpenAI。

首席技術(shù)官Kevin Scott在今早的帖子中首先，肯定了微軟與OpenAI合作五年的堅(jiān)固「友誼」。

我們一直在為合作伙伴OpenAI建造大型超算，來(lái)訓(xùn)練前沿的AI模型。然后，兩家都會(huì)將模型，應(yīng)用到自家的產(chǎn)品和服務(wù)中，讓更多的人受益。

而且，每一代新的超算都將比上一代，更加強(qiáng)大，因此OpenAI訓(xùn)出的每個(gè)前沿模型，都要比上一個(gè)更加先進(jìn)。

我們將繼續(xù)沿著這條路走下去——不斷構(gòu)建更強(qiáng)大的超算，讓OpenAI能夠訓(xùn)練出引領(lǐng)整個(gè)行業(yè)的模型。我們的合作將會(huì)產(chǎn)生越來(lái)越大的影響力。

前段時(shí)間，外媒曝出了，微軟和OpenAI聯(lián)手打造AI超算「星際之門(mén)」，將斥資高達(dá)1150億美元。

據(jù)稱，最快將在2028年推出超算，并在2030年之前進(jìn)一步擴(kuò)展。

包括此前，微軟工程師向創(chuàng)業(yè)者Kyle Corbitt爆料稱，微軟正在緊鑼密鼓地建設(shè)10萬(wàn)個(gè)H100，以供OpenAI訓(xùn)練GPT-6。

種種跡象表明，微軟與OpenAI之間合作，只會(huì)更加牢固。

此外，Scott還表示，「除了與OpenAI的合作，微軟多年來(lái)一直都在讓MSR和各產(chǎn)品團(tuán)隊(duì)開(kāi)發(fā)AI模型」。

AI模型幾乎深入到了，微軟的所有產(chǎn)品、服務(wù)和運(yùn)營(yíng)過(guò)程中。團(tuán)隊(duì)們有時(shí)也需要進(jìn)行定制化工作，不論是從零開(kāi)始訓(xùn)模型，還是對(duì)現(xiàn)有模型進(jìn)行微調(diào)。

未來(lái)，還會(huì)有更多類似的這樣的情況。

這些模型中，一些被命名為T(mén)uring、MAI等，還有的命名為Phi，我們并將其開(kāi)源。

雖然我的表達(dá)可能沒(méi)有那么引人注目，但這是現(xiàn)實(shí)。對(duì)于我們這些極客來(lái)說(shuō)，鑒于這一切在實(shí)踐中的復(fù)雜性，這是一個(gè)非常令人興奮的現(xiàn)實(shí)。

解密「圖靈」模型

除了MAI、Phi系列模型，代號(hào)「Turing」是微軟在2017年在內(nèi)部開(kāi)啟的計(jì)劃，旨在打造一款大模型，并應(yīng)用到所有產(chǎn)品線中。

經(jīng)過(guò)3年研發(fā)，他們?cè)?020年首次發(fā)布170億參數(shù)的T-NLG模型，創(chuàng)當(dāng)時(shí)有史以來(lái)最大參數(shù)規(guī)模的LLM記錄。

到了2021年，微軟聯(lián)手英偉達(dá)發(fā)布了5300億參數(shù)的Megatron-Turing（MT-NLP），在一系列廣泛的自然語(yǔ)言任務(wù)中表現(xiàn)出了「無(wú)與倫比」的準(zhǔn)確性。

同年，視覺(jué)語(yǔ)言模型Turing Bletchley首次面世。

去年8月，該多模態(tài)模型已經(jīng)迭代到了V3版本，而且已經(jīng)整合進(jìn)Bing等相關(guān)產(chǎn)品中，以提供更出色的圖像搜索體驗(yàn)。

此外，微軟還在2021年和2022年發(fā)布了「圖靈通用語(yǔ)言表示模型」——T-ULRv5和T-ULRv6兩個(gè)版本。

目前，「圖靈」模型已經(jīng)用在了，Word中的智能查詢（SmartFind），Xbox中的問(wèn)題匹配（Question Matching）上。

還有團(tuán)隊(duì)研發(fā)的圖像超分辨率模型Turing Image Super-Resolution（T-ISR），已在必應(yīng)地圖中得到應(yīng)用，可以為全球用戶提高航空?qǐng)D像的質(zhì)量。

目前，MAI-1新模型具體會(huì)在哪得到應(yīng)用，還未確定，將取決于其性能表現(xiàn)。

順便提一句，關(guān)于MAI-1更多的信息，可能會(huì)在5月21日-23日微軟Build開(kāi)發(fā)者大會(huì)上首次展示。

接下來(lái)，就是坐等MAI-1發(fā)布了。

參考資料：

https://www.theinformation.com/articles/meet-mai-1-microsoft-readies-new-ai-model-to-compete-with-google-openai?rc=epv9gi

https://www.businessinsider.com/microsoft-training-ai-model-rivals-openais-gpt-4-2024-5

https://www.linkedin.com/feed/update/urn:li:activity:7193273937273712643/

文章來(lái)源：新智元
新智元

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
二維碼 回到頂部