首頁(yè) > 科技要聞 > 科技> 正文

國(guó)產(chǎn)開源MoE指標(biāo)炸裂：GPT-4級(jí)別能力，API價(jià)格僅百分之一

量子位 整合編輯：龔震 發(fā)布于：2024-05-07 16:54

最新國(guó)產(chǎn)開源MoE大模型，剛剛亮相就火了。

DeepSeek-V2性能達(dá)GPT-4級(jí)別，但開源、可免費(fèi)商用、API價(jià)格僅為GPT-4-Turbo的百分之一。

因此一經(jīng)發(fā)布，立馬引發(fā)不小討論。

從公布的性能指標(biāo)來(lái)看，DeepSeek-V2的中文綜合能力超越一眾開源模型，并和GPT-4-Turbo、文心4.0等閉源模型同處第一梯隊(duì)。

英文綜合能力也和LLaMA3-70B同處第一梯隊(duì)，并且超過了同是MoE的Mixtral 8x22B。

在知識(shí)、數(shù)學(xué)、推理、編程等方面也表現(xiàn)出不錯(cuò)性能。并支持128K上下文。

這些能力，普通用戶都能直接免費(fèi)使用�，F(xiàn)在內(nèi)測(cè)已開啟，注冊(cè)后立馬就能體驗(yàn)。

API更是是骨折價(jià)：每百萬(wàn)tokens輸入1元、輸出2元（32K上下文）。價(jià)格僅為GPT-4-Turbo的近百分之一。

同時(shí)在模型架構(gòu)也進(jìn)行創(chuàng)新，采用了自研的MLA（Multi-head Latent Attention）和Sparse結(jié)構(gòu)，可大幅減少模型計(jì)算量、推理顯存。

網(wǎng)友感嘆：DeepSeek總是給人帶來(lái)驚喜！

具體效果如何，我們已搶先體驗(yàn)！

實(shí)測(cè)一下

目前V2內(nèi)測(cè)版可以體驗(yàn)通用對(duì)話和代碼助手。

在通用對(duì)話中可以測(cè)試大模型的邏輯、知識(shí)、生成、數(shù)學(xué)等能力。

比如可以要求它模仿《甄嬛傳》的文風(fēng)寫口紅種草文案。

還可以通俗解釋什么是量子糾纏。

數(shù)學(xué)方面，能回答高數(shù)微積分問題，比如：

使用微積分證明自然對(duì)數(shù)的底e 的無(wú)窮級(jí)數(shù)表示。

也能規(guī)避掉一些語(yǔ)言邏輯陷阱。

測(cè)試顯示，DeepSeek-V2的知識(shí)內(nèi)容更新到2023年。

代碼方面，內(nèi)測(cè)頁(yè)面顯示是使用DeepSeek-Coder-33B回答問題。

在生成較簡(jiǎn)單代碼上，實(shí)測(cè)幾次都沒有出錯(cuò)。

也能針對(duì)給出的代碼做出解釋和分析。

不過測(cè)試中也有回答錯(cuò)誤的情況。

如下邏輯題目，DeepSeek-V2在計(jì)算過程中，錯(cuò)誤將一支蠟燭從兩端同時(shí)點(diǎn)燃、燃燒完的時(shí)間，計(jì)算成了從一端點(diǎn)燃燒完的四分之一。

帶來(lái)哪些升級(jí)？

據(jù)官方介紹，DeepSeek-V2以236B總參數(shù)、21B激活，大致達(dá)到70B~110B Dense的模型能力。

和此前的DeepSeek 67B相比，它的性能更強(qiáng)，同時(shí)訓(xùn)練成本更低，可節(jié)省42.5%訓(xùn)練成本，減少93.3%的KV緩存，最大吞吐量提高到5.76倍。

官方表示這意味著DeepSeek-V2消耗的顯存（KV Cache）只有同級(jí)別Dense模型的1/5~1/100，每token成本大幅降低。

專門針對(duì)H800規(guī)格做了大量通訊優(yōu)化，實(shí)際部署在8卡H800機(jī)器上，輸入吞吐量超過每秒10萬(wàn)tokens，輸出超過每秒5萬(wàn)tokens。

在一些基礎(chǔ)Benchmark上，DeepSeek-V2基礎(chǔ)模型表現(xiàn)如下：

DeepSeek-V2 采用了創(chuàng)新的架構(gòu)。

提出MLA（Multi-head Latent Attention）架構(gòu)，大幅減少計(jì)算量和推理顯存。

同時(shí)自研了Sparse結(jié)構(gòu)，使其計(jì)算量進(jìn)一步降低。

有人就表示，這些升級(jí)對(duì)于數(shù)據(jù)中心大型計(jì)算可能非常有幫助。

而且在API定價(jià)上，DeepSeek-V2幾乎低于市面上所有明星大模型。

團(tuán)隊(duì)表示，DeepSeek-V2模型和論文也將完全開源。模型權(quán)重、技術(shù)報(bào)告都給出。

現(xiàn)在登錄DeepSeek API開放平臺(tái)，注冊(cè)即贈(zèng)送1000萬(wàn)輸入/500萬(wàn)輸出Tokens。普通試玩則完全免費(fèi)。

感興趣的童鞋，可以來(lái)薅羊毛了~

體驗(yàn)地址：

https://chat.deepseek.com

API平臺(tái)：

platform.deepseek.com

GitHub：

https://github.com/deepseek-ai/DeepSeek-V2?tab=readme-ov-file

文章來(lái)源：量子位
量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
二維碼 回到頂部