首頁 > 科技要聞 > 科技> 正文

1毛錢1百萬token，寫2遍紅樓夢！國產(chǎn)大模型下一步還想卷什么？

新智元 整合編輯：太平洋科技 發(fā)布于：2024-06-06 15:11

昨天智譜AI開放日上，新一代MaaS平臺2.0正式發(fā)布。

這次，GLM技術(shù)團隊帶來的是從模型，到成本、企業(yè)定制模型，以及業(yè)務(wù)場景的全面升級。

令人驚喜的是，第四代GLM系列開源模型GLM-4 9B，官宣開源免費用，還具備了多模態(tài)能力。同時，新發(fā)布的GLM-4-AIR性能媲美此前的最大基座模型，且價格降至1元/M token。

在5月這波價格戰(zhàn)之后，國內(nèi)主流大模型API調(diào)用已經(jīng)直降超90%。

需要明白的是，即便token價格無限逼近零，企業(yè)需要搞清楚如何用才能發(fā)揮巨大業(yè)務(wù)價值。

否則，再便宜也是無用功。

這次的發(fā)布，直接將智譜AI帶入了商業(yè)化的最后一站。新一代MaaS平臺出場，便是一個很好的起點。

大模型2024：既要落地，又要開源

如果說2023年是世界發(fā)現(xiàn)生成式AI的一年，那么，2024年才是企業(yè)真正使用GenAI，并從中獲得商業(yè)價值的一年。

麥肯錫最新的全球調(diào)查報告稱，65%的受訪者表示企業(yè)會經(jīng)常使用生成式AI。

而這個數(shù)字，比十個月前的調(diào)查（33%），幾乎翻了一番。

對于企業(yè)來說，從選用模型，到以低成本微調(diào)部署模型，并擁有靈活可用的全棧工具鏈，是讓GenAI走向落地必不可少的過程。

那些無法「造血」沒有自研模型的公司，就需要通過API、MaaS等平臺，以便讓LLM融入工作流。

比如，法律AI初創(chuàng)公司Harvey，通過OpenAI API，為律師們微調(diào)定制了一個「案例法模型」。

而且，經(jīng)過測試，相較于GPT-4，有97%的律師更喜歡使用Harvey的模型。

而另一個典型的案例是，開源社區(qū)借助Llama 3之力，已經(jīng)大大加速GenAI在醫(yī)療領(lǐng)域的應(yīng)用。

在英偉達NIM推理微服務(wù)平臺支持下，醫(yī)療開發(fā)者利用Llama 3已經(jīng)開發(fā)出各種聊天助手、健康A(chǔ)PP等。

反觀國內(nèi)，LLM落地究竟有多火，就從卷瘋的token價格戰(zhàn)，可一瞥而知。

API價格，已經(jīng)卷瘋

而在國產(chǎn)大模型的戰(zhàn)場上，價格戰(zhàn)也在最近卷出新高。

智譜AI開放平臺的新用戶，登錄就送的500萬token直接漲到2500萬token

GLM-3-Turbo每千token從0.005元直降到0.001元

GLM-3 Turbo批處理API的價格也直接砍半，每千token砍到0.0005元

隨后，火山引擎祭出更勁爆價格——豆包的企業(yè)定價直接擊穿地心，千token低至0.0008元，比整個行業(yè)都便宜了99.3%。

智譜AI表示，基于技術(shù)突破、效率提升和成本控制三個因素綜合的結(jié)果。通過大模型價格調(diào)整，更好滿足開發(fā)者、客戶需求。

當(dāng)然，價格戰(zhàn)僅是智譜AI貫徹MaaS戰(zhàn)略中的一個「支點」。

大廠MaaS，如火如荼

大模型沸騰的熱度，也讓國內(nèi)廠商的MaaS發(fā)展如火如荼。

所謂MaaS，即用戶可以直接使用不同參數(shù)、不同規(guī)格的細分模型，來應(yīng)對千變?nèi)f化的應(yīng)用場景。

商業(yè)鏈路打通后，蜂擁而至的開發(fā)者，就會讓應(yīng)用商店持續(xù)繁榮，形成「馬太效應(yīng)」。

今天的OpenDay上，智譜AI宣布MaaS平臺不僅已經(jīng)擁有了30萬注冊用戶，而且模型的日均調(diào)用量也超過了400億token。

在下面這條曲線中可以看出，在過去6個月中，智譜每日API的消耗量，增長了50倍以上。這正說明：已經(jīng)有越來越多的企業(yè)，已經(jīng)真正把模型用到了日常工作中。

GLM-4的API調(diào)用量則，則達到了90倍的增長。這也正說明，企業(yè)已經(jīng)開始利用模型能力進入深水區(qū)，解決一些真正復(fù)雜的問題。

而今年，大家開始對于大模型有了一些新的期待——除了更強大、更快的模型，用戶也開始對成本變得敏感。

模型升級：0.1元寫2本《紅樓夢》

如今，平臺上已經(jīng)全線接入新模型，由ChatGLM3-6B升級為GLM-4-9B，堪稱“最能打的小模型”，已經(jīng)全面超過了 Llama3-8B-Instruct。

在開放平臺上，它變成GLM-4 Flash版本，價格相對于GLM-3-Turbo再次降價10倍，僅僅0.1元，就可以擁有一百萬tokens，足夠?qū)憙杀舅拇竺耍?/span>

如果小模型不能滿足需求，新推出的GLM-4-Air性能更加強大。它的性能跟和此前的GLM-4-0116相仿，但價格僅為前者的百分之一！一百萬tokens，僅需一元。

而許多企業(yè)應(yīng)用到深水區(qū)時，對速度也有極高的要求，在此基礎(chǔ)之上，智譜加入了極速版。

效果不變，但推理速度直升162%。71 token每秒，相當(dāng)于每秒可以直出100多個漢字！

并且，GLM-4-0116也同時升級了。

就在今天，智譜推出了GLM-4-0520，它的綜合能力，已經(jīng)提升了11.9%。

真正做過模型的應(yīng)用的人，都明白這意味著什么：雖然在數(shù)字上看來只是一點點的提升，但這已經(jīng)進一步提升了模型的天花板，極大擴展應(yīng)用的范圍，降低應(yīng)用的成本。

如今，智譜AI已經(jīng)擁有全模型矩陣。

無論是GLM-4V，還是CogView-3，降價都達到了50%-60%——一張圖只需一毛錢。

開放平臺升級：3步訓(xùn)出一個私有模型

每個企業(yè)都希望構(gòu)建自己的私有模型。雖然開源生態(tài)讓模型訓(xùn)練門檻大幅降低，但對于絕大多數(shù)企業(yè)，這個過程依然太復(fù)雜。

為此，智譜AI也全面升級了自己的平臺，僅僅三步——準(zhǔn)備數(shù)據(jù)、創(chuàng)建微調(diào)任務(wù)、部署模型，就能讓企業(yè)訓(xùn)出一個私有模型了！

這個過程中，不需要任何代碼功底。而且，GLM-4全系列模型都支持這樣的微調(diào)。

針對企業(yè)，智譜AI提供了兩種模式：LoRA微調(diào)和全參微調(diào)。

LoRA微調(diào)，可以說是性價比之王，用更低的成本達到較好的結(jié)果。

全參微調(diào)，相當(dāng)于是探索模型微調(diào)的極限。

可以看到，訓(xùn)練成本可以降低到87%。在LoRA微調(diào)上，GLM-4每千token只需要四毛錢，GLM-4-Air則只需要三分錢。

比起訓(xùn)練千億模型動輒需要的多臺A100、A800，顯然門檻已經(jīng)大幅降低。

而即使是全參微調(diào)的情況下，GLM-4每千token也只需要六毛錢，GLM-4-Air則只需要五分錢。

下面這個例子，是一個發(fā)生在客戶身上的真實實驗。

客戶需要模型能夠提供某領(lǐng)域?qū)I(yè)化的咨詢服務(wù)，于是，智譜AI嘗試為客戶做了微調(diào)。

他們選擇了6000條語料，折合下來是一千萬token。

訓(xùn)練后，模型的可用性從60%，直接上升到了89%！

這不是一個簡單的提升，而是一個本質(zhì)性的飛躍，讓模型從不可用，變成了完全可用，進一步探索了模型使用的邊界。

所以，這次微調(diào)的成本是多少？

答案令人驚詫——如果使用LoRA的話，成本僅為300元！即使選擇全參，也只需要500元。

這個具體的demo，可以讓我們深刻地體會到，如今訓(xùn)練出一個私有模型是多么容易。

另外，在AllTools的API平臺上，智能體的能力能讓大模型從解決一個單一任務(wù)，變成處理一個復(fù)雜任務(wù)。

在企業(yè)端，這樣讓使用模型的能力大幅度放開。

從此，每一家企業(yè)都能制作自己的智能體，以及智能體平臺。

它可以讓模型更好拆解任務(wù)，更好調(diào)用上下文function call的能力，還為企業(yè)提供了常用的一些智能體插件。

包括代碼解釋器、知識庫檢索增強、函數(shù)調(diào)用能力等等。

開放平臺地址：bigmodel.cn

國內(nèi)開源，影響世界

另一邊，國內(nèi)模型開源掀起的風(fēng)浪，已然波及到全世界。

而堅持開源，是智譜AI一直以來的傳統(tǒng)。

他們不僅是國產(chǎn)LLM的領(lǐng)頭羊，也是大模型學(xué)術(shù)生態(tài)、開源生態(tài)中，不可忽視，首屈一指的中國力量。

目前為止，智譜AI已經(jīng)有三代模型全部開源。

6B系列開源模型，在Github上已累計獲得超過6萬star，相當(dāng)于Llama系列模型的star總數(shù)，超過了Grok和其他所有模型；在Hugging Face上吸引了超過1300萬次下載，四周Hugging Face趨勢榜第一。

GPT-4發(fā)布的同一天，團隊首次開源了ChatGLM-6B模型，隨后6月開源了二代6B模型，并首次引入GQA、FlashAttention技術(shù)，將模型上下文擴充到32K，并加速了生成速度。

緊接著10月，三代6B模型開源，支持128K上下文。

GLM-4 9B系列，免費開源

今天，智譜帶來了第四代開源模型最新成果——GLM-4-9B。

顯然，這次開源模型最大的變化是，參數(shù)規(guī)模從6B升級到了9B，并首次擁有了多模態(tài)能力。

而且，基于強大基座模型，GLM-4-9B不僅擁有更強的基礎(chǔ)能力，更長的上下文，更精準(zhǔn)的函數(shù)調(diào)用和All Tools能力。

比起上一代ChatGLM3-6B，在5倍的計算量下，GLM-4 9B的性能從61.4提升到了72.4，中英文綜合能力提升40%。

另外，在與訓(xùn)練量更多的Llama-3-8B-Instruct較量中，GLM-4-9B毫不遜色。

具體來說，英文方面，第四代模型小幅領(lǐng)先，而在中文學(xué)科方面實現(xiàn)了50%的提升。

1M上下文，一次讀完2本《紅樓夢》

除此以外，GLM-4-9B的上下文從128K擴展到了1M，可同時處理200萬字的輸入。

這相當(dāng)于，能夠一次讀完2本《紅樓夢》，又或是125篇論文。

在長度為128K的LongBench-Chat上，GLM-4-9B-Chat模型相比上一代提升了20%。同時，在長度為1M的大海撈針測試中，GLM-4-9B-Chat-1M獲得了「全綠」的成績。

演示中，在1M版本模型中，輸入《三體》的三本全集，共90萬字的內(nèi)容。

然后，給模型prompt「請仔細閱讀上面的三部小說，如果讓你給這個小說寫第四部，你會怎么寫，請給出大綱」。

模型給出了比較合理的續(xù)寫規(guī)劃。

另外，GLM-4-9B函數(shù)調(diào)用能力，比上一代大幅提升40%。

在UC伯克利函數(shù)調(diào)用Leaderboard上，9B模型函數(shù)調(diào)用能力，即可媲美GPT-4-Turbo。

智譜AI在開源倉庫中，還提供了一個完整的All Tools Demo，開發(fā)者可以在本地擁有一個輕量級的清言平替。

比如，先用網(wǎng)頁搜索「馬拉松的世界紀錄」，然后用代碼解釋器去計算「跑步平均速度」。

搜索世界紀錄

計算平均速度

All Tools還有非常多的組合，開發(fā)者可以自行去探索。

多模態(tài)比肩GPT-4V

除了文本模型，這次一并開源了多模態(tài)模型GLM-4V-9B。

最新模型采用了與CogVLM2相似的架構(gòu)設(shè)計，能夠處理高達1120 x 1120分辨率的輸入，并通過降采樣技術(shù)有效減少了token的開銷。

與CogVLM的不同之處在于，GLM-4V-9B并沒有通過引入額外的視覺專家來增加參數(shù)量，而是采用了直接混合文本和圖片數(shù)據(jù)的方式進行訓(xùn)練。

這種訓(xùn)練方法使得GLM-4V-9B模型能夠同時具備強大的文本和視覺處理能力，實現(xiàn)了真正的多模態(tài)學(xué)習(xí)。

它能夠以13B總參數(shù)激活量，超越了一眾多模態(tài)模型，甚至比肩GPT-4V。

不如看看，GLM-4V-9B在實際任務(wù)中的表現(xiàn)。

比如，讓模型去識別T恤上的公式印花——麥克斯韋方程式。

你甚至，還可以追問關(guān)于方程組的細節(jié)，模型可以憑借自己的文本能力完成回答。

這從另一方面印證了，并沒有因為引入多模態(tài)能力，而喪失模型原本的文本能力。

在下面這個例子中，是截取清華大學(xué)網(wǎng)絡(luò)學(xué)堂的一個網(wǎng)頁截圖，并要求模型翻譯成HTML代碼。

GLM-4V-9B就可以識別出其中元素，并翻譯成相應(yīng)的代碼。

整體來說，GLM-4-9B模型共有9.4B參數(shù)，是在10T的高質(zhì)量多語言數(shù)據(jù)上，完成了預(yù)訓(xùn)練，幾乎利用了所有網(wǎng)頁數(shù)據(jù)。

其數(shù)據(jù)量是ChatGLM3-6B模型的3倍還要多。

與此同時，智譜AI采用了FP8精度進行高效的預(yù)訓(xùn)練并成功收斂，比起上一代模型，訓(xùn)練效率提升3.5倍。

由此，智譜AI將參數(shù)規(guī)模從6B擴展至9B，并將預(yù)訓(xùn)練計算量增加了5倍。

基于文本基座，打造的多模態(tài)模型GLM-4V-9B，完全融合了文本和視覺模型，并與GPT-4V不相上下。

成立于2019年，智譜AI用了4年的時間從一家明星創(chuàng)業(yè)公司，躋身為國內(nèi)頭部AI獨角獸。

一直以來，外界對智譜的印象是，清華系國家隊，全面對標(biāo)OpenAI技術(shù)領(lǐng)先，to B氣質(zhì)強烈。

智譜不僅在大模型的能力上向OpenAI看齊，而且在投資領(lǐng)域布局上也不遑多讓，深受資本青睞。

過去一年中，他們完成了3次基座大模型升級迭代，這次OpenDay 核心展示了面向AGI愿景的完整產(chǎn)品矩陣，透傳出未來商業(yè)化的模式。

智譜AI正把MaaS商業(yè)模式提升到新的境界。MaaS平臺2.0的誕生，將會進一步擴大智譜生態(tài)朋友圈。

本文來源：新智元
新智元

網(wǎng)友評論

聚超值•精選

推薦 手機 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來
二維碼 回到頂部