首頁(yè) > 科技要聞 > 科技> 正文

58行代碼把Llama 3擴(kuò)展到100萬(wàn)上下文，任何微調(diào)版都適用

量子位 整合編輯：龔震 發(fā)布于：2024-05-09 17:28

堂堂開(kāi)源之王Llama 3，原版上下文窗口居然只有……8k，讓到嘴邊的一句“真香”又咽回去了。

在32k起步，100k尋常的今天，這是故意要給開(kāi)源社區(qū)留做貢獻(xiàn)的空間嗎？

開(kāi)源社區(qū)當(dāng)然不會(huì)放過(guò)這個(gè)機(jī)會(huì)：

現(xiàn)在只需58行代碼，任何Llama 3 70b的微調(diào)版本都能自動(dòng)擴(kuò)展到1048k（一百萬(wàn)）上下文。

背后是一個(gè)LoRA，從擴(kuò)展好上下文的Llama 3 70B Instruct微調(diào)版本中提取出來(lái)，文件只有800mb。

接下來(lái)使用Mergekit，就可以與其他同架構(gòu)模型一起運(yùn)行或直接合并到模型中。

所使用的1048k上下文微調(diào)版本，剛剛在流行的大海撈針測(cè)試中達(dá)到全綠（100%準(zhǔn)確率）的成績(jī)。

不得不說(shuō)，開(kāi)源的進(jìn)步速度是指數(shù)級(jí)的。

1048k上下文LoRA怎么煉成的

首先1048k上下文版Llama 3微調(diào)模型來(lái)自Gradient AI，一個(gè)企業(yè)AI解決方案初創(chuàng)公司。

而對(duì)應(yīng)的LoRA來(lái)自開(kāi)發(fā)者Eric Hartford，通過(guò)比較微調(diào)模型與原版的差異，提取出參數(shù)的變化。

他先制作了524k上下文版，隨后又更新了1048k版本。

首先，Gradient團(tuán)隊(duì)先在原版Llama 3 70B Instruct的基礎(chǔ)上繼續(xù)訓(xùn)練，得到Llama-3-70B-Instruct-Gradient-1048k。

具體方法如下：

-調(diào)整位置編碼：用NTK-aware插值初始化RoPE theta的最佳調(diào)度，進(jìn)行優(yōu)化，防止擴(kuò)展長(zhǎng)度后丟失高頻信息

-漸進(jìn)式訓(xùn)練：使用UC伯克利Pieter Abbeel團(tuán)隊(duì)提出的Blockwise RingAttention方法擴(kuò)展模型的上下文長(zhǎng)度

值得注意的是，團(tuán)隊(duì)通過(guò)自定義網(wǎng)絡(luò)拓?fù)湓赗ing Attention之上分層并行化，更好地利用大型GPU集群來(lái)應(yīng)對(duì)設(shè)備之間傳遞許多KV blocks帶來(lái)的網(wǎng)絡(luò)瓶頸。

最終使模型的訓(xùn)練速度提高了33倍。

長(zhǎng)文本檢索性能評(píng)估中，只在最難的版本中，當(dāng)“針”藏在文本中間部分時(shí)容易出錯(cuò)。

有了擴(kuò)展好上下文的微調(diào)模型之后，使用開(kāi)源工具M(jìn)ergekit比較微調(diào)模型和基礎(chǔ)模型，提取參數(shù)的差異成為L(zhǎng)oRA。

同樣使用Mergekit，就可以把提取好的LoRA合并到其他同架構(gòu)模型中了。

合并代碼也由Eric Hartford開(kāi)源在GitHub上，只有58行。

目前尚不清楚這種LoRA合并是否適用于在中文上微調(diào)的Llama 3。

不過(guò)可以看到，中文開(kāi)發(fā)者社區(qū)已經(jīng)關(guān)注到了這一進(jìn)展。

524k版本LoRA：https://huggingface.co/cognitivecomputations/Llama-3-70B-Gradient-524k-adapter

1048k版本LoRA：https://huggingface.co/cognitivecomputations/Llama-3-70B-Gradient-1048k-adapter

合并代碼：https://gist.github.com/ehartford/731e3f7079db234fa1b79a01e09859ac

參考鏈接：

[1]https://twitter.com/erhartford/status/1786887884211138784

文章來(lái)源：量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
二維碼 回到頂部