首頁(yè) > 科技要聞 > 科技> 正文

蘋(píng)果首次公布自研模型細(xì)節(jié)！ 揭秘 Apple 智能怎么煉成，即使沒(méi)有 GPT-4o 也能打

appso 整合編輯：太平洋科技 發(fā)布于：2024-06-13 17:19

蘋(píng)果發(fā)布會(huì)剛開(kāi)到一半，Apple 智能（Apple Intelligence）的詞條就已經(jīng)席卷了熱搜榜。

發(fā)布會(huì)上，蘋(píng)果官宣牽手 OpenAI，GPT-4o 將被正式融合到 Apple 智能系統(tǒng)。

盡管蘋(píng)果高管 Craig Fedrighi 對(duì)外表示，OpenAI 僅僅只是入選者之一，但這場(chǎng)看似珠聯(lián)璧合的合作卻還是躲不過(guò)外界的「挑刺兒」和「吃瓜」。

就連馬斯克都來(lái)湊熱鬧，先是給蘋(píng)果的隱私保護(hù)打了個(gè)差評(píng)，接著放狠話說(shuō)要禁用蘋(píng)果設(shè)備，不過(guò)，劇情總有反轉(zhuǎn)，據(jù) CNBC 報(bào)道，馬斯克已經(jīng)撤回了針對(duì) OpenAI 及其 CEO Sam Altman 的訴訟。

另外，還有細(xì)心的網(wǎng)友發(fā)現(xiàn)新版 Siri 似乎真能讀取手機(jī)上的所有應(yīng)用程序，究竟真相如何，不妨翻閱一下蘋(píng)果最新發(fā)布的博客，或許這里面隱藏著答案。

端云混合，30 億參數(shù)端側(cè)模型有驚喜

Apple 智能走的是兩條腿并行的路，即端側(cè)模型和云端大模型。

云端大模型自不用提，龐大而復(fù)雜，需要在蘋(píng)果的芯片服務(wù)器上運(yùn)行，并且還能夠處理更專業(yè)、更復(fù)雜的任務(wù)。

而在端側(cè)模型上，Apple 智能擁有一個(gè)大約 3B 參數(shù)的模型。在國(guó)內(nèi)普遍徘徊在 7B 的水平線面前，蘋(píng)果的 3B 參數(shù)顯得有些低調(diào)。

一般來(lái)說(shuō)，考慮到端側(cè)設(shè)備計(jì)算能力和存儲(chǔ)空間有限，參數(shù)越多，模型的學(xué)習(xí)能力越強(qiáng)。盡管蘋(píng)果這個(gè)端側(cè)模型只有 3B 參數(shù)，但也是「四兩撥千斤」的標(biāo)桿之作。

在過(guò)去的一整年， 類似這種大有打破「Scaling Laws」的案例我們可沒(méi)少見(jiàn)。

比如微軟最新的 Phi-3-mini 模型，只用 3.8B 參數(shù)就敢與 7B 大哥叫板。又或者，跑在 Google Pixel 8 Pro 上的 Gemini Nano 分別只有 1.8B（Nano-1）和 3.25B （Nano-2）。

比起紙面參數(shù)上的較量，蘋(píng)果主打一個(gè)用戶的體驗(yàn)才是王道。

博客透露，蘋(píng)果采用了很多真實(shí)世界中的例子來(lái)測(cè)試模型的實(shí)際效果，從分類、問(wèn)答、數(shù)學(xué)推理、到開(kāi)放式問(wèn)答、安全性、總結(jié)和寫(xiě)作，可謂是應(yīng)有盡有。

而且，就算是和 Phi-3-mini、Gemma-7B、Mistral-7B 等模型同臺(tái)競(jìng)技，在人類「評(píng)委」的投票下，蘋(píng)果的端側(cè)模型也都是眾望所謂的佼佼者。

蘋(píng)果對(duì) AI 的追求，不僅僅是好用，更是安全。

比如在測(cè)試處理有害內(nèi)容、敏感話題和事實(shí)準(zhǔn)確性的能力上，蘋(píng)果基礎(chǔ)模型也都是下足了功夫，違規(guī)率遠(yuǎn)低于絕大多數(shù)模型。

作為一家作為坐擁超過(guò) 22 億活躍設(shè)備的巨頭，蘋(píng)果在違規(guī)率上的選擇似乎只有低和更低。這其實(shí)也與蘋(píng)果一貫的安全措施相吻合。

它必須了解你，并基于你的個(gè)人背景，比如你的日常生活、你的人際關(guān)系、你的溝通等等，所有這一切都超出了人工智能的范圍。這是個(gè)人智能，也是蘋(píng)果公司的下一個(gè)重大舉措。

庫(kù)克的這番話雖然口頭上處處不談隱私，但字里行間全是隱私的雷點(diǎn)。

假如 AI 成了我們的「第二大腦」，隱私保護(hù)就不可以也不能是擺設(shè)。蘋(píng)果給出的方案是，Apple 智能是要深深扎根在 iPhone、iPad 和 Mac 里，這絕非功能或者服務(wù)，而是要成為系統(tǒng)的一部分。

但也正是因?yàn)槿绱�，馬斯克聲稱如果蘋(píng)果對(duì) ChatGPT 是系統(tǒng)級(jí)別的集成，他將禁止員工將 iPhone 帶入特斯拉。

不過(guò)，或許也不用過(guò)于擔(dān)心這個(gè)問(wèn)題，Apple 智能背后的模型主要分成三層。

本地模型：主要是經(jīng)過(guò)微調(diào)的 3B 小模型，專用于摘要、潤(rùn)色等任務(wù)，經(jīng)過(guò)適配器的加持后，能力不弱

私有云計(jì)算：本地模型滿足不了要求的，會(huì)傳到云端運(yùn)算。蘋(píng)果確保端到端加密，保障用戶數(shù)據(jù)的安全和隱私

第三方 LLM：用于泛用的知識(shí)問(wèn)答聊天，如 Siri 等應(yīng)用接入了 GPT-4o 等外部模型

也就是說(shuō)，蘋(píng)果本質(zhì)上還是將 OpenAI 的 ChatGPT 模型視為一個(gè)插件，也可能跟其他模型合作。如果蘋(píng)果自研模型足夠強(qiáng)，蘋(píng)果自然可以完全淘汰第三方 LLM。

另外，博客也提到，Apple 智能系統(tǒng)還包括其他一些模型，比如可以幫助程序員在 Xcode 中編寫(xiě)代碼的模型，以及幫助用戶在發(fā)短信時(shí)能夠更直觀、有趣地表達(dá)自己想法的擴(kuò)散模型。

Apple 智能是如何煉成的

如果你想在電腦上制作視頻，那你需要安裝一些額外的應(yīng)用程序。在 AI 模型的世界里，蘋(píng)果模型背后用到的「適配器」也是同樣的道理。

簡(jiǎn)單來(lái)說(shuō)，適配器即一些模型權(quán)重的小集合，相當(dāng)于一個(gè)小型的插件，讓模型能夠快速適應(yīng)不同的任務(wù)。

例如，模型處理郵件和通知的總結(jié)，看起來(lái)差不多，但實(shí)際上有許多細(xì)微的差別，所以蘋(píng)果給模型加上了一個(gè)叫做 LoRA 的適配器，讓它能更好地完成這種任務(wù)。

蘋(píng)果還特別挑選了 750 個(gè)不同的總結(jié)來(lái)測(cè)試實(shí)際效果，結(jié)果發(fā)現(xiàn)，用了適配器的模型確實(shí)比別的模型做得更好。

蘋(píng)果的訣竅在于，只調(diào)整這些適配器，而不動(dòng)基礎(chǔ)模型的「出廠設(shè)置」。這樣做的好處是，模型保留了它原有的廣泛知識(shí)，同時(shí)又能夠通過(guò)適配器來(lái)學(xué)習(xí)一些特殊的技能。

更重要的是，每個(gè)適配器占用的空間不大，哪怕模型有 30 億參數(shù)的模型大腦，也不過(guò)占幾十兆的「腦細(xì)胞」。

要想讓模型學(xué)得好，數(shù)據(jù)的質(zhì)量非常關(guān)鍵。

蘋(píng)果在訓(xùn)練模型時(shí)采取了一種混合策略，選擇用人工標(biāo)注的數(shù)據(jù)和蘋(píng)果自己生成的數(shù)據(jù)一起訓(xùn)練。

至于在訓(xùn)練這些基礎(chǔ)模型時(shí)，蘋(píng)果用的是一些經(jīng)過(guò)許可的特定數(shù)據(jù)，包括一些專門(mén)挑選出來(lái)增強(qiáng)模型特定功能的數(shù)據(jù)，以及用網(wǎng)絡(luò)爬蟲(chóng) AppleBot 從網(wǎng)上收集的公開(kāi)數(shù)據(jù)。

蘋(píng)果還強(qiáng)調(diào)，在訓(xùn)練這些基礎(chǔ)模型的過(guò)程中，蘋(píng)果并沒(méi)有用到用戶的私人信息或者用戶的任何交互數(shù)據(jù)，甚至還特別小心地用過(guò)濾器去清除那些在網(wǎng)上公開(kāi)的個(gè)人信息。

訓(xùn)練過(guò)程中，蘋(píng)果開(kāi)發(fā)了兩種新的技術(shù)手段來(lái)提高模型的效果：

具體來(lái)說(shuō)，第一種方法是在訓(xùn)練時(shí)，蘋(píng)果會(huì)讓模型參考一些「老師」的意見(jiàn)，這些「老師」會(huì)幫助模型在遇到不確定的情況時(shí)做出選擇。

第二種技術(shù)叫做基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），它是用一種特殊的優(yōu)化策略和留一算法來(lái)調(diào)整模型，讓模型能夠更好地估計(jì)自己的輸出是否準(zhǔn)確。

通過(guò)這兩種方法，模型在執(zhí)行任務(wù)時(shí)的準(zhǔn)確性有了很大的提升，學(xué)得更快、更準(zhǔn)確。而在解決手機(jī)和云端服務(wù)器資源有限的問(wèn)題上，蘋(píng)果也施展了好幾個(gè)新招數(shù)：

分組查詢注意力（grouped-query-attention）：優(yōu)化模型處理文字的方式

共享輸入輸出詞匯表：端側(cè)模型擁有 49k token，云端模型擁有 100k token，且包含更多的語(yǔ)言和技術(shù)相關(guān)的詞匯

低比特量化（low-bit palletization）：在減輕手機(jī)電量和內(nèi)存壓力的同時(shí)，讓模型運(yùn)行得更快

混合配置策略：采用 2 位和 4 位配置的策略，即使在有限的空間里，也能保持和沒(méi)有壓縮的模型一樣的準(zhǔn)確性

Talaria 工具：幫助模型選擇最合適的「?jìng)鬏斔俣取?/p>

激活量化和嵌入量化：讓神經(jīng)引擎上的鍵值緩存更靈活更高效

隨著這些優(yōu)化策略一一落實(shí)，蘋(píng)果的模型在 iPhone 15 Pro 上的表現(xiàn)足以令人矚目，每個(gè) token 的處理時(shí)間僅需 0.6 毫秒，而且每秒能生成 30 個(gè) token。

這還不算，蘋(píng)果還「藏著」一些技巧可以讓 token 的生成速度更快，不過(guò)蘋(píng)果在博客中并未透露太多。

實(shí)際上，Apple 智能的登場(chǎng)談不上早，但也算不上太晚。

晚的是，在其他 Android 廠商早在 AI 手機(jī)賽道上馳騁了一兩年時(shí)，蘋(píng)果似乎只是在一旁靜靜地觀察，直到最近，才緩緩地邁出自己步伐。

但別忘了，蘋(píng)果作為全球領(lǐng)先的終端消費(fèi)場(chǎng)景制造商，它的每一個(gè)動(dòng)作都牽動(dòng)著市場(chǎng)的脈搏。簡(jiǎn)言之，在 AI 的實(shí)際落地場(chǎng)景中，蘋(píng)果才是不可或缺的那一個(gè)。

這就好比，將 AI 命名為 Apple Intelligence，表明上看是一個(gè)巧妙的「諧音�！梗珡母顚哟蝸�(lái)看，當(dāng) Apple 智能融入蘋(píng)果的生態(tài)系統(tǒng)，這本身就是一種實(shí)力和自信的象征。

當(dāng)然，在此之前，無(wú)論是廠商在 AI 賽道上的博弈也好，還是無(wú)法回避的隱私問(wèn)題也罷，我更感興趣的是，國(guó)行蘋(píng)果的 AI 功能究竟會(huì)花落誰(shuí)家？

博客原文：https://machinelearning.apple.com/research/introducing-apple-foundation-models

本文來(lái)源：Appso

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
  • 漢美馳李梟雄：擁抱AI浪潮，智能家居需求暴增勢(shì)不可擋
    漢美馳李梟雄：擁抱AI浪潮，智能家居需求暴增勢(shì)不可擋

    作為美國(guó)百年家電品牌，HamiltonBeach漢美馳在美國(guó)市場(chǎng)處于行業(yè)領(lǐng)導(dǎo)地位，在本屆AWE展會(huì)上，漢美馳與太平洋網(wǎng)絡(luò)合作，展出了他們的三個(gè)主打品類：破壁機(jī)、慢燉鍋和空氣炸鍋，其中，破壁機(jī)屬于攪拌類小家電，漢美馳是這個(gè)品類的開(kāi)創(chuàng)者；慢燉鍋是美國(guó)家庭的必需品，就像我們中國(guó)家庭的電飯煲一樣，漢美馳慢燉鍋累計(jì)在美國(guó)的銷量超過(guò)3000萬(wàn)臺(tái)，是這個(gè)品類的領(lǐng)導(dǎo)品牌；漢美馳的這款HALO空氣炸鍋剛剛獲得了全球頂級(jí)設(shè)計(jì)大獎(jiǎng)——iF設(shè)計(jì)獎(jiǎng)。 今年，漢美馳在國(guó)內(nèi)市場(chǎng)的動(dòng)作很多，包括：推出了家電行業(yè)第一款應(yīng)用chatGPT的AI牛排機(jī)，全球首發(fā)煙灶產(chǎn)品，全球首發(fā)中式廚電產(chǎn)品，自建抖音、淘寶直播間，與頭部主播烈兒寶貝等合作……這些經(jīng)營(yíng)動(dòng)作的背后，漢美馳有怎樣的戰(zhàn)略規(guī)劃？他們對(duì)中國(guó)市場(chǎng)有些什么樣的判斷？他們的優(yōu)勢(shì)有哪些？請(qǐng)看PConline獨(dú)家專訪漢美馳中國(guó)營(yíng)銷中心總經(jīng)理李梟雄先生。

    呼倫 呼倫 2023-05-05 00:03
    • 二維碼 回到頂部