大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新服務(wù)媒體

——聚焦數(shù)據(jù)?· 改變商業(yè)

---

AI大模型的發(fā)展，有兩個方向，一個是模型越做越大，以規(guī)模來提升性能。還有一個重要的方向，就是通過將模型做小，來嵌入手機(jī)、電腦等計算終端，這同樣是值得關(guān)注的發(fā)展方向。

終端化的浪潮，意味著大模型將直接嵌入到個人設(shè)備中，這無疑將為用戶帶來更加個性化和智能化的體驗。手機(jī)和PC制造商紛紛布局，試圖通過集成大模型來提升產(chǎn)品的競爭力。

都有哪些PC廠商在積極引入大模型？

先來看PC廠商。

1. 聯(lián)想

聯(lián)想推出了首款A(yù)I PC產(chǎn)品，該設(shè)備運(yùn)用了聯(lián)想自研的大模型壓縮技術(shù)，允許設(shè)備在本地運(yùn)行個人大模型，無需云端操作，以此確保個人隱私和數(shù)據(jù)安全。此外，聯(lián)想還推出了兩款A(yù)I服務(wù)器——問天WA7780 G3 AI大模型訓(xùn)練服務(wù)器和問天WA5480 G3 AI訓(xùn)推一體服務(wù)器。

2. 惠普

惠普與星環(huán)科技合作，推出了面向大模型領(lǐng)域的一體機(jī)服務(wù)平臺AI一體機(jī)。該一體機(jī)結(jié)合了星環(huán)大模型開發(fā)和應(yīng)用平臺Sophon LLMOps的產(chǎn)品能力，旨在為企業(yè)提供大模型的開發(fā)和應(yīng)用支持。

3. 戴爾

戴爾與Meta合作，嘗試在其本地基礎(chǔ)設(shè)施上部署Llama 2大語言模型（LLM），以減少對云設(shè)施的依賴。戴爾的生成式AI驗證設(shè)計計劃，結(jié)合了戴爾服務(wù)器套件與英偉達(dá)GPU、存儲及軟件，主要針對涉及自然語言生成的應(yīng)用場景。戴爾還提供部署和配置指導(dǎo)，幫助客戶快速啟動和運(yùn)行AI模型。

4. 微軟

微軟雖然不是終端PC廠商，但其確實(shí)PC操作系統(tǒng)的霸主，是PC端大模型的關(guān)鍵玩家。微軟正在積極推動大模型技術(shù)在PC端的集成和應(yīng)用，以提升用戶體驗和設(shè)備智能化水平。通過發(fā)布Windows Copilot，微軟將AI助手功能嵌入到Windows操作系統(tǒng)中，允許用戶直接與AI大模型交互，執(zhí)行各種任務(wù)。

5月21日，微軟發(fā)布了Copilot+ PC方案，將旗下AI助手Copilot全面融入Windows 11系統(tǒng)。微軟的兩款Copilot+ PC系列產(chǎn)品，Surface Laptop 7和Surface Pro 11。Copilot+ PC還推出了Recall（回憶）功能，利用AI訪問用戶在PC上見過的任何內(nèi)容，將其作為記憶的一部分。

有哪些手機(jī)廠商在積極引入大模型？

再來看看手機(jī)廠商。

1. 華為

華為在大模型技術(shù)的應(yīng)用上表現(xiàn)積極，已經(jīng)將盤古大模型集成到其手機(jī)系統(tǒng)中，特別是HarmonyOS 4系統(tǒng)全面接入盤古大模型，成為全球首個嵌入了AI大模型能力的移動終端操作系統(tǒng)。華為Mate60系列手機(jī)，搭載了基于多模態(tài)大模型技術(shù)實(shí)現(xiàn)的“智慧搜圖”功能。此外，華為的語音助手小藝也融合了盤古自然語言大模型、盤古視覺大模型和盤古多模態(tài)大模型，最高版本參數(shù)高達(dá)1000億，進(jìn)一步強(qiáng)化了華為手機(jī)的AI能力。

2. 小米

小米在大模型技術(shù)上采取了漸進(jìn)策略，已經(jīng)自研了13億參數(shù)端側(cè)模型，并在手機(jī)端跑通了Demo，部分場景效果可以媲美云端60億模型的運(yùn)算效果。小米在AI大模型團(tuán)隊組建和研發(fā)投入上表現(xiàn)積極，小米的澎湃OS操作系統(tǒng)也在AI大模型方面進(jìn)行了深度植入，小愛輸入助手具備了AI大模型的文本創(chuàng)作能力和AI擴(kuò)圖能力，這些功能在小米14系列手機(jī)上有所體現(xiàn)。

3. OPPO

OPPO在大模型技術(shù)上的進(jìn)展顯著，發(fā)布了全新的AI戰(zhàn)略，不僅在手機(jī)上推出AI超級智能體，還上線了AI Pro智能體開發(fā)平臺。OPPO在其研究院下成立了AI中心，聚集AI研發(fā)人員，并投入大量資源到AI技術(shù)。OPPO還建立了全新數(shù)據(jù)中心，具備800P的算力，支持手機(jī)端運(yùn)行千億級參數(shù)的大模型。此外，OPPO發(fā)布了自主訓(xùn)練的安第斯大模型（AndesGPT），以“端云協(xié)同”為基礎(chǔ)架構(gòu)設(shè)計，旨在提升手機(jī)的智能體驗。

4. vivo

vivo在大模型技術(shù)上同樣積極布局，官宣將發(fā)布自研AI大模型矩陣，包括十億、百億、千億三個不同參數(shù)量級的5款自研大模型，全面覆蓋核心應(yīng)用場景，并將首次應(yīng)用于新操作系統(tǒng)OriginOS 4中。vivo的大模型技術(shù)旨在提升手機(jī)的圖像識別、語音交互和智能輔助功能，增強(qiáng)用戶體驗。

5. 榮耀

榮耀在大模型技術(shù)上也有所作為，發(fā)布了全新一代旗艦智能手機(jī)榮耀Magic6系列，該系列手機(jī)將首發(fā)搭載榮耀自研的70億參數(shù)端側(cè)平臺級AI大模型“魔法大模型”。

6. 三星

三星在大模型技術(shù)上的應(yīng)用也值得關(guān)注，其S24系列手機(jī)已經(jīng)上線了"即圈即搜"、“筆記助手”等AI應(yīng)用。三星在自研大模型Gauss可用之前，選擇了與中國廠商合作，借助百度智能云千帆平臺、美圖等的力量，以增強(qiáng)其AI能力。

7. 蘋果

蘋果公司在引入大模型技術(shù)方面展現(xiàn)出了積極的態(tài)度和顯著的進(jìn)展，據(jù)外媒報道，蘋果正與谷歌商討可能的合作協(xié)議，計劃將谷歌的Gemini人工智能引擎集成到iPhone中。此外，蘋果也在自研大模型技術(shù)，Ajax模型能在設(shè)備端快速生成響應(yīng)，盡管更復(fù)雜的任務(wù)可能需要云端支持。蘋果的多模態(tài)大模型Ferret展示了其在圖像和語言理解方面的進(jìn)步，該模型在多模態(tài)任務(wù)上表現(xiàn)優(yōu)異，蘋果還發(fā)布了OpenELM系列模型。隨著iOS18系統(tǒng)的即將發(fā)布，蘋果預(yù)計將引入大模型技術(shù)，這將是AI技術(shù)發(fā)展的新里程碑。

是什么驅(qū)動著大模型的終端化趨勢？

那么，是什么原因在驅(qū)動大模型的終端化進(jìn)程呢？數(shù)據(jù)猿看來，主要是技術(shù)和用戶需求者兩個要素在驅(qū)動。

在消費(fèi)者需求方面，隨著互聯(lián)網(wǎng)技術(shù)的普及和數(shù)字化生活的發(fā)展，用戶對智能化終端設(shè)備的需求日益增長。人們期望通過智能手機(jī)、平板電腦和個人電腦等設(shè)備，獲得更加智能、個性化的服務(wù)體驗。

例如，用戶希望智能手機(jī)能夠更準(zhǔn)確地理解語音指令，希望個人電腦能夠提供更加強(qiáng)大的圖像和視頻處理能力。同時，隨著遠(yuǎn)程工作和在線教育的興起，用戶對終端設(shè)備的多任務(wù)處理能力和智能協(xié)作功能也有了更高的期待。大模型的終端化，正是對這一需求的積極響應(yīng)。

技術(shù)進(jìn)步是推動大模型終端化的關(guān)鍵力量，隨著芯片制程技術(shù)的不斷突破，如5納米甚至更小制程的芯片開始量產(chǎn)，設(shè)備的計算能力得到了大幅提升。同時，AI算法的優(yōu)化和模型壓縮技術(shù)的發(fā)展，使得原本只能在云端運(yùn)行的大模型得以瘦身，以適應(yīng)終端設(shè)備的計算和存儲資源。

要將大模型“裝”手機(jī)、電腦，核心環(huán)節(jié)有哪些？

隨著人工智能技術(shù)的飛速發(fā)展，大模型終端化已成為推動智能設(shè)備創(chuàng)新的關(guān)鍵力量。在這一進(jìn)程中，技術(shù)與創(chuàng)新起到了至關(guān)重要的作用。要將大模型嵌入手機(jī)等終端，關(guān)鍵是要解決下面的問題：

1、模型壓縮與優(yōu)化

模型壓縮與優(yōu)化是大模型終端化進(jìn)程中的核心環(huán)節(jié)，它們使得資源受限的終端設(shè)備，能夠高效運(yùn)行原本設(shè)計用于強(qiáng)大服務(wù)器的復(fù)雜模型。

例如：權(quán)重剪枝是模型壓縮中最直接的方法，它通過移除模型中不重要的權(quán)重來減少模型的參數(shù)數(shù)量。這種方法可以顯著減少模型的存儲和計算需求，同時保持其核心功能；結(jié)構(gòu)化剪枝通過移除整個神經(jīng)網(wǎng)絡(luò)層或通道來降低模型的復(fù)雜度，與權(quán)重剪枝相比，結(jié)構(gòu)化剪枝對模型結(jié)構(gòu)的改變更大，但可以帶來更顯著的壓縮效果；自動化模型壓縮算法，如神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（NAS），可以自動發(fā)現(xiàn)既滿足性能要求又具有較小尺寸的模型架構(gòu)。這種自動化方法減少了人工干預(yù)，提高了模型開發(fā)和優(yōu)化的效率。

此外，知識蒸餾是另一種有效的模型壓縮技術(shù)，它涉及訓(xùn)練一個小型的“學(xué)生”模型來模仿一個大型的“教師”模型的行為。這種方法可以在減少模型大小的同時，保持較高的性能。硬件感知的模型設(shè)計考慮特定硬件架構(gòu)的特性，設(shè)計出在該硬件上運(yùn)行得更加高效的模型。隨著專用AI硬件的普及，硬件感知的設(shè)計變得越來越重要。

2、終端算力的持續(xù)提升與邊緣計算的發(fā)展

近年來，隨著半導(dǎo)體技術(shù)的進(jìn)步，尤其是芯片制造工藝的提升，電腦和手機(jī)等終端設(shè)備的處理器性能得到了顯著增強(qiáng)。例如，移動設(shè)備中的系統(tǒng)芯片（SoC）已經(jīng)從幾個核心發(fā)展到多核處理器，并且集成了GPU、NPU或AI加速器。

這些專用硬件單元為執(zhí)行深度學(xué)習(xí)模型提供了強(qiáng)大的支持，使得復(fù)雜的AI算法可以在本地設(shè)備上流暢運(yùn)行。個人電腦和服務(wù)器的CPU和GPU性能也在不斷提升，它們現(xiàn)在擁有更多的核心和線程，以及更高的時鐘頻率和改進(jìn)的緩存架構(gòu)，從而為運(yùn)行大型機(jī)器學(xué)習(xí)模型提供了充足的算力。

此外，邊緣計算作為一種分布式計算范式，它將數(shù)據(jù)處理和存儲更靠近數(shù)據(jù)源的位置，這樣可以減少數(shù)據(jù)傳輸?shù)难舆t，提高響應(yīng)速度，特別適合對實(shí)時性要求高的應(yīng)用場景。

在大模型終端化中，邊緣計算允許終端設(shè)備在本地處理數(shù)據(jù)，而不是將所有數(shù)據(jù)發(fā)送到云端處理，這不僅提升了效率，也有助于保護(hù)用戶隱私。

終端算力的提升和邊緣計算的發(fā)展相結(jié)合，為大模型的部署和運(yùn)行提供了更加堅實(shí)的基礎(chǔ)。隨著5G等高速通信技術(shù)的應(yīng)用，邊緣設(shè)備之間的互聯(lián)互通也變得更加容易，這為構(gòu)建分布式智能系統(tǒng)提供了可能，使得大模型可以在多個邊緣節(jié)點(diǎn)上協(xié)同工作，實(shí)現(xiàn)更高級的智能功能。

3、隱私與安全

在終端設(shè)備上運(yùn)行大模型，雖然帶來了智能化的體驗，但也引發(fā)了隱私和安全方面的擔(dān)憂。終端設(shè)備通常包含大量個人敏感信息，如何在運(yùn)行大模型的同時保護(hù)這些信息的安全，成為了一個重要問題。

為了解決這一問題，技術(shù)開發(fā)者采用了多種措施來加強(qiáng)隱私保護(hù)。例如，差分隱私技術(shù)通過添加噪聲來模糊個人數(shù)據(jù)，保護(hù)用戶隱私的同時允許進(jìn)行數(shù)據(jù)統(tǒng)計分析。同態(tài)加密技術(shù)則允許在加密數(shù)據(jù)上直接進(jìn)行計算，這樣即使數(shù)據(jù)在云端處理，也可以保證其內(nèi)容不被暴露。

大模型終端化才剛剛開始，還有一系列問題要解決

在大模型終端化的道路上，技術(shù)、經(jīng)濟(jì)、用戶接受度以及社會倫理等方面的問題交織在一起，構(gòu)成了一個復(fù)雜的挑戰(zhàn)網(wǎng)絡(luò)。

技術(shù)層面，模型的大小、計算資源的限制以及對實(shí)時性能的高要求是擺在開發(fā)者面前的三大難題。大模型的參數(shù)量龐大，存儲和計算需求高，這對終端設(shè)備的硬件提出了挑戰(zhàn)。

雖然模型壓縮技術(shù)的發(fā)展為解決這一問題提供了可能，但如何在不損失關(guān)鍵性能的前提下實(shí)現(xiàn)有效壓縮，仍是一個技術(shù)難題。此外，即使是壓縮后的模型，其運(yùn)行仍然需要較高的計算資源，這可能導(dǎo)致終端設(shè)備發(fā)熱、電池消耗快，甚至在性能較差的設(shè)備上無法運(yùn)行。

同時，許多應(yīng)用場景對實(shí)時性能有著嚴(yán)格的要求，大模型在終端設(shè)備上的運(yùn)行速度可能無法滿足這些需求。

經(jīng)濟(jì)成本也是大模型終端化過程中不可忽視的因素，研發(fā)成本高昂，需要大量的人才、設(shè)備和時間投入。部署成本也不菲，特別是當(dāng)需要額外的硬件支持，如高性能芯片時，這會增加設(shè)備的成本。此外，大模型的維護(hù)和更新也需要成本，尤其是在模型需要頻繁更新以適應(yīng)新的數(shù)據(jù)和場景時。這些成本最終可能會轉(zhuǎn)嫁到消費(fèi)者身上，影響產(chǎn)品的市場競爭力。

用戶接受度是另一個關(guān)鍵因素，用戶可能對在終端設(shè)備上運(yùn)行大模型的性能和隱私保護(hù)有所顧慮。雖然本地運(yùn)行可以保護(hù)隱私，但用戶可能擔(dān)心設(shè)備的性能是否能夠滿足需求。

面對這些挑戰(zhàn)和問題，需要政府、企業(yè)和研究機(jī)構(gòu)共同努力。技術(shù)上，需要繼續(xù)研發(fā)更高效的模型壓縮和運(yùn)行技術(shù)；經(jīng)濟(jì)上，需要探索更合理的成本分?jǐn)倷C(jī)制；政策上，需要制定合理的監(jiān)管政策和標(biāo)準(zhǔn)，引導(dǎo)大模型終端化技術(shù)的健康發(fā)展。

文：一蓑煙雨?/?數(shù)據(jù)猿
責(zé)編：凝視深空?/?數(shù)據(jù)猿