亚洲狠狠,一级黄色大片,日韩在线第一区视屏,韩国作爱视频久久久久,亚洲欧美国产精品专区久久,青青草华人在线视频,国内精品久久影视免费

每日經(jīng)濟(jì)新聞
頭條

每經(jīng)網(wǎng)首頁 > 頭條 > 正文

效率躍升1.71倍,字節(jié)再降MoE訓(xùn)練成本,為何AI玩家接連開源最新技術(shù)?

每日經(jīng)濟(jì)新聞 2025-03-11 23:59:08

3月10日,字節(jié)跳動豆包大模型團(tuán)隊發(fā)布針對MoE架構(gòu)的通信優(yōu)化系統(tǒng)COMET,旨在通過細(xì)粒度計算-通信重疊技術(shù)優(yōu)化大模型訓(xùn)練。COMET已應(yīng)用于萬卡級生產(chǎn)集群,累計節(jié)省數(shù)百萬GPU小時資源。隨著DeepSeek等公司開源熱潮興起,更多大模型玩家也紛紛跟進(jìn),以擴(kuò)大市場份額、構(gòu)建生態(tài)系統(tǒng)并提升品牌形象。

每經(jīng)記者 楊昕怡    每經(jīng)實(shí)習(xí)編輯 余婷婷    

訓(xùn)練大模型的成本之高一直是行業(yè)痛點(diǎn),各路玩家都在思考如何用技術(shù)創(chuàng)新把成本“打”下來。

3月10日,字節(jié)跳動豆包大模型團(tuán)隊發(fā)布了針對MoE(混合專家模型)架構(gòu)的通信優(yōu)化系統(tǒng)COMET,該方案通過細(xì)粒度計算-通信重疊技術(shù),助力大模型訓(xùn)練優(yōu)化。據(jù)豆包大模型團(tuán)隊介紹,COMET已實(shí)際應(yīng)用于萬卡級生產(chǎn)集群,累計節(jié)省了數(shù)百萬GPU(圖形處理器)小時資源。此外,COMET還可與豆包大模型團(tuán)隊此前發(fā)布的新一代稀疏模型架構(gòu)UltraMem結(jié)合,實(shí)現(xiàn)協(xié)同優(yōu)化。 

“在萬卡集群上做測試的這個經(jīng)驗(yàn),國內(nèi)很少能有。”一位頭部大模型算法工程師在接受《每日經(jīng)濟(jì)新聞》記者采訪時表示,“目前很可能只有字節(jié)有這一經(jīng)驗(yàn),而且還分享出來了。雖然現(xiàn)在國內(nèi)大部分公司都沒有萬卡,但隨著行業(yè)往后發(fā)展,這一技術(shù)和先行經(jīng)驗(yàn)是很重要的。”

可以看到的是,自DeepSeek的開源模型R1在全球范圍內(nèi)“爆紅”以來,國內(nèi)更多大模型玩家以更高的頻率進(jìn)行著技術(shù)開源。對此,北京市社會科學(xué)院副研究員王鵬向《每日經(jīng)濟(jì)新聞》記者表示,大模型公司選擇優(yōu)秀技術(shù)開源,對于擴(kuò)大市場份額、吸引合作伙伴構(gòu)建生態(tài)、提升公司的品牌形象和知名度等方面均有幫助。

MoE訓(xùn)練效率提升1.71倍,字節(jié)開源COMET技術(shù)

3月1日,DeepSeek在知乎發(fā)布了“開源周”后的“彩蛋”,首次公布了模型降本增效的技術(shù)細(xì)節(jié)以及理論上高達(dá)545%的利潤率。

DeepSeek通過MoE架構(gòu)的創(chuàng)新讓激活參數(shù)比大幅下降,使得同等效果的大模型所需的算力明顯下降。“671B的模型,在處理每個問題時,被調(diào)用激活的專家模型參數(shù)僅約37B,算力需求起碼降低到原來的約二十分之一。”阿里云無影事業(yè)部總裁張獻(xiàn)濤曾在接受《每日經(jīng)濟(jì)新聞》記者采訪時表示。

而豆包團(tuán)隊注意到,MoE架構(gòu)的稀疏特性導(dǎo)致計算和通信間的依賴動態(tài)且復(fù)雜,其分布式訓(xùn)練仍面臨著跨設(shè)備通信開銷巨大的成本挑戰(zhàn)。

3月10日,豆包大模型團(tuán)隊發(fā)布了針對MoE模型的通信優(yōu)化系統(tǒng)COMET。據(jù)介紹,COMET具體通過共享張量依賴解析機(jī)制,將共享張量沿Token維度或隱層維度切割,使通信與計算的最小單元對齊;同時通過動態(tài)負(fù)載分配算法,根據(jù)輸入規(guī)模和硬件環(huán)境實(shí)時調(diào)整線程塊分配,消除跨設(shè)備通信帶來的等待延遲。

一位豆包大模型的技術(shù)人員告訴《每日經(jīng)濟(jì)新聞》記者,COMET和DeepSeek的DualPipe(雙向并行流水線技術(shù))都用于降低MoE的通信開銷,但方法不同。記者了解到,DualPipe通過創(chuàng)新的雙向流水線并行技術(shù),大幅提高模型的訓(xùn)練效率。

豆包大模型團(tuán)隊稱,COMET這一創(chuàng)新在大規(guī)模MoE模型上可達(dá)到單層1.96倍加速,端到端平均1.71倍效率提升。目前,COMET已實(shí)際應(yīng)用于萬卡級生產(chǎn)集群,助力MoE模型高效訓(xùn)練,并已累計節(jié)省了數(shù)百萬GPU小時資源。

“用100張卡測試的波動可能很少,因?yàn)椋@卡)出問題的概率較小,但1萬張卡的波動就會大很多。”一位頭部大模型算法工程師向《每日經(jīng)濟(jì)新聞》記者表示,此次字節(jié)將這一成果開源,為整個行業(yè)提供了不可多得的萬卡集群實(shí)驗(yàn)經(jīng)驗(yàn),“國內(nèi)有1萬張卡的企業(yè)也就幾家。”此外,豆包大模型還表示,COMET還可與豆包大模型團(tuán)隊此前發(fā)布的新一代稀疏模型架構(gòu)UltraMem結(jié)合,實(shí)現(xiàn)協(xié)同優(yōu)化。

《每日經(jīng)濟(jì)新聞》記者2月11日從豆包大模型團(tuán)隊了解到,團(tuán)隊已經(jīng)提出了全新的稀疏模型架構(gòu)UltraMem,該架構(gòu)有效解決了MoE推理時高額的訪存問題,推理速度較MoE架構(gòu)提升2-6倍,推理成本最高可降低83%。

圖片來源:視覺中國 VCG211550173673

爭奪“源神”,為何AI玩家接二連三開源最新技術(shù)?

從在全球范圍內(nèi)引起熱議的DeepSeek-R1到開源周的“大放送”,DeepSeek因持續(xù)開源核心技術(shù)被業(yè)內(nèi)稱為“源神”。基于DeepSeek的動作,國內(nèi)大模型廠商紛紛跟進(jìn)并加速了開源行動。

2月18日,階躍星辰首次開源其Step系列基座模型。該模型分別是目前全球范圍內(nèi)參數(shù)量最大的開源視頻生成模型階躍Step-Video-T2V,以及行業(yè)內(nèi)首款產(chǎn)品級開源語音交互大模型階躍Step-Audio。MiniMax也在1月15日發(fā)布并開源新一代01系列模型,包含基礎(chǔ)語言大模型MiniMax-Text-01和視覺多模態(tài)大模型MiniMax-VL-01。

除了頭部的AI初創(chuàng)公司外,重投大模型的多家互聯(lián)網(wǎng)巨頭也在緊跟開源這股熱潮,其中阿里一直是堅定的“開源派”。3月3日,開源社區(qū)Hugging Face最新榜單顯示,開源僅6天的阿里萬相大模型已反超DeepSeek-R1,登頂模型熱榜、空間榜兩大榜單,成為近期全球開源社區(qū)最受歡迎的大模型。3月6日凌晨,阿里再度拋出新的開源成果。阿里云通義千問官微宣布發(fā)布并開源最新的推理模型QwQ-32B。據(jù)介紹,這是一款擁有320億參數(shù)的模型,其性能可與具備6710億參數(shù)(其中370億被激活)的DeepSeek-R1媲美。

“開源優(yōu)秀技術(shù)可以獲得更多聲量,也可以吸引更多企業(yè)、開發(fā)者進(jìn)行二次開發(fā),有助于生態(tài)構(gòu)建。”一位豆包大模型的技術(shù)人員向《每日經(jīng)濟(jì)新聞》記者表示。

同樣,王鵬也認(rèn)為,開源模式能促進(jìn)技術(shù)發(fā)展、創(chuàng)新,既可幫助大模型公司擴(kuò)大其在全球AI市場的影響力和份額,也可以吸引到更多參與者加入到生態(tài)系統(tǒng)的共建中,從而降低自身研發(fā)成本。

不過,也有不同的聲音,大模型公司選擇開源模式究竟是為了名還是利?“如果開源的技術(shù)比閉源的更好用,免費(fèi)的技術(shù)比收費(fèi)的更好用,那么誰還用閉源和收費(fèi)的?”工信部信息通信經(jīng)濟(jì)專家委員會委員盤和林在接受《每日經(jīng)濟(jì)新聞》記者采訪時表示,“實(shí)際上是以DeepSeek為代表的開源應(yīng)用,在性能上追平了競爭對手。這導(dǎo)致很多大模型選擇了開源的路徑來應(yīng)對。開源對于企業(yè)來說,并不能創(chuàng)造利潤,但能帶來用戶,互聯(lián)網(wǎng)流量為王,利潤次之。”

如需轉(zhuǎn)載請與《每日經(jīng)濟(jì)新聞》報社聯(lián)系。
未經(jīng)《每日經(jīng)濟(jì)新聞》報社授權(quán),嚴(yán)禁轉(zhuǎn)載或鏡像,違者必究。

讀者熱線:4008890008

特別提醒:如果我們使用了您的圖片,請作者與本站聯(lián)系索取稿酬。如您不希望作品出現(xiàn)在本站,可聯(lián)系我們要求撤下您的作品。

模型 開源 Ai 字節(jié)

歡迎關(guān)注每日經(jīng)濟(jì)新聞APP

每經(jīng)經(jīng)濟(jì)新聞官方APP

0

0