華為宣布開(kāi)源盤(pán)古7B稠密和72B混合專家模型

　　6月30日，華為正式宣布開(kāi)源盤(pán)古70億參數(shù)的稠密模型、盤(pán)古Pro MoE 720億參數(shù)的混合專家模型和基于昇騰的模型推理技術(shù)。

　　此舉是華為踐行昇騰生態(tài)戰(zhàn)略的又一關(guān)鍵舉措，推動(dòng)大模型技術(shù)的研究與創(chuàng)新發(fā)展，加速推進(jìn)人工智能在千行百業(yè)的應(yīng)用與價(jià)值創(chuàng)造。目前，盤(pán)古Pro MoE 72B模型權(quán)重、基礎(chǔ)推理代碼，已正式上線開(kāi)源平臺(tái);基于昇騰的超大規(guī)模MoE模型推理代碼，已正式上線開(kāi)源平臺(tái);盤(pán)古7B相關(guān)模型權(quán)重與推理代碼將于近期上線開(kāi)源平臺(tái)。

　　盤(pán)古大模型(PanguLargeModels)是集數(shù)據(jù)管理、模型訓(xùn)練和模型部署于一體的一站式大模型開(kāi)發(fā)與應(yīng)用平臺(tái)。平臺(tái)支持大模型的定制開(kāi)發(fā)，提供全生命周期工具鏈，幫助開(kāi)發(fā)者高效構(gòu)建與部署模型，企業(yè)可靈活選擇適合的服務(wù)與產(chǎn)品，輕松實(shí)現(xiàn)模型與應(yīng)用的開(kāi)發(fā)。

　　在6月20日的華為開(kāi)發(fā)者大會(huì)2025(HDC 2025)，華為常務(wù)董事、華為云計(jì)算CEO張平安宣布基于CloudMatrix 384超節(jié)點(diǎn)的新一代昇騰AI云服務(wù)全面上線，為大模型應(yīng)用提供澎湃算力;宣布盤(pán)古大模型5.5正式發(fā)布，自然語(yǔ)言處理(NLP)、計(jì)算機(jī)視覺(jué)(CV)、多模態(tài)、預(yù)測(cè)、科學(xué)計(jì)算五大基礎(chǔ)模型全面升級(jí)。

　　昇騰作為華為專注于AI計(jì)算的生態(tài)戰(zhàn)略抓手，通過(guò)持續(xù)的技術(shù)創(chuàng)新，推動(dòng)AI技術(shù)的普及與應(yīng)用。在今年的華為開(kāi)發(fā)者大會(huì)上，新一代昇騰AI云服務(wù)也全面上線，目標(biāo)是要打造最適合大模型應(yīng)用的算力服務(wù)。

　　隨著大模型訓(xùn)練和推理對(duì)算力需求的爆炸式增長(zhǎng)，傳統(tǒng)計(jì)算架構(gòu)已難以支撐AI技術(shù)的代際躍遷。華為云新一代昇騰AI云服務(wù)基于CloudMatrix 384超節(jié)點(diǎn)，首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過(guò)全新高速網(wǎng)絡(luò)MatrixLink全對(duì)等互聯(lián)，形成一臺(tái)超級(jí)“AI服務(wù)器”，單卡推理吞吐量躍升到2300 Tokens/s，與非超節(jié)點(diǎn)相比提升近4倍。超節(jié)點(diǎn)架構(gòu)能更好地支持混合多專家MoE大模型的推理，可以實(shí)現(xiàn)“一卡一專家”，一個(gè)超節(jié)點(diǎn)可以支持384個(gè)專家并行推理，極大提升效率;同時(shí)，超節(jié)點(diǎn)還可以支持“一卡一算子任務(wù)”，靈活分配資源，提升任務(wù)并行處理，減少等待，將算力有效使用率(MFU)提升50%以上。

　　對(duì)于萬(wàn)億、十萬(wàn)億參數(shù)的大模型訓(xùn)練任務(wù)，在云數(shù)據(jù)中心，還能將432個(gè)超節(jié)點(diǎn)級(jí)聯(lián)成最高16萬(wàn)卡的超大集群;同時(shí)，超節(jié)點(diǎn)還可以支持訓(xùn)推算力一體部署，如“日推夜訓(xùn)”，訓(xùn)推算力可靈活分配，幫助客戶資源使用最優(yōu)。

　　華為方面介紹，當(dāng)前，昇騰AI云服務(wù)已經(jīng)成為AI基礎(chǔ)設(shè)施的最優(yōu)選擇，為科大訊飛、新浪、硅基流動(dòng)、面壁智能、中國(guó)科學(xué)院、360等超過(guò)1300家客戶提供澎湃的AI算力，加速千行萬(wàn)業(yè)智能化升級(jí)。

谷神星一號(hào)（遙十五）運(yùn)...

最后一頁(yè)