H800國內(nèi)首發(fā) 騰訊云發(fā)布最新高性能計算集群
4月14日,騰訊云正式發(fā)布新一代HCC(High-Performance Computing Cluster)高性能計算集群。該集群采用騰訊云星星海自研服務(wù)器,搭載英偉達(dá)最新代次H800 GPU,服務(wù)器之間采用業(yè)界最高的3.2T超高互聯(lián)帶寬,為大模型訓(xùn)練、自動駕駛、科學(xué)計算等提供高性能、高帶寬和低延遲的集群算力。
實(shí)測顯示,騰訊云新一代集群的算力性能較前代提升高達(dá)3倍,是國內(nèi)性能最強(qiáng)的大模型計算集群。
2022年10月,騰訊完成首個萬億參數(shù)的AI大模型——混元NLP大模型訓(xùn)練。在同等數(shù)據(jù)集下,將訓(xùn)練時間由50天縮短到11天。如果基于新一代集群,訓(xùn)練時間將進(jìn)一步縮短至4天。
(資料圖片)
大模型進(jìn)入萬億參數(shù)時代,單體服務(wù)器算力有限,需要將大量服務(wù)器通過高性能網(wǎng)絡(luò)相連,打造大規(guī)模算力集群。通過對處理器、網(wǎng)絡(luò)架構(gòu)和存儲性能的全面優(yōu)化,騰訊云攻克了大集群場景下的算力損耗問題,能為大模型訓(xùn)練提供高性能、高帶寬、低延遲的智算能力支撐。
網(wǎng)絡(luò)層面,計算節(jié)點(diǎn)間存在海量的數(shù)據(jù)交互需求,隨著集群規(guī)模擴(kuò)大,通信性能會直接影響訓(xùn)練效率。騰訊自研的星脈網(wǎng)絡(luò),為新一代集群帶來了業(yè)界最高的3.2T的超高通信帶寬。實(shí)測結(jié)果顯示,搭載同樣的GPU卡,3.2T星脈網(wǎng)絡(luò)相較前代網(wǎng)絡(luò),能讓集群整體算力提升20%,使得超大算力集群仍然能保持優(yōu)秀的通信開銷比和吞吐性能。并提供單集群高達(dá)十萬卡級別的組網(wǎng)規(guī)模,支持更大規(guī)模的大模型訓(xùn)練及推理。?
存儲層面,幾千臺計算節(jié)點(diǎn)同時讀取一批數(shù)據(jù)集,需要盡可能縮短加載時長。騰訊云自研的文件存儲、對象存儲架構(gòu),具備TB級吞吐能力和千萬級IOPS,充分滿足大模型訓(xùn)練的大數(shù)據(jù)量存儲要求。
底層架構(gòu)之上,針對大模型訓(xùn)練場景,新一代集群集成了騰訊云自研的TACO Train訓(xùn)練加速引擎,對網(wǎng)絡(luò)協(xié)議、通信策略、AI框架、模型編譯進(jìn)行大量系統(tǒng)級優(yōu)化,大幅節(jié)約訓(xùn)練調(diào)優(yōu)和算力成本。
騰訊混元大模型背后的訓(xùn)練框架AngelPTM,也已通過騰訊云對外提供服務(wù),幫助企業(yè)加速大模型落地。?
目前,騰訊混元AI大模型,已經(jīng)覆蓋了自然語言處理、計算機(jī)視覺、多模態(tài)等基礎(chǔ)模型和眾多行業(yè)、領(lǐng)域模型。?
在騰訊云上,企業(yè)基于TI平臺的大模型能力和工具箱,可結(jié)合產(chǎn)業(yè)場景數(shù)據(jù)進(jìn)行精調(diào)訓(xùn)練,提升生產(chǎn)效率,快速創(chuàng)建和部署AI 應(yīng)用。?
此前,騰訊多款自研芯片已經(jīng)量產(chǎn)。其中,用于AI推理的紫霄芯片、用于視頻轉(zhuǎn)碼的滄海芯片已在騰訊內(nèi)部交付使用,性能指標(biāo)和綜合性價比顯著優(yōu)于業(yè)界。其中,紫霄采用自研存算架構(gòu),增加片上內(nèi)存容量并使用更先進(jìn)的內(nèi)存技術(shù),消除訪存能力不足制約芯片性能的問題,同時內(nèi)置集成騰訊自研加速模塊,減少與CPU握手等待時間。目前,紫霄已經(jīng)在騰訊頭部業(yè)務(wù)規(guī)模部署,提供高達(dá)3倍的計算加速性能,和超過45%的整體成本節(jié)省。?
目前,騰訊云的分布式云原生調(diào)度總規(guī)模超過1.5億核,并提供16 EFLOPS(每秒1600億億次浮點(diǎn)運(yùn)算)的智算算力。未來,新一代集群不僅能服務(wù)于大模型訓(xùn)練,還將在自動駕駛、科學(xué)計算、自然語言處理等場景中充分應(yīng)用。?
以新一代集群為標(biāo)志,基于自研芯片、星星海自研服務(wù)器和分布式云操作系統(tǒng)遨馳,騰訊云正通過軟硬一體的方式,打造面向AIGC的高性能智算網(wǎng)絡(luò),持續(xù)加速全社會云上創(chuàng)新。
關(guān)鍵詞:
2023-04-14 13:54:50
2023-04-14 13:47:33
2023-04-14 13:46:48
2023-04-14 13:39:23
2023-04-14 12:56:22
2023-04-14 12:51:48
2023-04-14 12:44:52
2023-04-14 12:44:51
2023-04-14 12:40:14
2023-04-14 12:14:39
2023-04-14 11:58:04
2023-04-14 11:50:58
2023-04-14 11:46:16
2023-04-14 11:41:12
2023-04-14 11:40:16
2023-04-14 11:32:33
2023-04-14 10:57:48
2023-04-14 10:13:49
2023-04-14 09:59:54
2023-04-14 09:59:39
2023-04-14 09:59:04
2023-04-14 09:59:02
2023-04-14 09:57:55
2023-04-14 09:57:22
2023-04-14 09:57:20
2023-04-14 09:56:20
2023-04-14 09:55:33
2023-04-14 09:53:13
2023-04-14 09:52:28
2023-04-14 09:50:39
2023-04-14 09:50:09
2023-04-14 09:48:32
2023-04-14 09:48:19
2023-04-14 09:48:17
2023-04-14 09:48:09
2023-04-14 09:45:57
2023-04-14 09:44:53
2023-04-14 09:43:22
2023-04-14 09:43:03
2023-04-14 09:41:58
2023-04-14 09:41:38
2023-04-14 09:41:28
2023-04-14 09:41:26
2023-04-14 09:39:19
2023-04-14 09:36:51
2023-04-14 09:36:17
2023-04-14 09:32:49
2023-04-14 09:29:22
2023-04-14 09:29:13
2023-04-14 09:28:38
2023-04-14 09:28:28
2023-04-14 09:28:08
2023-04-14 09:25:01
2023-04-14 09:24:39
2023-04-14 09:24:15
2023-04-14 09:22:36
2023-04-14 08:54:40
2023-04-14 08:48:32
2023-04-14 08:48:31
2023-04-14 08:37:20
2023-04-14 08:35:33
2023-04-14 08:26:14
2023-04-14 06:54:53
2023-04-14 06:53:52
2023-04-14 06:50:58
2023-04-14 06:48:21
2023-04-14 06:46:31
2023-04-14 06:37:07
2023-04-14 05:50:14
2023-04-14 05:42:45
2023-04-14 05:39:55
2023-04-14 05:37:45
2023-04-14 05:37:13
2023-04-14 05:01:13
2023-04-14 01:16:33
2023-04-13 22:13:43
2023-04-13 21:53:19
2023-04-13 21:38:44
2023-04-13 20:58:40
2023-04-13 20:57:43
2023-04-13 20:56:54
2023-04-13 20:46:38
2023-04-13 20:40:26
2023-04-13 20:40:14
2023-04-13 20:03:30
2023-04-13 19:56:22
2023-04-13 18:55:09
2023-04-13 18:52:28
2023-04-13 18:47:35
2023-04-13 18:42:03
2023-04-13 18:41:17
2023-04-13 18:35:56
2023-04-13 17:57:08
2023-04-13 17:51:00
2023-04-13 17:40:00
2023-04-13 17:39:12
2023-04-13 17:39:01
2023-04-13 17:37:45
2023-04-13 16:58:28
相關(guān)新聞