京東云推出vGPU池化方案，大模型訓練效率提升 成本降低
(資料圖片僅供參考)
隨著人工智能應用的廣泛應用，圖形處理器（GPU）作為AI計算的核心硬件之一，需求量持續增長。為滿足這一需求，京東云近日推出了一種名為vGPU的池化方案。這是一種一站式的GPU算力池化能力，能夠使GPU的利用率提高最高達70%，從而大幅度降低大模型推理的成本。 實踐效果顯示，通過GPU異構資源池化，AI運行效率得到提升，成本降低，整體GPU利用率提升70%，具有顯著的優勢和實際應用價值。結合任意切分和按需分配，在同等GPU數量的前提下，實現了數倍業務量擴展和資源共享，降低了硬件采購成本，使用更少的AI芯片支撐了更多的訓練和推理任務。 京東云表示，這個方案是基于他們自主研發的混合多云操作系統云艦。在原有支持混合多云CPU算力池化能力的基礎上，京東云針對大模型訓練所需的泛算力池化能力，進一步增強了針對AI應用所需的調度管理能力。這包括卡管理、節點管理、異構資源調度管理等，為包括大模型訓練在內的多種AI應用，提供一站式算力池化解決方案，從而全面提升資源利用率。 京東云的這個池化方案具有四大優勢：算力切分靈活，支持精細化的配額管理，適配主流CUDA版本和不同GPU芯片適配，還支持節點虛擬分組和節點組指定應用使用，這些優勢將全面提升大模型訓練效率。 在實際使用場景中，開發者可以根據卡型號申請資源，按算力和顯存切分，統一由控制器根據用戶指定的調度策略調整。僅在訓練、微調和推理任務啟動時進行動態分配，在任務結束即可以釋放，支持多任務算力隔離和任務冷啟動。 京東云的vGPU池化方案是一種高效、靈活、經濟的解決方案，對于大模型訓練和AI應用具有重要的實用價值。未來，隨著人工智能技術的不斷發展和普及，vGPU池化方案將會發揮更加重要的作用，為企業的AI應用提供更加靈活和高效的解決方案。
關鍵詞：
三星新款頭戴設備推遲發布：針對蘋果Vision Pro
2023-08-17 20:03:00 
索尼A7cII和A7cR曝光：8月29日發布 16-35GM II
2023-08-17 20:02:37
京東云推出vGPU池化方案，大模型訓練效率提升 成本降低
2023-08-17 20:01:29 
寧德時代高煥：神行超充電池，開啟全民電動新時代
2023-08-17 19:54:45 
邊瀏覽邊學習 谷歌將添加新功能：用人工智能對文章進行概括
2023-08-17 19:54:01 
上海公布數據要素產業三年發展藍圖 打造國家級數據交易所
2023-08-17 19:23:49 
奇瑞歐萌達純電動版內飾曝光：內飾變化不大
2023-08-17 19:07:17 
583硬派家族集結 方程豹豹豹5成都車展上線
2023-08-17 19:05:32 
大眾ID.Buzz GTX路試諜照曝光 00:33
2023-08-17 19:05:28 
第7屆南博會首日 云南昭通收獲近300億元大單
2023-08-17 19:04:48 
三個“抓手”持續筑牢安全“防火墻”
2023-08-17 19:02:40
加大法人信貸投放 助力地方經濟發展
2023-08-17 19:02:33 
全新第三代逍客上市 13.99元起售
2023-08-17 19:00:21 
普法惠民暖民心 主動服務零距離
2023-08-17 18:59:44 
執為民之筆 繪就鄉村振興新畫卷
2023-08-17 18:59:42 
型格銷量下滑原因曝光：內飾材質不好 駕駛體驗不足
2023-08-17 18:57:59 
專訪壹號本CEO王琳：深耕三合一PC游戲機賽道 助力行業發展
2023-08-17 18:07:06 
“創新匯聚新動能 融合打造新生態” 人工智能與先進計算融合發展論壇圓滿召開
2023-08-17 18:06:28 
光啟技術(002625.SZ)：目前暫未涉及超導技術
2023-08-17 18:06:24 
大疆創新即將進入電動自行車行業
2023-08-17 17:57:02 
清華大學發布數據庫管理系統 可自動進行數據庫管理
2023-08-17 17:56:23 
大學新生14英寸輕薄本選購指南（4000-5000檔）
2023-08-17 17:55:15 
魚岳鎮北街社區：老舊小區如何改群眾說了算
2023-08-17 16:44:34 
數字變革邁向何處，端點科技探尋新型企業三大特征
2023-08-17 16:06:21 
《星空》限定主機曝光：側透+紅白配色
2023-08-17 16:05:36 
Xbox《博德之門3》分屏功能被推遲 玩家質疑微軟是否應該放棄XSS功能平等
2023-08-17 16:00:38 
沖量在線打通隱私計算“最后一公里”
2023-08-17 15:58:53 
宿舍神屏！600元到手科睿可旋轉的24寸 165Hz電競顯示器
2023-08-17 15:58:12
德爾股份(300473.SZ)：公司與浙江世寶沒有合作關系
2023-08-17 15:22:04
提前曝光《使命召喚20：現代戰爭3》豪華版內容：肥皂干員DLC包、搶先體驗單人戰役
2023-08-17 15:06:54 
Gurman：由于Vision Pro商標存在爭議，蘋果可能在中國重新使用Reality品牌
2023-08-17 15:04:48 
暴雪禁用暗黑破壞神4交易系統 玩家買金幣被坑得血虧
2023-08-17 15:03:39 
派大星實機演示：玩到爽了
2023-08-17 15:00:38 
余承東：全新問界M7將在9月發布，有質的提升和飛躍
2023-08-17 14:55:28 
被侵權8萬元！博主回應侵權照片：自己拍
2023-08-17 14:07:36 
新型涂料能降低能源消耗 可應用于建筑
2023-08-17 14:06:14 
英菲克W9游戲鼠標到手僅需19.9元
2023-08-17 14:03:14 
今日黃金首飾價格多少錢一克(2023年8月17日)
2023-08-17 14:01:58 
榮耀Magic V2持續供不應求，CEO趙明呼吁消費者不要加價購買
2023-08-17 14:00:43
微軟未及時修復Windows PowerShell Gallery漏洞
2023-08-17 13:57:07 
人民銀行增加支農支小再貸款350億元
2023-08-17 13:06:11 
農行綠色信貸余額增速超30%
2023-08-17 13:01:34 
【普惠小微萬里行】“知識產權金融”助力實體經濟發展
2023-08-17 12:58:50 
國服手游《重生細胞》銷量突破500萬 新版本籌備中
2023-08-17 12:24:29 
京東818手機節購一加 Ace 2 Pro新品 加29.9元享一年無限次碎屏保
2023-08-17 12:07:59
腦虎科技彭雷：以務實之道，行長穩之路
2023-08-17 12:05:08 
字節跳動水印技術論文入選ACM MM 2023
2023-08-17 12:03:35 
極智嘉x吉利汽車 x京東物流，引領汽車行業智慧物流新變革！
2023-08-17 11:53:57
小米MIX Fold 3保外維修費出爐：換屏要3650元
2023-08-17 11:07:36 
AMD銳龍7000APU迷你主機2999元 16GB+1TB版本
2023-08-17 11:04:49 
咖喱味iPhone 15要來了！富士康印度開始生產iPhone 15型號
2023-08-17 11:01:35 
費翔演紂王殷壽 總票房突破40億
2023-08-17 10:58:42
電影《長安三萬里》致歉：未授權使用個人作品
2023-08-17 10:55:11 
中船系板塊持續拉升，昆船智能漲超6%
2023-08-17 10:54:46 
2023年汽車銷量與樓市銷量比例降了 崔東樹建議更多措施拉動購車
2023-08-17 10:07:56 
iPhone 15印度產：8500萬部 鴻蒙/華為供應商是最大供應商
2023-08-17 10:04:05
【鄉村振興進行時】以“綠色金融”滋養“綠色發展”
2023-08-17 10:01:46
東莞網約車需雙平臺監管 衛星定位裝置要求高
2023-08-17 09:59:47 
小度青禾學習手機W30博學版發布 來京東參與預售100元定金可抵300元
2023-08-17 09:58:52 
眾安保險發布全球數字化養寵新趨勢
2023-08-17 09:56:15 
蘋果將在印度生產AirPods耳機
2023-08-17 09:54:54 
記者觀察：家財險也需“與時俱進”
2023-08-17 09:54:32 
SAS攜手中國太保榮獲2023年度“中國最佳合規風險技術實施”獎項
2023-08-17 09:54:29
鐳波T99X怎么樣
2023-08-17 09:32:53 
“杠子”解鎖致富密碼
2023-08-17 09:09:31 
離岸人民幣對美元跌破7.3關口
2023-08-17 09:07:46
138家險企公布短期健康險賠付率
2023-08-17 08:54:52 
涿州地區家財險進入理賠高峰
2023-08-17 08:54:35 
天風證券：本月LPR或將非對稱下調
2023-08-17 08:32:19
抖音與中國電影資料館啟動經典香港電影修復計劃
2023-08-17 08:06:59 
吉利汽車新車型螢火蟲上市 起售6.98萬元
2023-08-17 08:06:24 
《碧藍幻想：Relink》已評級：有微交易
2023-08-17 08:03:24 
黃渤閆妮跳操《學爸》電影上映
2023-08-17 08:01:45
索尼申請新專利：用虛擬現實參與電子競技
2023-08-17 07:56:54 
谷倉孵化器 聚焦硬科技
2023-08-17 06:59:45
《第一后裔》重磅來襲 影馳RTX 4060 Ti 星曜 OC開啟DLSS 3完美助力！
2023-08-17 06:59:13
索泰固態主動散熱Mini PC PI430AJ上市
2023-08-17 05:58:54 
艾華集團（603989）：8月16日北向資金增持6.15萬股
2023-08-17 03:42:07 
千帆競發豐收路 海南臨高開漁文化節開幕
2023-08-16 23:07:05 
線上線下超3萬家展商參展第七屆中國—南亞博覽會
2023-08-16 22:35:33
大模型故事，科大訊飛還沒講透
2023-08-16 21:15:24 
2023 年 Q2 增長迅猛，雷鳥創新攜Xreal、Rokid領跑國內消費級AR市場份額
2023-08-16 21:06:35
寧德時代發布神行超充電池 充電十分鐘續航400公里
2023-08-16 20:59:34 
“微改革”優化營商環境供給
2023-08-16 20:03:11 
這個李鬼可比真李逵厲害，多家公司吐槽LOGO變成視覺中國版權圖
2023-08-16 19:15:11 
極智嘉(Geek+)發力智慧物流，三大項目關鍵階段全方位護航全球合作伙伴
2023-08-16 19:02:16 
黃岡市農業科技賦能成果推廣
2023-08-16 18:09:00
江蘇如皋推進社會治理更接地氣更好服務民生
2023-08-16 18:08:27 
鼎通科技擬發不超7.95億可轉債 2020上市2募資共12億
2023-08-16 18:04:31 
吉林環城農商行“三個聚焦”服務地方經濟發展
2023-08-16 18:03:49
新技術再續舊時光,火山引擎首次采用視覺大模型修復經典老港片
2023-08-16 18:03:18
看完中國聯通全新XR通話 讓人忍不住想馬上打Call
2023-08-16 18:02:53 
中國重汽推出新輕客車型 搭載濰柴2.0T柴油發動機
2023-08-16 17:59:19 
深耕餐飲SaaS十一載 客如云與美味不用等“雙劍合璧”開啟新征程
2023-08-16 17:57:13 
多條“賽道”發力，云南嵩明縣經濟持續進位
2023-08-16 17:55:43 
2023東北亞（興城）國際泳裝博覽會新聞發布會召開
2023-08-16 17:55:26 
Miel蜜邇 M75 Blue Flurry藍雪花上市
2023-08-16 17:53:51
瑞虎8 PRO冠軍版上市 綜合續航超過1000km 12.69-15.99萬元
2023-08-16 17:02:05 
散熱穩了！一加Ace 2 Pro首發航天級天工散熱系統
2023-08-16 16:59:14
人民銀行將于8月22日在港發行350億元央票
2023-08-16 16:57:54 
相關新聞