4月9日,2020浪潮云數(shù)據(jù)中心合作伙伴大會(IPF2020)在線上舉行,浪潮重磅發(fā)布全新AIStation人工智能推理服務(wù)平臺,這是業(yè)界首款智算中心算力調(diào)度軟件產(chǎn)品,是專為企業(yè)級AI生產(chǎn)環(huán)境打造的AI推理服務(wù)平臺,可實現(xiàn)推理服務(wù)資源敏捷調(diào)配,支持多源模型統(tǒng)一調(diào)度,使模型部署從幾天縮短到幾分鐘,將有力地幫助企業(yè)輕松部署AI推理服務(wù),從而大幅提升AI交付和生產(chǎn)效率。
當(dāng)前,AI模型開發(fā)進入到生產(chǎn)部署階段面臨著多重困難和挑戰(zhàn):AI模型需要經(jīng)過大量的調(diào)試和測試才能部署上線,這一過程通常需要2-3天;AI線上服務(wù)計算資源一般較固定,對于突發(fā)需求資源響應(yīng)慢,業(yè)務(wù)擴展難;AI模型來源不同,統(tǒng)一管理也很困難。企業(yè)希望可以無縫銜接AI模型訓(xùn)練開發(fā)與推理部署,進行高效的資源調(diào)度和模型管理,縮短業(yè)務(wù)上線周期。
最新發(fā)布的浪潮AIStation推理平臺是企業(yè)級AI推理服務(wù)平臺,通過彈性可伸縮架構(gòu)、低延遲輕量化設(shè)計、A/B測試滾動發(fā)布、多模型加權(quán)評估等重要技術(shù)創(chuàng)新,幫助企業(yè)高效利用AI計算資源,快速部署推理服務(wù)。AIStaion推理平臺具有一鍵部署、快速響應(yīng)、日志監(jiān)控、資源管控、數(shù)據(jù)處理等功能,是功能全面強大的AI資源平臺。
AIStation推理平臺支持本地On-Premise和云端Cloud部署,保證服務(wù)的可獲得性和業(yè)務(wù)連續(xù)性,實現(xiàn)了AI模型從開發(fā)環(huán)境到生產(chǎn)部署繁雜過程的自動化快捷操作,將模型部署時間從兩三天降低到幾分鐘。
在資源調(diào)度方面,AIStation推理平臺能夠敏捷調(diào)配服務(wù)資源。采用創(chuàng)新的彈性可伸縮架構(gòu),可根據(jù)推理服務(wù)資源需求的變化及時調(diào)整資源配給,將響應(yīng)突發(fā)需求的實例部署時間從幾小時縮短到幾分鐘。并且支持新模型發(fā)布前A/B測試,在實際業(yè)務(wù)場景中驗證模型有效性,保證推理業(yè)務(wù)的安全、可靠,同時避免了流量切換所導(dǎo)致的集群負載壓力。
在模型管理方面,AIStation推理平臺實現(xiàn)了多源模型統(tǒng)一調(diào)度。通過統(tǒng)一平臺管理多源、多場景模型的推理服務(wù),實時掌控全局資源,對模型服務(wù)實現(xiàn)綜合調(diào)度和動態(tài)部署。同一資源池可同時支持多家模型服務(wù),將資源利用率從40% 提高到80%。并且可實現(xiàn)多模型加權(quán)評估,通過對不同預(yù)訓(xùn)練模型的計算結(jié)果進行自定義權(quán)值設(shè)置,有效提升實際業(yè)務(wù)場景中預(yù)測結(jié)果的可靠性,構(gòu)建可靠可信的智能系統(tǒng),有效降低誤判率。
之前浪潮推出的AIStation訓(xùn)練平臺已經(jīng)獲得廣泛應(yīng)用,該平臺通過計算資源細粒度調(diào)度、訓(xùn)練數(shù)據(jù)緩存加速、分布式訓(xùn)練自動編排等策略,使用戶的AI計算資源利用率提高到90%以上,大幅縮短了模型開發(fā)周期。隨著本次浪潮AIStation推理平臺的面世,AIStation資源平臺全面支持訓(xùn)練與推理兩大場景,實現(xiàn)從模型開發(fā)、訓(xùn)練、部署、測試、發(fā)布、服務(wù)的全流程一站式高效交付。
浪潮AI&HPC總經(jīng)理劉軍表示:“智算中心是人工智能新基建,它生產(chǎn)和供應(yīng)人工智能計算力,是社會經(jīng)濟運行的智慧基礎(chǔ)設(shè)施。而要讓智算中心充分釋放算力,就需要按需靈活調(diào)度算力。AIStation對于智算中心新基建的意義,就相當(dāng)于電廠和電網(wǎng)的核心調(diào)度系統(tǒng),它能夠根據(jù)AI應(yīng)用需求高效調(diào)度AI算力資源,幫助企業(yè)加速AI研發(fā)創(chuàng)新、提速AI生產(chǎn)交付,讓企業(yè)更專注于AI開發(fā)本身,從而賦力更多創(chuàng)新可能,加速AI落地應(yīng)用。”
浪潮是人工智能計算的領(lǐng)導(dǎo)品牌,AI服務(wù)器中國市場份額保持50%以上,并與人工智能領(lǐng)先科技公司保持在系統(tǒng)與應(yīng)用方面的深入緊密合作,幫助AI客戶在語音、語義、圖像、視頻、搜索、網(wǎng)絡(luò)等方面取得數(shù)量級的應(yīng)用性能提升。浪潮與合作伙伴共建元腦生態(tài),共享AI計算、資源與算法三大核心平臺能力,助力行業(yè)用戶開發(fā)并部署屬于自己的“行業(yè)大腦”,加速推進產(chǎn)業(yè)AI化落地。
文章題目:業(yè)界首款智算中心算力調(diào)度軟件!浪潮重磅發(fā)布AIStation推理平臺
轉(zhuǎn)載注明:http://chinadenli.net/article20/chosco.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供移動網(wǎng)站建設(shè)、品牌網(wǎng)站建設(shè)、網(wǎng)站導(dǎo)航、網(wǎng)站營銷、自適應(yīng)網(wǎng)站、虛擬主機
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)