鈞鈞 發達集團副董事長
來源:您真內行   發佈於 2023-04-19 09:19

AI伺服器 帶旺記憶體需求

【時報-台北電】根據集邦科技調查,人工智慧(AI)伺服器可望帶動記憶體需求成長,伺服器DRAM平均容量可達1.2~1.7TB之間,企業用固態硬碟(Enterprise SSD)容量提升上則呈現非必要擴大容量的態勢,但在傳輸介面上會為了高速運算的需求而優先採用PCIe 5.0。未來在AI模型逐漸複雜化的趨勢下,將刺激更多的記憶體用量。 集邦調查指出,AI伺服器可望帶動記憶體需求成長,以現階段而言,一般伺服器的DRAM普遍配置約為500~600GB左右,而AI伺服器在單條模組上則多採64~128GB,平均容量可達1.2~1.7TB之間。 以企業用SSD而言,由於AI伺服器追求的速度更高,其要求優先往DRAM或高頻寬記憶體(HBM)滿足,在SSD的容量提升上則呈現非必要擴大容量的態勢,但在傳輸介面上會為了高速運算的需求而優先採用PCIe 5.0。 相較於一般伺服器而言,AI伺服器多增加通用繪圖處理器(GPGPU)的使用,因此以NVIDIA A100 80GB配置四張或八張卡採計,HBM用量約為320~640GB。未來在AI模型逐漸複雜化的趨勢下,將刺激更多的記憶體用量,包括推升伺服器DRAM容量達2.2~2.7TB、企業用SSD容量倍增至8TB、及HBM的搭載容量亦倍增至512~1024GB。 根據目前NVIDIA所定義的深度學習及機器學習(DL/ML)型AI伺服器平均每台均搭載四張或八張高階顯卡,搭配兩顆主流型號的x86伺服器中央處理器(CPU),而主要拉貨力道來自於美系雲端業者如Google、亞馬遜AWS、mexta與微軟等。 據集邦統計,2022年高階搭載GPGPU的伺服器出貨量年增約9%,其中近80%的出貨量均集中在中國及美國八大雲端業者。展望2023年,微軟、mexta、百度、字節跳動相繼推出基於生成式AI衍生的產品服務而積極加單,預估今年AI伺服器出貨量年增率可望達15.4%,2023年至2027年AI伺服器出貨量年複合成長率(CAGR)約12.2%。 至於在HBM市場來看,去年三大原廠市占率分別為SK海力士的50%、三星的40%、及美光的10%等。此外,高階AI深度學習GPU的規格也刺激HBM產品更迭,今年下半年伴隨NVIDIA H100與AMD MI300的搭載,三大原廠也已規劃相對應規格HBM3的量產。SK海力士為目前唯一量產新世代HBM3產品的供應商,整體HBM市占率可望藉此提升至53%,而三星、美光則預計陸續在今年底至明年初量產,市占率分別為38%及9%。(新聞來源 : 工商時報一涂志豪/台北報導)

評論 請先 登錄註冊