小小靓 發達集團副總裁
來源:哈拉閒聊   發佈於 2024-08-29 06:18

CEREBRAS推快速AI晶片 挑戰輝達

吳慧珍/綜合外電報導
2024年8月29日 週四 上午4:10





AI新創公司Cerebras Systems發表號稱全球最快的AI推論解決方案。圖/freepik
以挑戰AI晶片龍頭輝達為目標的AI新創公司Cerebras Systems,27日發表號稱全球最快的AI推論解決方案Cerebras Inference,速度比輝達GPU快20倍,成本只有輝達GPU的五分之一。
Cerebras在自家官網發文指出,Cerebras Inference為mexta的開源大語言模型Llama3.1 8B ,每秒生成1800個token,為Llama3.1 70B每秒生成450個token,比導入輝達GPU解決方案的超大規模雲端快20倍。
價格方面Cerebras Inference採按用量付費(pay-as-you-go)模式 ,Llama 3.1 8B的每百萬tokens收10美分,Llama 3.1 70B每百萬tokens收60美分。Cerebras聲稱成本僅輝達GPU五分之一,其AI推論工作負載的性價比,較其他服務高出100倍。
Cerebras執行長費爾德曼(Andrew Feldman)指出,「我們產品的性能GPU達不到,而且精確度最高,價格最便宜。」
Cerebras創立於2015年,毫不掩飾挑戰輝達市場主宰地位的野心,獲ChatGpt開發商OpenAI執行長奧特曼的青睞注資。
有別於輝達、微軟將晶圓切割成小晶片,Cerebras是以整片晶圓製成大型晶片,今年3月發表專為訓練AI模型設計的WSE-3處理器,採用台積電5奈米製程打造。Cerebras證實有IPO(首次公開募股)計畫,本月向美國證管會秘密提交招股說明書。
繪圖晶片起家的輝達,靠Hopper GPU在第一波AI投資中搶得先機,佔據AI晶片市場主導地位。但Cerebras、d-Matrix和Groq等規模較小的AI新秀異軍突起,皆以挑戰霸主輝達爭搶市占為目標。Cerebras、d-Matrix與Groq另闢蹊徑,投入開發更便宜、專為運行AI模型設計的晶片,Cerebras新推出的AI推論工具Cerebras Inference,就是最好的例子。
Cerebras執行長費爾德曼接受媒體訪問說:「要打倒800磅大猩猩,方法是推更好的產品到市場。照我的經驗,略勝一籌的產品通常會贏,我們從輝達那兒爭取到重量級客戶。」

評論 請先 登錄註冊