聊天機器人 背後軟硬體貴得嚇人
工商時報 陳怡均 2023.03.15
OpenAI的聊天機器人ChatGPT一炮而紅，背後投入的軟硬體成本卻相當驚人。圖／美聯社

FacebookLineTelegramTwitterWeChatPrintFriendly

聊天機器人ChatGPT在全球掀起熱潮，吸引全世界目光，但實際上，打造並維護人工智慧（AI）服務，背後投入的軟硬體成本卻相當驚人。

在OpenAI的聊天機器人ChatGPT一炮而紅之前，一家名為Latitude的小型新創公司已研發AI Dungeon遊戲，所提供的AI功能能藉由輸入的提示創造奇幻故事。
隨著AI Dungeon漸受歡迎，Latitude執行長沃頓（Nick Walton）表示，維護該平台的成本即暴增。因AI Dungeon產生文字軟體採用GPT語言技術，後者屬於微軟投資的AI研究室OpenAI。只要愈來愈多人參與AI Dungeon遊戲，Latitude就須支付更多的費用給OpenAI。
沃頓估計，在2021年使用高峰期，針對該公司採用OpenAI的生成式AI（generative AI）軟體與亞馬遜AWS，Latitude每月需付出將近20萬美元。
沃頓表示，「我們都開玩笑說我們有人類員工和AI員工，兩邊支付的成本差不多。每個月要花一大筆錢在AI，我們不是大型新創公司，這是很龐大的成本。」
Latitude在2021年底停用OpenAI的GPT軟體技術，改用較便宜、由新創業者AI21 Labs的產品，後者整合開放程式碼和免費語言模型，藉此降低成本，這讓Latitude支付AI技術的費用可降至每月10萬美元以下。
Latitude昂貴的AI帳單反映出一個現實，就是生成式AI技術蓬勃發展的背後，業者必須承擔極昂貴的開銷。
此外，要執行AI運算必須特殊硬體設備，而輝達（NVIDIA）是AI產業晶片的主要供應商，數據中心設備的GPU要價即1萬美元。分析師和技術專家預估，訓練GPT-3等大型語言模型，總計要花費逾400萬美元。