鉅亨網新聞中心 2025-02-11 15:34
字節跳動推新影片AI模型「Goku」 一鍵生成虛擬人物直播帶貨。(圖:截自Goku)
字節跳動與香港大學聯合發布新影音 AI 生成模型「Goku」,以及專注於廣告影片生成模型「Goku+」,其成品無論是展示食物還是化妝品都很逼真自然,人物神情也難看出破綻,讓網友非常驚艷,直呼可以與 OpenAI 的 Sora 一較高下。
Goku 是一系列基於 rectified flow Transformer 的模型,專為圖像和影片聯合生成而設計,支援文生影片、圖生影片、文生圖。甚至能僅憑一張商品圖加上宣傳文字,甚至能僅憑一張商品圖。
為了訓練 Goku,研究人員也準備了大規模高品質資料集和高效的訓練基礎設施。在數據方面,建立了約 3600 萬張影片和 1.6 億影像的大規模資料集,並採用多種資料過濾和增強技術來提高資料品質。
Goku + 是基於 Goku 模型推出的擴展版本,專注於廣告視頻創作,能快速生成高品質的廣告視頻,支援 20 秒以上的視頻生成,具備穩定的手部動作和豐富的面部及身體表情。
Goku + 可將產品圖片轉化為吸引人的視頻,支援虛擬數位人與產品互動,增強廣告吸引力。適用于電商、品牌宣傳、短視頻廣告和產品展示等多種場景,能顯著降低廣告製作成本,提升創作效率。
Goku 能一鍵生成數位人直播帶貨的高質量影片,支援文字創建客製化的高清視頻,以優化廣告場景,明顯優於競爭對手的視頻基礎模型,被網友認為這是是顛覆性技術,稱之為「行銷的終結者」,直呼威脅 TikTok 用戶和 YouTube 創作者的飯碗。
不過,官方目前只放出了技術報告,暫時還不開放一般用戶使用。