微軟近日在游戲領(lǐng)域邁出了重要一步，宣布推出名為Muse的新一代生成式AI模型，這一創(chuàng)新成果已在Nature雜志上發(fā)表。Muse的核心在于其“世界與人類行為模型”（WHAM），該模型通過深度學(xué)習(xí)《Bleeding Edge》游戲七年來的玩家數(shù)據(jù)，形成了對3D空間中物體、角色及環(huán)境交互方式的深刻理解。
為了構(gòu)建這一模型，微軟團(tuán)隊(duì)處理了約50萬場匿名化的游戲?qū)咒浵瘢傆?7.89TB的數(shù)據(jù)量，相當(dāng)于七年持續(xù)游戲時間的總和。這些數(shù)據(jù)被精簡為每秒10幀，最終產(chǎn)生了約14億幀的訓(xùn)練樣本。團(tuán)隊(duì)還準(zhǔn)備了一個包含“Skygarden”地圖上一年游戲數(shù)據(jù)（3.1億幀）的小型數(shù)據(jù)集，用于快速實(shí)驗(yàn)驗(yàn)證。
Muse的技術(shù)架構(gòu)基于主流的Transformer模型，擁有16億參數(shù)，能夠處理每秒10幀的游戲畫面及控制器輸入序列。在數(shù)據(jù)編碼上，模型采用VQGAN技術(shù)，將每幀300×180分辨率的游戲畫面壓縮為540個離散標(biāo)記，詞表大小達(dá)16,384個。對于Xbox手柄的輸入，模型則將左右搖桿的x、y坐標(biāo)離散化為11個區(qū)間，并處理按鍵的離散狀態(tài)。
WHAM的訓(xùn)練采用了兩階段策略，首先是VQGAN編碼器/解碼器的訓(xùn)練，以確保壓縮后的圖像質(zhì)量，并通過GAN損失提升生成效果。第二階段則是Transformer的因果預(yù)測訓(xùn)練，使用交叉熵?fù)p失預(yù)測下一個標(biāo)記。訓(xùn)練過程中，最大規(guī)模的模型使用了AdamW優(yōu)化器，學(xué)習(xí)率從0.0008按余弦退火至0.00008。
Muse模型在一致性、多樣性和持久性方面表現(xiàn)出色。一致性通過比較生成的10秒視頻序列與真實(shí)游戲錄像的Fréchet視頻距離來評估，結(jié)果顯示模型能生成長達(dá)2分鐘的連貫序列。多樣性則采用Wasserstein距離，比較生成的控制器操作序列與真實(shí)玩家行為的分布差異，模型展現(xiàn)出行為多樣性和視覺多樣性。持久性測試顯示，當(dāng)輸入5幀或以上的編輯畫面時，模型能在后續(xù)生成的畫面中保持85%以上的編輯內(nèi)容。
微軟表示，Muse的應(yīng)用場景廣泛，包括游戲原型開發(fā)、經(jīng)典游戲的現(xiàn)代化改造、游戲資產(chǎn)生成及NPC行為模擬等。然而，盡管微軟對Muse的前景充滿信心，并訪談了全球27位游戲創(chuàng)作者以確保研究方向符合行業(yè)需求，但開發(fā)者群體對此反應(yīng)強(qiáng)烈，甚至引發(fā)爭議。
資深游戲開發(fā)者David Goldfarb在社交媒體上直言不諱地批評Muse，認(rèn)為生成式AI對游戲行業(yè)無益，反而可能貶低和剝奪游戲開發(fā)者和藝術(shù)家的美學(xué)積累。他擔(dān)憂我們正失去工藝，依賴這些技術(shù)實(shí)際上是在賦權(quán)給那些不關(guān)心技術(shù)如何重塑我們生活的人。
一位匿名AAA游戲工作室開發(fā)者指出，Xbox在人才流失的同時卻在生成式AI上投入巨資，無視市場對此技術(shù)的冷淡態(tài)度。該開發(fā)者還擔(dān)憂，在游戲行業(yè)動蕩的背景下，所有人都害怕因反對AI而失去工作，因此內(nèi)部討論變得沉默。
據(jù)WIRED此前的調(diào)查報道，游戲行業(yè)正經(jīng)歷大規(guī)模裁員，同時AI正逐步取代人工開發(fā)者的工作。僅2023年至今，游戲行業(yè)已裁員數(shù)千人，這一趨勢在2025年仍在持續(xù)。例如，Unity引擎開發(fā)商最近宣布了新一輪裁員計劃。
盡管業(yè)內(nèi)對AI在游戲開發(fā)中的應(yīng)用并非完全否定，但普遍認(rèn)為AI在原型設(shè)計階段可能提供幫助。然而，開發(fā)者強(qiáng)調(diào)，原型設(shè)計既重視過程也重視結(jié)果，親歷這一過程才能獲得所有學(xué)習(xí)，快速原型設(shè)計是一項(xiàng)無法簡單繞過的寶貴技能。
微軟游戲AI部門副總裁Fatima Kardar在公告中表示，希望通過合作和負(fù)責(zé)任的方式引導(dǎo)生成式AI支持游戲行業(yè)和創(chuàng)作社區(qū)。然而，從開發(fā)者們的反應(yīng)來看，微軟要說服他們接受這項(xiàng)技術(shù)，顯然還有很長的路要走。
