訂閱
糾錯
加入自媒體

英偉達、高通競相押注,“AI插幀”如何改變游戲?

2024-08-07 16:51
雷科技
關注

AI重新定義游戲體驗的時代。

在過去半個世紀里,電子游戲一直是推動計算機技術變革的關鍵力量。從雅達利的第一代游戲機到持續(xù)幾個世代的主機大戰(zhàn),從 NVIDIA(英偉達)的顯卡到手機芯片里的 GPU,實質上都離不開游戲的推動作用。反過來,游戲的發(fā)展也離不開計算機技術。

過去幾年,不管是在 PC 還是手機上,游戲性能的提升除了得益于 GPU 的持續(xù)改進,在另一方面也得益于超分、插幀技術的快速進步。稍早前,AMD 就又推出了新一代幀生成(俗稱「插幀」)技術——AFMF 2 的技術預覽,引起了玩家群體的廣泛關注。

AMD AFMF 2 也來了:游戲體驗進入新一輪「插幀」賽

AFMF 的全稱是 AMD Fluid Motion Frames,第一代 AFMF 實際上今年 1 月才面向所有用戶正式推出,結果僅僅半年后,又火速推出了新一代 AFMF 2 的技術預覽。

SCR-20240806-qtoo.png

AFMF 2 技術預覽推出,圖/雷科技

相比第一代,AFMF 2 的重點是大幅降低延遲、優(yōu)化流暢度、提升性能,其中還針對快速運動進行了優(yōu)化,此外還有更廣泛的游戲兼容性以及更多的設置和玩法。AMD 官方也表態(tài)襯,AFMF 2 是一次幀生成技術的重大進步。

數(shù)毛社(Digital Foundry)的成員在體驗過 AFMF 2 技術預覽版后,總體上也是肯定了 AMD 帶來的游戲性能提升,盡管在《賽博朋克 2077》的部分建筑場景下會出現(xiàn)明顯的偽影。

理論上,配合 AMD FSR 3 的超分技術,AFMF 2 還能帶來更好的游戲性能和畫質表現(xiàn)。

而不僅是 AMD,其他各家廠商也都已經(jīng)推出或者計劃推出各自的插幀技術,同時推動技術的迭代和普及。在主要的幾家大廠中,最早喊出 AI 驅動圖形革命的 NVIDIA,旗下 DLSS(包含超分、插幀技術)已經(jīng)發(fā)展到了 3.5 版本;高通基于驍龍平臺的 AFME 超幀技術,2.0 版本也開始有了游戲進行適配。

IMG_20240725_154012.jpeg

騰訊游戲《塔瑞斯世界》適配高通 AFME 2.0,圖/雷科技

此外,英特爾 XeSS 也在計劃推出自己幀生成技術,英特爾圖形研究副總裁 Anton Kaplanyan 去年介紹了名為 ExtraSS 的解決方案,其中就包含了插幀技術。不過聯(lián)發(fā)科就有些耐人尋味,雖然最早嘗試將超分技術引入手機游戲場景,但在插幀技術上還停留在視頻上。

事實上,當我們回顧插幀技術在游戲領域的發(fā)展歷史,其實可以追溯到早期的線性插值技術,通過簡單的算法在兩個關鍵幀之間生成過渡幀,較早就被應用在視頻領域。而隨著算力的提升和算法的進步,插幀技術逐漸演變?yōu)楦鼮閺碗s和智能的系統(tǒng),也終于能夠應用在可以互動的游戲上。

尤其是這幾年,以 NVIDIA 的 DLSS 技術為代表的超分和插幀技術,經(jīng)歷了多次的迭代,從最初的 DLSS 1.0 到現(xiàn)在的 DLSS 3.5,從靠 AI「腦補」像素到基于 AI 算法的渲染,并且還引入了幀生成技術。

不過,盡管 AI 插幀技術帶來了諸多優(yōu)勢,但在游戲領域的應用仍然面臨一些挑戰(zhàn)和問題。比如對于快速變化的場景,AI 可能會生成不準確的幀,導致畫面?zhèn)斡昂湍:。此外,不同廠商的實現(xiàn)方式和技術路徑差異較大,也給很多用戶在選擇時帶來了疑問和困惑。

都是插幀,大家有什么區(qū)別?

雖然各大廠商的插幀技術都能夠實現(xiàn)「插幀」這一基本功能,但它們在實現(xiàn)方式和效果上卻存在顯著差異。

我們都知道,視頻本質上是由一張張照片組成的,比如電影主流格式是 24 幀每秒,意味著 1 秒有 24 張照片。具體到游戲,插幀技術的核心就是在原始幀(圖形渲染)之間通過 AI 生成新的幀,以此提升游戲的幀率和流暢度。

但如何生成新的幀以及如何處理,都會影響到實際游戲體驗中插幀技術的延遲和畫面效果。不同廠商在實現(xiàn)這一功能時采用的不同方法和路徑,會直接導致效果不同,受到玩家群體的評價也不同。

NVIDIA DLSS 3:真正的 AI 驅動

Capture-2024-07-12-174822.png

「DLSS 是 AI 驅動圖形領域的革命性突破」,圖/英偉達

比如 NVIDIA 的 DLSS(Deep Learning Super Sampling,深度學習超采樣),從 3.0 開始引入基于運動向量和運動檢測的幀生成技術,通過深度學習和 AI 算法生成新幀,從而提升游戲的幀率和圖像質量。

和其他算法通過分析圖像變化和猜測運動相比,DLSS 的幀生成準確率更高,幀生成效果也更好,在對原始幀渲染影響不大的前提下插到 2 倍甚至更高。

數(shù)毛社(Digital Foundry)的測試就表明,在 RTX 4090 這張卡上,《漫威蜘蛛俠》4K 畫質在開啟 DLSS 3 的性能表現(xiàn)甚至可以到關閉 DLSS 的 203.6%,并且可以將畫面劣化程度控制在基本無法感知的范疇內。

圖/數(shù)毛社

不過需要指出,基于運動向量和運動檢測的另一方面,是 DLSS 幀生成的實現(xiàn)依賴于 Tensor Core(AI 計算單元)和運動向量數(shù)據(jù),通過獲取幀間的運動信息,并生成高質量的中間幀。所以具體到實際中,DLSS 幀生成既依賴于集成 Tensor Core 的英偉達顯卡,也依賴于游戲的適配和支持。

好在,憑借在游戲顯卡市場的領先地位和長久的合作關系,英偉達對于游戲廠商的影響力不可小覷,很多 3A 大作也都適配了 DLSS 3 中的幀生成技術。

AMD AFMF 2:邁向 AI 驅動前,大幅改進延遲

相比之下,AMD 最新推出的 AFMF 2 不需要游戲的主動適配就能用,支持所有 DX11 和 DX12 游戲;還支持 AMD RDNA 2 架構的所有產(chǎn)品,包括 AMD Radeon RX 6000 和 7000 系列 GPU 或更新產(chǎn)品,以及基于 700M 的 APU。

簡言之,AMD AFMF 2 在硬件和游戲層面都有更強的兼容性。核心在于,AFMF 2 并不基于運動向量,也不同于 NVIDIA DLSS 依賴 AI 計算單元的硬件加速。

雖然在幀生成質量上距離 DLSS 3 可能還有一定的差距,但在延遲上,AMD 宣稱 AFMF 2 在《賽博朋克 2077》(4K、最高檔光線追蹤)中,AFMF 2 比起上一代 AFMF 降低了 28%的延遲。

SCR-20240806-qwqh.png

圖/ AMD

在配備 AMD Ryzen 7 8700G 處理器以及 Radeon 780M 集成顯卡的電腦里運行 《CS 2》,可以在 1080p 解析度、畫質非常高的設置下實現(xiàn) 120fps 以上的顯示幀率,同時還有 12%的延遲降低。

另外在設置上,AFMF 2 還有「Search」和「Performance」兩種模式,前者是最大力度提升畫質和幀率,后者則是盡可能降低功耗來保證游戲流暢運行。

不過按照 AMD 首席技術官 Mark Papermaster 的說法,「(AMD)正在利用 AI 來升級我們的游戲設備!乖偌又,RDNA 3 開始 AMD 終于加入了 AI 計算單元,似乎一切都在暗示:下一代 FSR(包括 AFMF)將真正基于 AI 進行設計和運行。

高通 AFME 2.0:解放手機功耗的「利器」

高通的 AFME,全稱是 Adreno 圖像運動引擎(Adreno Frame Motion Engine),最早在 2021 年引入,到去年驍龍峰會終于升級到了 2.0。而與手機上常見的其他游戲插幀方案不同,AFME 2.0 不需要外掛芯片,也不需要 CPU,僅僅依賴 GPU 進行計算。

在 7 月舉辦的驍龍游戲技術賞上,騰訊游戲的《塔瑞斯世界》就宣布引入了 AFME 2.0 技術,由于不調用 CPU,幀數(shù)實際表現(xiàn)更加穩(wěn)定。

IMG_20240725_153951~2.jpg

《塔瑞斯世界》引入 AFME 后,圖/雷科技

相比 PC 上插幀技術的重點是提高游戲畫面和幀率,插幀在移動端的應用,更大的意義其實還是在降低負載、降低功耗。

按照騰訊游戲國內發(fā)行線生態(tài)發(fā)展部引擎組負責人胡豪翔給出的數(shù)據(jù),AFME2.0 在能耗上相較原生 60 幀方案降低大約 30%,畫面更加流暢的同時,畫質沒有任何損失。

同時,一加也在利用驍龍平臺實現(xiàn)更強的游戲性能,通過將幀生成與計算的整個過程放在高通芯片上完成,讓生成幀與游戲渲染幀之間,只間隔一個 120Hz 的垂直同步周期。

AI 插幀,真正的游戲改變者

游戲與 GPU 的相互成就,早就不言而喻:

伴隨游戲畫質和復雜度的提升,GPU 的圖形渲染性能需要不斷提升,才能滿足玩家對高幀率、高分辨率和逼真畫面的追求。而為了支持最新的游戲大作,GPU 廠商不斷提升計算能力和優(yōu)化圖像處理技術,也會推動游戲畫質和復雜度的提升,從而提升玩家的沉浸感和互動體驗。

不過肉眼可見的是,GPU 圖形渲染性能的提升在一定程度上陷入了瓶頸,而基于 AI 的插幀技術,則為游戲和 GPU 的發(fā)展帶來了新的契機。

在傳統(tǒng)的圖像處理中,需要在每一幀中進行復雜的圖形渲染,占據(jù)大量算力。而 AI 插幀技術則通過生成新的中間幀,減少了每幀所需的計算量,從而顯著提升了幀率和流暢度。

以 NVIDIA 的 DLSS 3.5 為例,該技術通過 AI 算法和光流加速器,能夠在不犧牲圖像質量的前提下,顯著提高游戲的幀率。這不僅提升了玩家的游戲體驗,也減少了對 GPU 的負擔,使得中低端顯卡也能夠運行高要求的游戲。

cyberpunk-2077-nvidia-dlss.png

插幀技術的影響是多方面的。在它的影響下,游戲開發(fā)商能夠在保持高幀率的同時,提升游戲的畫質和細節(jié),從而吸引更多玩家。

此外,以 DLSS 3 為代表的 AI 插幀,還有望降低開發(fā)成本和時間,因為開發(fā)商不再需要為每個場景和動作單獨優(yōu)化圖像處理算法。AI 插幀的普及使得游戲市場更加多元化,獨立開發(fā)者和小型工作室也更容易利用這一技術,制作出高質量的游戲作品,增加了市場競爭力和創(chuàng)意空間。

另一方面,傳統(tǒng)的 GPU 設計主要關注于提升計算能力和圖像渲染性能,而 AI 插幀技術的引入則要求 GPU 具備更強的 AI 計算能力。

geforce-ada-4090-web-og-1200x630.jpg

圖/英偉達

為此,GPU 廠商開始在其產(chǎn)品中集成更多的 AI 處理單元,以支持 AI 插幀和其他 AI 驅動的圖像處理技術。NVIDIA 的 RTX 40 系列顯卡中就頗具爭議地集成了更多的 Tensor Cores,專門用于 AI 計算和深度學習任務。包括 AMD,也開始引入 AI 計算單元。

同時,AI 技術的快速發(fā)展,也必然帶動 AI 插幀的進步與普及。

按照目前的趨勢來看,軟件和硬件都在越來越傾向于 AI 加速計算,在根本上改變各種硬件的計算環(huán)境。而相比圖形渲染,AI 驅動帶來的游戲性能提升,不僅效益更高,還有更大的提升空間。

來源:雷科技

       原文標題 : 英偉達、高通競相押注,“AI插幀”如何改變游戲?

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

人工智能 獵頭職位 更多
掃碼關注公眾號
OFweek人工智能網(wǎng)
獲取更多精彩內容
文章糾錯
x
*文字標題:
*糾錯內容:
聯(lián)系郵箱:
*驗 證 碼:

粵公網(wǎng)安備 44030502002758號