Benchmarking dei benchmark GPU

Nei miei pezzi di benchmark e overclocking sulla Radeon 7900 XTX, ho utilizzato i benchmark integrati di diversi giochi popolari. Ho anche testato ogni gioco con le sue impostazioni massime assolute.

Ora sto confrontando gli stessi giochi con le impostazioni "patata", le configurazioni più basse possibili. Voglio indagare sulla scalabilità dei motori di gioco e sulle implicazioni per giocare e testare le GPU.

Volevo anche indagare sulla qualità di questi benchmark integrati, alla luce dei recenti dibattiti sull'esecuzione manuale rispetto a quella automatizzata o sulla selezione dei benchmark. Vedi ad esempio questa meta-recensione : in particolare, TechPowerUp ha segnato il 7900 XTX solo il 16% al di sotto del 4080 in RT, ma la maggior parte degli altri punti vendita ha dichiarato il 25%. E tutti loro hanno "ragione", hanno appena testato giochi diversi o testato alcuni giochi con benchmark diversi.

Risultati

C'è un'ampia gamma di impatto delle impostazioni grafiche su tutti i giochi nella mia suite di 11, quindi i miei punteggi relativi - miglioramento del framerate dalle impostazioni dall'alto verso il basso - sono ovunque. Commenterò i risultati e anche la qualità del benchmark integrato di ogni gioco.

Protocollo Callisto
Questo è un gioco fortemente limitato dalla CPU/motore, ma quel problema è più specifico per il suo uso massiccio del ray tracing. Disattiva RT e Callisto scala bene, scattando da 72 fps a 193 fps, un sano + 168%.

Il benchmark è buono, con una discreta rappresentazione della grafica e dell'animazione del gioco. Manca un po' di combattimento, ma questo non è molto pesante visivamente in Callisto, dove l'orrore e l'atmosfera possono fare con modesti effetti visivi in ​​combattimento. Bene, a parte il fatto che a volte puoi uccidere i nemici (o essere ucciso) in modi spettacolarmente cruenti che getteranno sangue come l'irrigatore di una fattoria, vorrei che il benchmark ne avesse un po'.

In un problema unico, il benchmark di Callisto utilizza un rapporto di aspetto bloccato in modo da non rappresentare correttamente alcuna risoluzione che non sia 16:9. Per me, questo è un bug.

Shadow of the Tomb Raider
SOTR funziona abbastanza bene a 110 fps, impostazioni massime incluso il suo RT entry-level e si adatta bene con GPU più veloci. Si ridimensiona anche normalmente con impostazioni ridotte, +112% a 233 fps.

Il benchmark è ragionevole. Nessuna azione, ma questo è un gioco in cui per lo più umili ogni alpinista IRL e lanci frecce. Il benchmark potrebbe presentare alcuni degli aggeggi idraulici nelle tombe, ma immagino che quelle grandi strutture mobili non siano molto più difficili da renderizzare con l'illuminazione in gran parte statica e incorporata del gioco (anche con RT). Suppongo che il benchmark integrato sia progettato per non rovinare nessuna scoperta interessante.

Quake II RTX
Un caso difficile per questo particolare studio poiché l'"impostazione della patata" qui è il renderer OpenGL originale del 1997. Quel motore di gioco è ora abbastanza vecchio da essere così ubriaco che pagherebbe $ 2.000 per una GPU. La differenza tra il peggio che il motore originale può fare e il meglio che può fare il nuovo remaster RTX è un astronomico 6.554%: 4.163 fps rispetto a 62 fps.

La classica funzione idTech timedemo è stata creata per tempi più semplici. Rende una sequenza fissa di fotogrammi (esattamente 687 per "demo1"), che è l'ideale per la riproducibilità, nessun rumore dal frame pacing. Ma con le impostazioni più basse, il test termina in 0,2 secondi sul 7900 XTX! Ciò causa un ampio margine di errore nella misurazione: una differenza del 10% dal punteggio peggiore a quello migliore di molte esecuzioni. Con questo avvertimento, è un buon punto di riferimento che rappresenta bene l'azione di gioco.

Le impostazioni più basse e più alte sono essenzialmente giochi distinti. Ma poiché la pratica dei remaster/remake è sempre più comune per i vecchi classici, trovo Quake II RTX un'utile visione del salto generazionale di complessità di rendering e prestazioni, anche se un po' estreme a causa dell'età del gioco originale e del percorso radicale rimasterizzazione tracciata.

Guardiani della Galassia
Questo gioco pesante raddoppia esattamente le prestazioni da 78 fps a 156 fps, un altro gioco che scala molto bene con le impostazioni di rendering.

Il benchmark purtroppo è scadente con zero rappresentazioni di combattimento o altre immagini dinamiche e frenetiche di questo gioco. Questo potrebbe non fare una grande differenza nei punteggi; Ho provato a giocare a un vecchio punto di salvataggio che ho avuto in un combattimento pesante vicino alla fine del gioco e le prestazioni variavano da 70 a 100 fps, con una media anche leggermente superiore al benchmark. Ma questo controllo manuale casuale non sostituisce un benchmark adeguato.

Horizon Zero Dawn
Una gamma modesta qui, Horizon si sposta solo del + 32% dalle migliori impostazioni possibili dando 157 fps, i peggiori 208 fps. Questo è un gioco raster puro, quindi questa gamma non è troppo  breve, ma è breve.

Il benchmark è molto scadente, davvero tra i peggiori: sembra quei siti web immobiliari con fly-through di proprietà filmati da droni, una lunga e noiosa visita di scenari imponenti popolati da NPC indaffarati a non fare nulla. Non mostra nessuna delle macchine che sono al centro della maggior parte dell'azione; non mostra nemmeno il protagonista, onnipresente in questo gioco in terza persona.

DOOM 3
Questo è un vero e proprio "vecchio gioco" (c'è un remaster ma non lo uso in questa serie). Niente RT di nuovo. Tutte le impostazioni della qualità grafica non fanno differenza, le prestazioni dalla peggiore alla migliore presentazione sono identiche entro il margine di errore.

Questo non è inaspettato. Innanzitutto, il gioco è molto single-thread, limitato dal motore a circa 400 fps sul mio sistema. In secondo luogo, il lavoro di rendering è una passeggiata per qualsiasi hardware attuale; opzioni come ombre dell'era 2004, bump map o AA sono un errore di arrotondamento nello sforzo della GPU. È un peccato perché il timedemo è un benchmark piuttosto buono con molta azione e, a differenza di Quake II RTX, non accelerato a framerate elevati.

Dying Light 2
Tornando a un gioco moderno, qui spostiamo un fantastico +274% dall'impostazione ray tracing più dura a 53 fps al raster più grezzo a 194 fps.

Il benchmark sembra solo passabile, ci sono alcune scene con combattimenti contro gli zombi, ma a distanza - non capisco perché un gioco in prima persona sia valutato senza alcuna prospettiva in prima persona. Inoltre, nessuna delle azioni di corsa / parkour è la ragione principale per cui ho acquistato questo gioco.

Batman Arkham Knight
Questo capitolo finale della serie Arkham passa da 242 fps a 281 fps, solo +16% rispetto alle impostazioni più basse e più alte. È una gamma davvero scarsa anche senza RT. È vicino a DOOM 3, tranne per il fatto che Arkham è un gioco del 2015 con grafica DirectX 11 che era all'avanguardia per quel tempo e ancora una festa per oggi. Possiamo incolpare il ridimensionamento limitato in parte sui vincoli di CPU/motore della maggior parte dei giochi di quell'età o precedenti, e in parte sul fatto che un gioco raster puro è semplicemente troppo facile su qualsiasi GPU di fascia alta dell'attuale generazione.

Un altro benchmark integrato che potrebbe essere molto migliore, mostra molti elementi di gioco ma non la prospettiva del gioco o alcuna azione significativa.

Red Dead Redemption 2
Moderno ma limitato dalla CPU, RDR2 scala un modesto + 39%: da 121 fps a 169 fps. Si potrebbe obiettare che va bene perché non c'è RT nel lato delle impostazioni massime, ma questo gioco in particolare presenta una presentazione molto sofisticata, mi spingerei fino a chiamarlo il canto del cigno della rasterizzazione - non vedo come un gioco possa sembra molto meglio di così senza ray tracing. Con questo in mente, considero scadente il suo ridimensionamento basato sulle impostazioni.

Il benchmark integrato è eccellente: mostra una buona varietà di livelli, sistemi meteorologici e il buon vecchio sparo occidentale. È un peccato che alcuni grandi recensori preferiscano benchmark ad-hoc per RDR2 perché quello integrato è “troppo lungo”. Red Dead è una lezione su come creare un benchmark di gioco.

Wolfenstein: Youngblood
Un promemoria che le mie impostazioni massime per questo gioco non includono il ray tracing su Radeon (supporta solo le prime estensioni di NVidia). Il motore sempre raster scala solo del +25% da 343 fps a 427 fps, per le stesse ragioni di Batman Arkham Knight.

Ci sono due benchmark, ciascuno un semplice flythrough di un livello. In questo gioco cooperativo che combina una prospettiva in prima persona, sempre con un'enorme pistola, e la terza persona del tuo compagno, nessuno di loro si presenta. Anche MIA è il divertente combattimento infernale con esilaranti macchine da guerra dieselpunk. È come un trailer PG-13 di un film vietato ai minori.

Hitman 3
Come molti revisori hanno osservato, Hitman è stato aggiornato (o appesantito) con un'implementazione del ray tracing che aggiunge ombre e riflessi a un costo elevato. Questo spiega perché il gioco passa da 52 fps a 324 fps, un enorme +525%.

Il punto di riferimento è un flythrough di diversi livelli dall'aspetto spettacolare, pieni di oligarchi che raccolgono e spendono i loro soldi. Ma va bene, no? Questo è un gioco in cui per lo più ti fai strada con calma in quelle feste e colpisci lo sceicco quando nessuno guarda.

Ridimensionamento: rendering vs. upscaling

Le impostazioni di rendering basse hanno aiutato in passato, ma oggi abbiamo una tecnologia avanzata di supersampling, giusto? Anche prima di eseguire l'aggiornamento dalla mia GPU last-gen, per i giochi che necessitavano di un po' di messa a punto e avevano il supporto per FSR 2, ho sempre cercato di usare solo quella e di mantenere tutte le altre impostazioni su High/Ultra.

Questa logica ha senso quando si puntano a risoluzioni elevate (minimo 1440p) e quando un uso limitato dell'upscaling (modalità "Performance") è sufficiente per fornire il framerate desiderato. Un upscaling più aggressivo, o uno qualsiasi di essi a risoluzioni inferiori, ha un impatto molto più evidente sulla qualità dell'immagine e molti giocatori sono ancora ben serviti con impostazioni di rendering a grana fine che fanno la differenza. Non a tutti importa di tutto; se odi il motion blur o i bagliori dell'obiettivo, o non sei completamente impressionato dal rendering dei capelli di alta qualità, disabilitare tali funzionalità è una perdita dello 0% della qualità dell'immagine soggettiva. L'upscaling intelligente è fantastico, ma non è mai eccezionale a perdita zero.

Conclusioni

Il ridimensionamento del motore di gioco è una funzionalità eccellente per i giocatori, che consente a quelli di noi con GPU (e console) più vecchie o entry-level di godersi gli ultimi giochi anche se non nella loro piena gloria. E considerando quanto tempo dedico ancora al DOOM del 1993, un grande gioco può essere molto divertente senza il massimo del bling. Il ridimensionamento è utile anche in casi come i giocatori di eSport competitivi disposti a sacrificare molta qualità visiva in cambio dei framerate più alti possibili.

Le impostazioni di rendering hanno impatti molto diversi sulle prestazioni, da praticamente nulla (ad esempio metodi di antialiasing) a enormi (RT mal ottimizzato). Le impostazioni ottimizzate del Digital Foundry sono un'ottima risorsa per gli utenti di GPU di fascia media o bassa, e talvolta anche per quelle di fascia alta.

Molti giochi nella mia lista includono il ray tracing come opzione, ampliando notevolmente la gamma dalle impostazioni più basse a quelle più alte. Mentre entriamo nell'anno 4 RTE (Ray Tracing Era), i problemi crescenti di questa tecnologia sono ancora presenti. I grandi titoli AAA sono progetti pluriennali, quindi anche i grandi franchise come Hitman a volte stanno muovendo i primi passi, spesso fornendo risultati non ottimali. Si spera che quel fattore scompaia nei prossimi anni, con più motori di gioco scritti da zero per RT invece di inserire quella caratteristica su un'architettura legacy.

Per il benchmarking GPU, questi risultati mostrano anche che ha ancora senso riportare punteggi Raster e RT separati per ogni gioco che presenta entrambi. Non ho effettuato test più dettagliati per dimostrarlo, ma confrontare anche le impostazioni Raster più elevate con l'RT più basso dovrebbe spesso comportare un ampio divario nelle prestazioni: nelle GPU precoci o entry-level con capacità RT perché il ray tracing è troppo difficile per loro, e negli ultimi aloni perché la rasterizzazione è troppo facile per loro e talvolta diventa limitata dalla CPU/motore.

Ho provato a giudicare la qualità di ogni benchmark integrato in base a quanto bene rappresentano la grafica del gioco, e alcuni sono molto migliori di altri in quel criterio. Ma come ho commentato per Guardiani della Galassia, non è necessariamente un problema produrre una colonna sonora fedele alle prestazioni del gameplay reale: è soprattutto necessario un grado di fiducia più elevato negli sviluppatori che hanno scelto cosa includere nel test. Vorrei comunque esortare gli studi a disporre di benchmark integrati che utilizzino la stessa prospettiva e altri comportamenti del gioco reale e campionare tutte le attività principali.

Nel dibattito sulla metodologia, sono decisamente a favore di benchmark standard per tutto, è l'unico modo per avere risultati ragionevolmente equivalenti tra i revisori o tra benchmark proprietari e indipendenti. La maggior parte dei miei test ha punteggi entro l'1% della media su più esecuzioni. In mancanza di un benchmark integrato minimamente passabile, dovrebbe essere utilizzata l'automazione: sono al 100% con Dr. Cutress . Ho sentito controargomentazioni da altri revisori basate sulla difficoltà di far funzionare gli script di automazione attraverso le patch di gioco, ma quelle scuse non sarebbero prese sul serio in nessun altro dominio della tecnologia informatica.