Analyse comparative des benchmarks GPU

Dans mes pièces de référence et d' overclocking sur la Radeon 7900 XTX, j'ai utilisé les références intégrées de plusieurs jeux populaires. J'ai également testé chaque jeu à ses paramètres maximum absolus.

Maintenant, je compare les mêmes jeux avec des paramètres "patate" - les configurations les plus basses possibles. Je veux étudier l'évolutivité des moteurs de jeu et les implications pour jouer à des jeux et pour tester les GPU.

Je voulais également étudier la qualité de ces benchmarks intégrés, à la lumière des débats récents sur l'exécution manuelle ou automatisée ou la sélection de benchmarks. Voir par exemple cette méta-revue : en particulier, TechPowerUp a noté le 7900 XTX seulement 16% en dessous du 4080 en RT, mais la plupart des autres points de vente ont déclaré 25%. Et tous ont « raison », ils ont juste testé différents jeux ou testé certains jeux avec des benchmarks différents.

Résultats

Il existe un large éventail d'impacts des paramètres graphiques sur tous les jeux de ma suite de 11, donc mes scores relatifs - amélioration de la fréquence d'images de haut en bas - sont partout. Je commenterai les résultats ainsi que la qualité de la référence intégrée de chaque jeu.

Protocole Callisto
Il s'agit d'un jeu sévèrement limité par le processeur/moteur, mais ce problème est plus spécifique à son utilisation intensive du lancer de rayons. Désactivez RT et Callisto s'adapte bien, passant de 72 ips à 193 ips, soit un bon + 168 %.

Le benchmark est bon, avec une représentation juste des graphismes et de l'animation du jeu. Il manque un peu de combat mais ce n'est pas très lourd visuellement dans Callisto où l'horreur et l'ambiance peuvent se contenter d'effets visuels modestes en combat. Eh bien, sauf que vous pouvez parfois tuer des ennemis (ou être tué) de manière spectaculairement sanglante qui jettera du sang comme l'arroseur d'irrigation d'une ferme, j'aimerais que la référence en ait une partie.

Dans un problème unique, le benchmark de Callisto utilise un format d'image verrouillé afin qu'il ne représente pas correctement toute résolution qui n'est pas 16:9. Pour moi, c'est un bug.

Shadow of the Tomb Raider
SOTR fonctionne assez bien à 110 images par seconde, les paramètres maximum, y compris son RT d'entrée de gamme, et il évolue bien avec des GPU plus rapides. Il évolue également normalement avec des paramètres réduits, +112% à 233fps.

La référence est raisonnable. Aucune action, mais c'est un jeu où vous humiliez principalement tous les alpinistes IRL et tirez des flèches. La référence pourrait comporter certains des engins hydrauliques dans les tombes, mais je suppose que ces grandes structures mobiles ne sont pas beaucoup plus difficiles à rendre avec l'éclairage largement statique et intégré du jeu (même avec RT). Je suppose que le benchmark intégré est conçu pour ne gâcher aucune découverte intéressante.

Quake II RTX
Un cas difficile pour cette étude particulière puisque le "réglage de la pomme de terre" ici est le moteur de rendu OpenGL original de 1997. Ce moteur de jeu est maintenant assez vieux pour être tellement ivre qu'il paierait 2 000 $ pour un GPU. La différence entre le pire que le moteur d'origine peut faire et le meilleur que le nouveau remaster RTX peut faire est de 6 554 % astronomique : 4 163 ips contre 62 ips.

La fonction timedemo classique d'idTech a été conçue pour des temps plus simples. Il restitue une séquence fixe d'images (exactement 687 pour "demo1"), ce qui est idéal pour la reproductibilité, sans bruit de rythme d'image. Mais avec les réglages les plus bas, le test se termine en 0,2s sur le 7900 XTX ! Cela entraîne une grande marge d'erreur dans la mesure - 10% de différence entre le pire et le meilleur score de nombreuses exécutions. Avec cette mise en garde, c'est une bonne référence qui représente bien l'action du jeu.

Les paramètres les plus bas et les plus élevés sont essentiellement des jeux distincts. Mais comme la pratique des remasters/remakes est de plus en plus courante pour les vieux classiques, je trouve Quake II RTX une vue utile sur le saut générationnel de la complexité du rendu et des performances, même si un peu extrême en raison de l'âge du jeu original et du chemin radical -remasterisation tracée.

Guardians of the Galaxy
Ce jeu lourd double exactement les performances de 78fps à 156fps, un autre jeu qui évolue très bien avec les paramètres de rendu.

La référence est malheureusement médiocre avec une représentation nulle du combat ou d'autres visuels dynamiques et mouvementés de ce jeu. Cela peut ne pas faire une grande différence dans les scores; J'ai testé en jouant un ancien point de sauvegarde que j'avais lors d'un combat intense près de la fin de partie et les performances allaient de 70 à 100 images par seconde, avec une moyenne même un peu supérieure à la référence. Mais cette vérification manuelle aléatoire ne remplace pas une référence appropriée.

Horizon Zero Dawn
Une gamme modeste ici, Horizon ne bouge que de +32% des meilleurs réglages possibles donnant 157fps, les pires 208fps. Il s'agit d'un jeu raster pur, donc cette plage n'est pas trop  courte, mais elle est courte.

La référence est très médiocre, vraiment parmi les pires: cela ressemble à ces sites immobiliers avec des survols de propriétés filmés par drone, une longue et fastidieuse visite de paysages imposants peuplés de PNJ occupés à ne rien faire. Il ne montre aucune des machines qui sont au centre de la plupart des actions ; il ne montre même pas le protagoniste, omniprésent dans ce jeu à la troisième personne.

DOOM 3
C'est un vrai "vieux jeu" (il y a un remaster mais je ne l'utilise pas dans cette série). Pas de RT à nouveau. Tous les paramètres de qualité graphique ne font aucune différence, les performances de la pire à la meilleure présentation sont identiques dans la marge d'erreur.

Ce n'est pas inattendu. Tout d'abord, le jeu est très monothread, limité par le moteur à environ 400 images par seconde sur mon système. Deuxièmement, le travail de rendu est une promenade dans le parc pour tout matériel actuel ; des options telles que les ombres de l'ère 2004, les bump maps ou AA sont une erreur d'arrondi dans l'effort du GPU. C'est dommage car la timedemo est une assez bonne référence avec beaucoup d'action, et contrairement à Quake II RTX, elle n'est pas accélérée à des fréquences d'images élevées.

Dying Light 2
De retour à un jeu moderne, nous déplaçons ici un fantastique +274% du réglage de lancer de rayons le plus difficile à 53 ips au raster le plus grossier à 194 ips.

Le benchmark semble seulement passable, il y a quelques scènes avec des combats contre des zombies, mais à distance — je ne comprends pas pourquoi un jeu à la première personne est benchmarké sans aucune perspective à la première personne. De plus, aucune action de course / parkour n'est la principale raison pour laquelle j'ai acheté ce jeu.

Batman Arkham Knight
Ce dernier chapitre de la série Arkham passe de 242 ips à 281 ips, soit seulement + 16 % en comparant les paramètres les plus bas aux plus élevés. C'est une gamme vraiment pauvre même sans RT. C'est proche de DOOM 3, sauf qu'Arkham est un jeu de 2015 avec des graphismes DirectX 11 qui étaient à la pointe de la technologie pour l'époque et qui sont toujours un régal pour aujourd'hui. Nous pouvons blâmer la mise à l'échelle limitée en partie sur les contraintes CPU / moteur de la plupart des jeux de cet âge ou plus anciens, et en partie sur le fait qu'un jeu purement raster est tout simplement trop facile sur n'importe quel GPU haut de gamme de la génération actuelle.

Un autre repère intégré qui pourrait être bien meilleur, il montre beaucoup d'éléments de jeu mais pas la perspective du jeu ni aucune action significative.

Red Dead Redemption 2
Moderne mais limité par le processeur, RDR2 évolue à un modeste +39 % : 121 ips à 169 ips. On pourrait dire que c'est OK parce qu'il n'y a pas de RT du côté des paramètres maximum, mais ce jeu en particulier présente une présentation très sophistiquée, j'irais jusqu'à l'appeler le chant du cygne de rastérisation - je ne vois pas comment un jeu peut regarder beaucoup mieux que cela sans lancer de rayons. Dans cet esprit, je considère que sa mise à l'échelle basée sur les paramètres est médiocre.

La référence intégrée est excellente : elle montre une bonne variété de niveaux, de systèmes météorologiques et de bons vieux coups de feu occidentaux. Il est dommage que certains grands critiques préfèrent les benchmarks ad hoc pour RDR2 car celui intégré est «trop long». Red Dead est une conférence sur la façon de créer une référence de jeu.

Wolfenstein: Youngblood
Un rappel que mes paramètres maximum pour ce jeu n'incluent pas le lancer de rayons sur Radeon (il ne prend en charge que les premières extensions de NVidia). Le moteur toujours raster n'évolue que de + 25% de 343 ips à 427 ips, pour les mêmes raisons que Batman Arkham Knight.

Il y a deux repères, chacun un simple survol d'un niveau. Dans ce jeu coopératif qui combine une perspective à la première personne, portant toujours une arme massive, et la troisième personne de votre compagnon, aucun d'entre eux ne se présente. MIA est également un combat amusant comme l'enfer avec des machines de guerre dieselpunk hilarantes. C'est comme une bande-annonce PG-13 pour un film classé R.

Hitman 3
Comme de nombreux critiques l'ont observé, Hitman a été mis à jour (ou surchargé) avec une implémentation de lancer de rayons qui ajoute des ombres et des reflets pour un coût élevé. Cela explique pourquoi le jeu passe de 52 ips à 324 ips, soit un énorme + 525 %.

La référence est un survol de plusieurs niveaux spectaculaires, pleins d'oligarques rassemblant et dépensant leur argent. Mais ça va, non ? C'est un jeu où vous marchez calmement dans ces fêtes et cognez le cheikh quand personne ne regarde.

Mise à l'échelle : rendu vs mise à l'échelle

Les paramètres de rendu bas ont aidé à l'époque, mais aujourd'hui, nous avons une technologie de suréchantillonnage avancée, n'est-ce pas ? Même avant la mise à niveau de mon GPU de dernière génération, pour les jeux nécessitant un réglage et prenant en charge FSR 2, j'ai toujours essayé de n'utiliser que cela et de conserver tous les autres paramètres sur High/Ultra.

Cette logique prend tout son sens lorsqu'on vise les hautes résolutions (minimum 1440p) et lorsqu'une utilisation limitée de l'upscaling (mode "Performance") est suffisante pour délivrer le framerate souhaité. Une mise à l'échelle plus agressive, ou l'une d'entre elles à des résolutions inférieures, a un impact beaucoup plus notable sur la qualité de l'image et de nombreux joueurs sont toujours bien servis avec des paramètres de rendu à grain fin qui font la différence. Tout le monde ne se soucie pas de tout; si vous détestez le flou de mouvement ou les reflets d'objectif, ou si vous n'êtes pas du tout impressionné par le rendu des cheveux de haute qualité, la désactivation de ces fonctionnalités entraîne une perte de 0 % de la qualité d'image subjective. La mise à l'échelle intelligente est excellente, mais ce n'est jamais une perte nulle.

conclusion

La mise à l'échelle du moteur de jeu est une excellente fonctionnalité pour les joueurs, permettant à ceux d'entre nous qui ont des GPU (et des consoles) plus anciens ou d'entrée de gamme de profiter des derniers jeux même s'ils ne sont pas dans toute leur splendeur. Et compte tenu du temps que j'ai encore mis sur le DOOM de 1993, un grand jeu peut être très amusant sans bling ultime. La mise à l'échelle est également utile dans des cas comme les joueurs d'esports compétitifs prêts à sacrifier beaucoup de qualité visuelle en échange des fréquences d'images les plus élevées possibles.

Les paramètres de rendu ont des impacts très différents sur les performances, de pratiquement rien (par exemple, les méthodes d'anticrénelage) à énorme (RT mal optimisé). Les paramètres optimisés de Digital Foundry sont une excellente ressource pour les utilisateurs de GPU milieu de gamme ou bas de gamme, et parfois même pour le haut de gamme.

De nombreux jeux de ma liste proposent le lancer de rayons en option, élargissant considérablement la plage des paramètres les plus bas aux plus élevés. Alors que nous entrons dans l'année 4 du RTE (Ray Tracing Era), les difficultés de croissance de cette technologie sont toujours présentes. Les grands titres AAA sont des projets pluriannuels, donc même de grandes franchises comme Hitman font parfois leurs premiers pas, livrant souvent des résultats sous-optimaux. Espérons que ce facteur disparaîtra au cours des prochaines années, avec plus de moteurs de jeu écrits à partir de zéro pour RT au lieu de chausse-pied qui figurent sur une architecture héritée.

Pour l'analyse comparative GPU, ces résultats montrent également qu'il est toujours logique de rapporter des scores Raster et RT séparés pour chaque jeu qui propose les deux. Je n'ai pas fait de tests plus fins pour le montrer, mais comparer même les paramètres raster les plus élevés au RT le plus bas devrait souvent entraîner un grand écart de performances : dans les GPU compatibles RT précoces ou d'entrée de gamme, car le lancer de rayons est trop difficile pour eux, et dans les derniers halos car la pixellisation est trop facile pour eux et devient parfois limitée par le CPU/le moteur.

J'ai essayé de juger de la qualité de chaque référence intégrée en fonction de la façon dont ils représentent les visuels du jeu, et certains sont bien meilleurs que d'autres dans ce critère. Mais comme je l'ai commenté pour Guardians of the Galaxy, ce n'est pas nécessairement un problème pour produire un score fidèle aux performances du gameplay réel – vous avez surtout besoin d'un degré de confiance plus élevé dans les développeurs qui ont choisi ce qu'il faut inclure dans le test. J'exhorterais toujours les studios à avoir des repères intégrés qui utilisent la même perspective et d'autres comportements que le jeu réel et à échantillonner toutes les activités principales.

Dans le débat sur la méthodologie, je me prononce fortement en faveur des références standard pour tout, c'est le seul moyen d'avoir des résultats raisonnablement équivalents entre les examinateurs ou entre les références de première partie et indépendantes. La plupart de mes tests ont des scores inférieurs à 1 % de la moyenne sur plusieurs exécutions. En l'absence d'un benchmark intégré minimalement passable, l'automatisation devrait être utilisée : je suis à 100% avec Dr. Curess . J'ai entendu des contre-arguments d'autres critiques basés sur la difficulté de faire fonctionner les scripts d'automatisation à travers les correctifs de jeu, mais ces excuses ne seraient prises au sérieux dans aucun autre domaine de la technologie informatique.