Benchmarking der GPU-Benchmarks

In meinen Benchmark- und Übertaktungsstücken auf der Radeon 7900 XTX habe ich die integrierten Benchmarks mehrerer beliebter Spiele verwendet. Ich habe auch jedes Spiel auf seinen absoluten Maximaleinstellungen getestet.

Jetzt bewerte ich dieselben Spiele mit „Kartoffel“-Einstellungen – den niedrigsten möglichen Konfigurationen. Ich möchte die Skalierbarkeit von Spiele-Engines und die Auswirkungen auf das Spielen von Spielen und das Testen von GPUs untersuchen.

Ich wollte auch die Qualität dieser eingebauten Benchmarks im Lichte der jüngsten Debatten über manuelle vs. automatisierte Ausführung oder Benchmark-Auswahl untersuchen. Siehe zum Beispiel diese Meta-Rezension : Insbesondere TechPowerUp hat den 7900 XTX nur 16 % unter dem 4080 in RT erzielt, aber die meisten anderen Verkaufsstellen sagten 25 %. Und alle haben „Recht“, sie haben einfach verschiedene Spiele getestet oder einige Spiele mit unterschiedlichen Benchmarks getestet.

Ergebnisse

Es gibt eine breite Palette von Auswirkungen der Grafikeinstellungen auf alle Spiele in meiner Suite von 11, also sind meine relativen Ergebnisse – Verbesserung der Framerate von den oberen bis zu den unteren Einstellungen – überall. Ich werde die Ergebnisse und auch die Qualität des integrierten Benchmarks jedes Spiels kommentieren.

Callisto-Protokoll
Dies ist ein stark CPU-/Engine-beschränktes Spiel, aber dieses Problem ist spezifischer für den starken Einsatz von Raytracing. Schalten Sie RT aus und Callisto skaliert gut und schießt von 72 fps auf 193 fps, gesunde +168 %.

Der Benchmark ist gut, mit einer fairen Darstellung der Grafik und Animation des Spiels. Es fehlt etwas Kampf, aber das ist visuell nicht sehr schwer in Callisto, wo der Horror und die Atmosphäre mit bescheidenen visuellen Effekten im Kampf auskommen. Nun, abgesehen davon, dass Sie manchmal Feinde auf spektakulär blutige Weise töten (oder getötet werden) können, die Blut herumspritzen wie der Bewässerungssprinkler einer Farm, wünschte ich, der Benchmark hätte etwas davon.

Bei einem einzigartigen Problem verwendet der Benchmark von Callisto ein gesperrtes Seitenverhältnis, sodass Auflösungen, die nicht 16:9 sind, nicht korrekt dargestellt werden. Für mich ist das ein Bug.

Shadow of the Tomb Raider
SOTR läuft gut genug mit 110 fps, maximalen Einstellungen, einschließlich der RT der Einstiegsklasse, und skaliert gut mit schnelleren GPUs. Es skaliert auch normal mit niedrigeren Einstellungen, +112 % auf 233 fps.

Der Maßstab ist angemessen. Keine Action, aber dies ist ein Spiel, bei dem Sie jeden IRL-Alpinisten meistens demütigen und Pfeile schießen. Der Benchmark könnte einige der hydraulischen Vorrichtungen in den Gräbern enthalten, aber ich denke, diese großen beweglichen Strukturen sind mit der weitgehend statischen, eingebrannten Beleuchtung des Spiels (sogar mit RT) nicht viel schwieriger zu rendern. Ich nehme an, der eingebaute Benchmark ist so konzipiert, dass er keine coolen Entdeckungen verdirbt.

Quake II RTX
Ein harter Fall für diese spezielle Studie, da die „Kartoffeleinstellung“ hier der ursprüngliche OpenGL-Renderer von 1997 ist. Diese Spiel-Engine ist jetzt alt genug, um so betrunken zu werden, dass sie 2.000 Dollar für eine GPU zahlen würde. Der Unterschied zwischen dem Schlechtesten, was die ursprüngliche Engine leisten kann, und dem Besten, das der neue RTX-Remaster kann, beträgt astronomische 6.554 %: 4.163 fps im Vergleich zu 62 fps.

Die klassische idTech Timedemo-Funktion wurde für einfachere Zeiten entwickelt. Es rendert eine feste Folge von Frames (genau 687 für „demo1“), was ideal für die Reproduzierbarkeit ist, kein Rauschen durch Frame-Pacing. Aber mit den niedrigsten Einstellungen endet der Test auf dem 7900 XTX in 0,2 Sekunden! Dies führt zu einer großen Fehlerspanne bei der Messung – 10 % Unterschied vom schlechtesten zum besten Ergebnis vieler Läufe. Mit dieser Einschränkung ist es ein guter Benchmark, der die Spielaktion gut darstellt.

Die niedrigsten und höchsten Einstellungen sind im Wesentlichen unterschiedliche Spiele. Aber da die Praxis von Remastern/Remakes bei alten Klassikern immer häufiger vorkommt, finde ich Quake II RTX einen nützlichen Blick auf den Generationssprung von Rendering-Komplexität und -Performance, wenn auch etwas extrem aufgrund des Alters des Originalspiels und des radikalen Weges -verfolgtes Remastering.

Guardians of the Galaxy
Dieses schwere Spiel verdoppelt die Leistung genau von 78 fps auf 156 fps, ein weiteres Spiel, das sehr gut mit den Rendering-Einstellungen skaliert.

Der Benchmark ist leider schlecht mit null Darstellung von Kämpfen oder anderen dynamischen, hektischen Grafiken dieses Spiels. Dies macht möglicherweise keinen großen Unterschied in den Ergebnissen. Ich habe getestet, wie ich einen alten Sicherungspunkt gespielt habe, den ich bei einem schweren Kampf nahe dem Endspiel hatte, und die Leistung reichte von den niedrigen 70ern bis zu 100 fps und war im Durchschnitt sogar etwas höher als der Benchmark. Diese stichprobenartige, manuelle Überprüfung ist jedoch kein Ersatz für einen ordentlichen Benchmark.

Horizon Zero Dawn
Eine bescheidene Reichweite hier, Horizon bewegt sich nur um +32 % von den bestmöglichen Einstellungen und gibt 157 fps, die schlechtesten 208 fps. Dies ist ein reines Rasterspiel, daher ist diese Reichweite nicht zu  kurz, aber sie ist kurz.

Der Benchmark ist sehr schlecht, wirklich einer der schlechtesten: Es sieht aus wie diese Immobilien-Websites mit Drohnen-gefilmten Immobilien-Durchflügen, eine lange und mühsame Besichtigung von imposanten Landschaften, die von NPCs bevölkert sind, die geschäftig nichts tun. Es zeigt keine der Maschinen, die im Mittelpunkt der meisten Aktionen stehen; es zeigt nicht einmal den Protagonisten, der in diesem Third-Person-Spiel allgegenwärtig ist.

DOOM 3
Dies ist ein wirklich „altes Spiel“ (es gibt ein Remaster, aber ich verwende es nicht in dieser Serie). Wieder kein RT. Alle Grafikqualitätseinstellungen machen keinen Unterschied, die Leistung von der schlechtesten bis zur besten Darstellung ist innerhalb der Fehlergrenze identisch.

Dies ist nicht unerwartet. Erstens ist das Spiel sehr Single-Threaded, Engine-begrenzt auf etwa 400 fps auf meinem System. Zweitens ist die Rendering-Arbeit für jede aktuelle Hardware ein Spaziergang im Park; Optionen wie Schatten aus dem Jahr 2004, Bump Maps oder AA sind ein Rundungsfehler im GPU-Aufwand. Das ist schade, denn die Timedemo ist ein ziemlich guter Benchmark mit viel Action und wird im Gegensatz zu Quake II RTX nicht bei hohen Frameraten beschleunigt.

Dying Light 2
Zurück zu einem modernen Spiel, hier bewegen wir fantastische +274 % von der härtesten Raytracing-Einstellung mit 53 fps zum gröbsten Raster mit 194 fps.

Der Benchmark scheint nur passabel zu sein, es gibt einige Szenen mit Kämpfen gegen Zombies, aber auf Distanz – ich verstehe nicht, warum ein Ego-Spiel ohne Ego-Perspektive Benchmarking durchgeführt wird. Auch keine der Lauf-/Parkour-Action, das ist der Hauptgrund, warum ich dieses Spiel gekauft habe.

Batman Arkham Knight
Dieses letzte Kapitel der Arkham-Serie bewegt sich von 242 fps auf 281 fps, nur +16 % im Vergleich zwischen den niedrigsten und den höchsten Einstellungen. Das ist auch ohne RT eine wirklich schlechte Reichweite. Es ist nah an DOOM 3, außer dass Arkham ein Spiel aus dem Jahr 2015 mit DirectX 11-Grafik ist, die damals auf dem neuesten Stand war und auch heute noch ein Fest ist. Wir können die begrenzte Skalierung teilweise auf die CPU-/Engine-Einschränkungen der meisten Spiele dieses Alters oder älter zurückführen, und teilweise auf die Tatsache, dass ein reines Rasterspiel auf jeder High-End-GPU der aktuellen Generation einfach zu einfach ist.

Ein weiterer integrierter Benchmark, der viel besser sein könnte, er zeigt viele Spielelemente, aber nicht die Perspektive des Spiels oder irgendeine signifikante Aktion.

Red Dead Redemption 2
Modern, aber CPU-begrenzt, RDR2 skaliert bescheidene +39 %: 121 fps bis 169 fps. Man könnte argumentieren, dass das in Ordnung ist, weil es auf der Seite mit den maximalen Einstellungen keine RT gibt, aber insbesondere dieses Spiel bietet eine sehr anspruchsvolle Präsentation. Ich würde so weit gehen, es das Schwanenlied der Rasterung zu nennen – ich verstehe nicht, wie ein Spiel das kann ohne Raytracing viel besser aussehen. In Anbetracht dessen halte ich die einstellungsbasierte Skalierung für schlecht.

Der eingebaute Benchmark ist ausgezeichnet: Er zeigt eine gute Auswahl an Levels, Wettersystemen und dem guten alten Western-Geschützfeuer. Schade, dass einige große Reviewer Ad-hoc-Benchmarks für RDR2 bevorzugen, weil der eingebaute „zu lang“ ist. Red Dead ist ein Vortrag darüber, wie man einen Spiele-Benchmark erstellt.

Wolfenstein: Youngblood
Eine Erinnerung daran, dass meine maximalen Einstellungen für dieses Spiel kein Raytracing auf Radeon enthalten (es unterstützt nur die frühen Erweiterungen von NVidia). Die Always-Raster-Engine skaliert aus den gleichen Gründen wie Batman Arkham Knight nur um +25 % von 343 fps auf 427 fps.

Es gibt zwei Benchmarks, jeweils ein einfaches Durchfliegen einer Ebene. In diesem Koop-Spiel, das eine First-Person-Perspektive kombiniert, in der Sie immer eine massive Waffe tragen, und die Third-Person-Perspektive Ihres Begleiters, taucht keiner von ihnen auf. Auch MIA ist der spaßige Kampf mit urkomischen Dieselpunk-Kriegsmaschinen. Es ist wie ein PG-13-Trailer für einen Film mit R-Rating.

Hitman 3
Wie viele Rezensenten festgestellt haben, wurde Hitman mit einer Raytracing-Implementierung aktualisiert (oder belastet), die Schatten und Reflexionen für hohe Kosten hinzufügt. Dies erklärt, warum das Spiel von 52 fps auf 324 fps springt, ein massives Plus von 525 %.

Der Maßstab ist ein Flug durch mehrere spektakulär aussehende Levels voller Oligarchen, die sich versammeln und ihr Geld ausgeben. Aber das ist in Ordnung, oder? Dies ist ein Spiel, bei dem Sie sich meistens ruhig auf diese Partys begeben und den Scheich schälen, wenn niemand hinschaut.

Skalierung: Rendern vs. Upscaling

Niedrige Rendering-Einstellungen halfen früher, aber heute haben wir eine fortschrittliche Supersampling-Technologie, richtig? Selbst vor dem Upgrade von meiner GPU der letzten Generation habe ich bei Spielen, die etwas Tuning benötigten und Unterstützung für FSR 2 hatten, immer versucht, nur diese zu verwenden und alle anderen Einstellungen auf High/Ultra zu belassen.

Diese Logik ist sinnvoll, wenn hohe Auflösungen angestrebt werden (mindestens 1440p) und wenn eine begrenzte Verwendung von Upscaling („Performance“-Modus) ausreicht, um die gewünschte Framerate zu liefern. Eine aggressivere Hochskalierung oder etwas davon bei niedrigeren Auflösungen wirkt sich viel deutlicher auf die Bildqualität aus, und viele Spieler sind immer noch gut bedient mit feinkörnigen Rendering-Einstellungen, die einen Unterschied machen. Nicht jeder kümmert sich um alles; Wenn Sie Bewegungsunschärfe oder Lens Flares hassen oder von der hochwertigen Haarwiedergabe völlig unbeeindruckt sind, bedeutet das Deaktivieren solcher Funktionen einen Verlust von 0 % der subjektiven Bildqualität. Intelligentes Upscaling ist großartig, aber es ist niemals verlustfrei.

Schlussfolgerungen

Die Skalierung der Spiele-Engine ist eine hervorragende Funktion für Gamer, die es denjenigen von uns mit älteren oder Einsteiger-GPUs (und Konsolen) ermöglicht, die neuesten Spiele zu genießen, auch wenn sie nicht in ihrer vollen Pracht sind. Und wenn man bedenkt, wie viel Zeit ich noch in das DOOM von 1993 gesteckt habe, kann ein großartiges Spiel auch ohne ultimativen Schnickschnack riesigen Spaß machen. Die Skalierung ist auch in Fällen nützlich, in denen eSports-Wettkämpfer bereit sind, viel visuelle Qualität für die höchstmöglichen Bildraten zu opfern.

Rendering-Einstellungen haben sehr unterschiedliche Auswirkungen auf die Leistung, von praktisch nichts (z. B. Antialiasing-Methoden) bis zu enorm (schlecht optimierte RT). Die optimierten Einstellungen von Digital Foundry sind eine großartige Ressource für Benutzer von Midrange- oder Low-End-GPUs und manchmal sogar für High-End-GPUs.

Viele Spiele in meiner Liste verfügen optional über Raytracing, wodurch der Bereich von den niedrigsten bis zu den höchsten Einstellungen erheblich erweitert wird. Während wir in das Jahr 4 RTE (Ray Tracing Era) eintreten, sind die Wachstumsschmerzen dieser Technologie immer noch vorhanden. Große AAA-Titel sind mehrjährige Projekte, sodass selbst große Franchise-Unternehmen wie Hitman manchmal ihre ersten Schritte unternehmen und oft suboptimale Ergebnisse liefern. Hoffentlich wird dieser Faktor in den nächsten Jahren verschwinden, da mehr Spiel-Engines von Grund auf für RT geschrieben werden, anstatt diese Funktion auf einer Legacy-Architektur zu installieren.

Für das GPU-Benchmarking zeigen diese Ergebnisse auch, dass es immer noch sinnvoll ist, separate Raster- und RT-Scores für jedes Spiel zu melden, das beides bietet. Ich habe keine genaueren Tests durchgeführt, um es zu zeigen, aber der Vergleich selbst der höchsten Rastereinstellungen mit der niedrigsten RT sollte oft zu einer großen Leistungslücke führen: in frühen oder Einstiegs-RT-fähigen GPUs, weil Raytracing zu hart ist für sie und in den neuesten Halos, weil die Rasterung für sie zu einfach ist und manchmal CPU-/Engine-beschränkt wird.

Ich habe versucht, die Qualität jedes integrierten Benchmarks danach zu beurteilen, wie gut sie die Grafik im Spiel darstellen, und einige sind in diesen Kriterien viel besser als andere. Aber wie ich bereits für Guardians of the Galaxy erwähnt habe, ist es nicht unbedingt ein Problem, eine Punktzahl zu erstellen, die der Leistung des tatsächlichen Gameplays entspricht – Sie benötigen meistens ein höheres Maß an Vertrauen in die Entwickler, die ausgewählt haben, was in den Test aufgenommen werden soll. Ich würde die Studios immer noch dazu drängen, eingebaute Benchmarks zu haben, die dieselbe Perspektive und andere Verhaltensweisen wie das eigentliche Spiel verwenden und alle Hauptaktivitäten abtasten.

In der Debatte über die Methodik lande ich stark für Standard-Benchmarks für alles, nur so können einigermaßen gleichwertige Ergebnisse zwischen Gutachtern oder Erstanbieter- und unabhängigen Benchmarks erzielt werden. Die meisten meiner Tests haben Ergebnisse innerhalb von 1 % des Durchschnitts über mehrere Durchläufe. In Ermangelung eines minimal passablen eingebauten Benchmarks sollte auf Automatisierung zurückgegriffen werden: Ich bin zu 100 % bei Dr. Cutress . Ich habe Gegenargumente von anderen Rezensenten gehört, die auf der Schwierigkeit beruhen, Automatisierungsskripte über Spielpatches hinweg funktionsfähig zu halten, aber diese Ausreden würden in keinem anderen Bereich der Computertechnologie ernst genommen.