Benchmarking Benchmarków GPU

W moich testach porównawczych i przetaktowywaniu na Radeonie 7900 XTX korzystałem z wbudowanych testów porównawczych kilku popularnych gier. Przetestowałem też każdą grę przy jej absolutnych maksymalnych ustawieniach.

Teraz porównuję te same gry z ustawieniami „ziemniaczanymi” — najniższymi możliwymi konfiguracjami. Chcę zbadać skalowalność silników gier i implikacje dla grania w gry i testowania procesorów graficznych.

Chciałem również zbadać jakość tych wbudowanych testów porównawczych w świetle niedawnych debat na temat ręcznego i automatycznego wykonywania lub wyboru testu porównawczego. Zobacz na przykład tę meta-recenzję : w szczególności TechPowerUp uzyskał 7900 XTX tylko 16% poniżej 4080 w RT, ale większość innych punktów sprzedaży podała 25%. I wszyscy mają „rację”, po prostu testowali różne gry lub testowali niektóre gry z różnymi testami porównawczymi.

Wyniki

Istnieje szeroki zakres wpływu ustawień graficznych na wszystkie gry w moim pakiecie 11, więc moje względne wyniki — poprawa liczby klatek na sekundę od najwyższych do najniższych ustawień — są wszędzie. Skomentuję wyniki, a także jakość wbudowanego testu porównawczego każdej gry.

Protokół Callisto
Jest to gra mocno ograniczona przez procesor/silnik, ale ten problem jest bardziej specyficzny dla intensywnego korzystania z ray tracingu. Wyłącz RT, a Callisto dobrze się skaluje, strzelając od 72 kl./s do 193 kl./s, zdrowe +168%.

Benchmark jest dobry, z uczciwą reprezentacją grafiki i animacji gry. Brakuje trochę walki, ale nie jest to bardzo ciężkie wizualnie w Callisto, gdzie horror i atmosfera mogą zastąpić skromne efekty wizualne w walce. Cóż, poza tym, że czasami możesz zabić wrogów (lub zostać zabitym) w spektakularnie krwawy sposób, który rozleje krew jak zraszacz do nawadniania farmy, chciałbym, żeby benchmark miał trochę tego.

W unikalnym problemie test porównawczy Callisto używa zablokowanego współczynnika proporcji, więc nie będzie poprawnie reprezentował żadnej rozdzielczości innej niż 16:9. Dla mnie to jest błąd.

Shadow of the Tomb Raider
SOTR działa wystarczająco dobrze przy 110 klatkach na sekundę, maksymalnych ustawieniach, w tym podstawowym RT, i dobrze skaluje się z szybszymi procesorami graficznymi. Skaluje się również normalnie przy obniżonych ustawieniach, +112% do 233 fps.

Benchmark jest rozsądny. Bez akcji, ale jest to gra, w której głównie upokarzasz każdego alpinistę z IRL i strzelasz strzałami. Test porównawczy mógłby obejmować niektóre hydrauliczne urządzenia w grobowcach, ale myślę, że te duże ruchome struktury nie są dużo trudniejsze do wyrenderowania przy w dużej mierze statycznym, upieczonym oświetleniu gry (nawet z RT). Przypuszczam, że wbudowany test porównawczy został zaprojektowany tak, aby nie zepsuć żadnego fajnego odkrycia.

Quake II RTX Trudny
przypadek dla tego konkretnego badania, ponieważ „ustawienie ziemniaczane” to oryginalny renderer OpenGL z 1997 roku. Ten silnik gry jest już na tyle stary, że można go tak upić, że kosztowałby 2000 USD za GPU. Różnica między najgorszym, co może zrobić oryginalny silnik, a najlepszym, jaki może osiągnąć nowy remaster RTX, to astronomiczne 6554%: 4163 kl./s w porównaniu do 62 kl./s.

Klasyczna funkcja timedemo firmy idTech została stworzona z myślą o prostszych czasach. Renderuje ustaloną sekwencję klatek (dokładnie 687 dla „demo1”), co jest idealne dla odtwarzalności, bez szumów związanych z tempem klatek. Ale przy najniższych ustawieniach test kończy się w 0,2 s na 7900 XTX! Powoduje to duży margines błędu pomiaru — 10% różnicy od najgorszego do najlepszego wyniku wielu przebiegów. Z tym zastrzeżeniem jest to dobry test porównawczy, który dobrze reprezentuje akcję gry.

Najniższe i najwyższe ustawienia to zasadniczo odrębne gry. Ale ponieważ praktyka remasterów/remake'ów jest coraz bardziej powszechna w przypadku starych klasyków, uważam Quake II RTX za przydatne spojrzenie na pokoleniowy skok złożoności renderowania i wydajności, nawet jeśli jest to nieco ekstremalne ze względu na wiek oryginalnej gry i radykalną ścieżkę - śledzony remastering.

Guardians of the Galaxy
Ta ciężka gra dokładnie podwaja wydajność z 78 kl./s do 156 kl./s, kolejna gra, która bardzo dobrze skaluje się z ustawieniami renderowania.

Benchmark jest niestety słaby, z zerową reprezentacją walki lub innych dynamicznych, gorączkowych efektów wizualnych tej gry. Może to nie mieć dużego wpływu na wyniki; Testowałem granie w stary punkt zapisu, który miałem podczas ciężkiej walki pod koniec gry, a wydajność wahała się od niskich 70 do 100 klatek na sekundę, średnio nawet nieco wyższa niż w teście porównawczym. Ale ta wyrywkowa, ręczna kontrola nie zastępuje właściwego testu porównawczego.

Horizon Zero Dawn
Skromny zakres tutaj, Horizon przesuwa się tylko o 32% od najlepszych możliwych ustawień, dając 157 klatek na sekundę, najgorsze 208 klatek na sekundę. To gra czysto rastrowa, więc ten zasięg nie jest zbyt  krótki, ale jest krótki.

Benchmark jest bardzo słaby, naprawdę wśród najgorszych: wygląda na to, że strony internetowe z nieruchomościami z przelotami po nieruchomościach sfilmowanymi dronami, długim i żmudnym zwiedzaniem imponującej scenerii zamieszkałej przez NPC zajętych nic nie robieniem. Nie pokazuje żadnej z maszyn, na których skupia się większość akcji; nie pokazuje nawet bohatera, wszechobecnego w tej trzecioosobowej grze.

DOOM 3
To naprawdę „stara gra” (jest remaster, ale nie używam go w tej serii). Znowu brak RT. Wszystkie ustawienia jakości grafiki nie mają znaczenia, wydajność od najgorszej do najlepszej prezentacji jest identyczna w granicach błędu.

To nie jest nieoczekiwane. Po pierwsze, gra jest bardzo jednowątkowa, silnik jest ograniczony do około 400 klatek na sekundę w moim systemie. Po drugie, renderowanie to spacer po parku dla każdego obecnego sprzętu; opcje takie jak cienie z 2004 roku, mapy wypukłości lub AA są błędem zaokrąglania w wysiłku GPU. Szkoda, bo timedemo jest całkiem niezłym benchmarkiem z mnóstwem akcji iw przeciwieństwie do Quake II RTX, nie jest przyspieszane przy dużej liczbie klatek na sekundę.

Dying Light 2
Wracając do współczesnej gry, tutaj przenosimy fantastyczne +274% z najtrudniejszego ustawienia opartego na ray tracingu przy 53 klatkach na sekundę do najbardziej prymitywnego rastra przy 194 klatkach na sekundę.

Benchmark wydaje się tylko zadowalający, jest kilka scen z walką z zombie, ale na odległość — nie rozumiem, dlaczego gra pierwszoosobowa jest porównywana bez perspektywy pierwszoosobowej. Również brak akcji związanej z bieganiem/parkourem, co jest głównym powodem, dla którego kupiłem tę grę.

Batman Arkham Knight
Ten ostatni rozdział serii Arkham przesuwa się z 242 kl./s do 281 kl./s, tylko o 16% w porównaniu z najniższymi i najwyższymi ustawieniami. To naprawdę słaby zasięg nawet bez RT. Jest blisko DOOM-a 3, z wyjątkiem tego, że Arkham to gra z 2015 roku z grafiką DirectX 11, która była najnowocześniejsza jak na tamte czasy i nadal jest ucztą na dzień dzisiejszy. Za ograniczone skalowanie możemy częściowo winić ograniczenia procesora/silnika większości gier w tym wieku lub starszych, a częściowo fakt, że czysto rastrowa gra jest po prostu zbyt łatwa na jakimkolwiek wysokiej klasy procesorze graficznym obecnej generacji.

Kolejny wbudowany test porównawczy, który mógłby być o wiele lepszy, pokazuje wiele elementów gry, ale nie perspektywę gry ani żadną znaczącą akcję.

Red Dead Redemption 2
Nowoczesny, ale ograniczony procesorem, RDR2 skaluje skromne +39%: 121 fps do 169 fps. Można argumentować, że to jest w porządku, ponieważ po stronie maksymalnych ustawień nie ma RT, ale ta gra w szczególności ma bardzo wyrafinowaną prezentację, posunąłbym się nawet do nazwania jej pieśń łabędzia rasteryzacji — nie rozumiem, jak gra może wygląda o wiele lepiej niż bez ray tracingu. Mając to na uwadze, uważam, że skalowanie oparte na ustawieniach jest słabe.

Wbudowany test porównawczy jest doskonały: pokazuje dużą różnorodność poziomów, systemów pogodowych i dobrą starą zachodnią strzelaninę. Szkoda, że ​​niektórzy wielcy recenzenci preferują testy porównawcze ad-hoc dla RDR2, ponieważ wbudowany jest „za długi”. Red Dead to wykład o tym, jak zrobić benchmark gry.

Wolfenstein: Youngblood
Przypominam, że moje maksymalne ustawienia dla tej gry nie obejmują ray tracingu na Radeonie (obsługuje tylko wczesne rozszerzenia NVidii). Zawsze rastrowy silnik skaluje się tylko o +25% z 343 do 427 klatek na sekundę, z tych samych powodów, co Batman Arkham Knight.

Istnieją dwa testy porównawcze, każdy prosty przelot jednego poziomu. W tej grze kooperacyjnej, która łączy perspektywę pierwszoosobową, zawsze noszącą potężną broń, oraz trzecioosobową postać twojego towarzysza, żaden z nich się nie pojawia. MIA to także piekielnie zabawna walka z zabawnymi maszynami wojennymi typu dieselpunk. To jak zwiastun PG-13 dla filmu z kategorią R.

Hitman 3
Jak zauważyło wielu recenzentów, Hitman został zaktualizowany (lub obciążony) implementacją ray tracingu, która dodaje cienie i odbicia dużym kosztem. To wyjaśnia, dlaczego gra przeskakuje z 52 klatek na sekundę do 324 klatek na sekundę, co stanowi ogromny wzrost o 525%.

Benchmark to przelot przez kilka efektownie wyglądających poziomów, pełnych gromadzących się oligarchów i wydających swoje pieniądze. Ale to w porządku, nie? To jest gra, w której przeważnie spokojnie wchodzisz na imprezy i tłuczesz szejka, gdy nikt nie patrzy.

Skalowanie: renderowanie a skalowanie w górę

Kiedyś pomagały niskie ustawienia renderowania, ale dzisiaj mamy zaawansowaną technologię supersamplingu, prawda? Nawet przed aktualizacją z mojego GPU ostatniej generacji, w grach, które wymagały trochę dostrojenia i miały wsparcie dla FSR 2, zawsze starałem się używać tylko tego i zachować wszystkie inne ustawienia na High/Ultra.

Ta logika ma sens, gdy celujemy w wysokie rozdzielczości (minimum 1440p) i gdy ograniczone użycie skalowania (tryb „Performance”) jest wystarczające do zapewnienia pożądanej liczby klatek na sekundę. Bardziej agresywne skalowanie w górę lub jakiekolwiek inne w niższych rozdzielczościach ma znacznie bardziej zauważalny wpływ na jakość obrazu, a wielu graczy nadal dobrze korzysta z precyzyjnych ustawień renderowania, które robią różnicę. Nie wszyscy dbają o wszystko; jeśli nie znosisz rozmycia w ruchu lub odblasków obiektywu, albo nie jesteś pod wrażeniem wysokiej jakości renderowania włosów, wyłączenie takich funkcji to utrata 0% subiektywnej jakości obrazu. Inteligentne skalowanie jest świetne, ale nigdy nie zapewnia zerowej straty.

Wnioski

Skalowanie silnika gry to doskonała funkcja dla graczy, pozwalająca tym z nas, którzy mają starsze lub podstawowe procesory graficzne (i konsole), cieszyć się najnowszymi grami, nawet jeśli nie w ich pełnej krasie. A biorąc pod uwagę, ile czasu wciąż spędziłem nad DOOM-em z 1993 roku, świetna gra może być świetną zabawą bez ostatecznego blingowania. Skalowanie jest również przydatne w przypadkach, takich jak rywalizujący gracze e-sportowi, którzy chcą poświęcić dużo jakości wizualnej w zamian za najwyższą możliwą liczbę klatek na sekundę.

Ustawienia renderowania mają bardzo różny wpływ na wydajność, od praktycznie zerowego (np. metody antyaliasingu) do ogromnego (źle zoptymalizowanego RT). Zoptymalizowane ustawienia Digital Foundry są doskonałym źródłem informacji dla użytkowników procesorów graficznych ze średniej lub niskiej półki, a czasem nawet z wyższej półki.

Wiele gier z mojej listy oferuje ray tracing jako opcję, znacznie rozszerzając zakres od najniższych do najwyższych ustawień. Gdy wkraczamy w 4. rok RTE (era Ray Tracingu), rosnące problemy z tą technologią są nadal obecne. Wielkie tytuły AAA to wieloletnie projekty, więc nawet duże franczyzy, takie jak Hitman, czasami stawiają pierwsze kroki, często osiągając nieoptymalne wyniki. Miejmy nadzieję, że ten czynnik zniknie w ciągu najbliższych kilku lat, a więcej silników gier zostanie napisanych od podstaw dla RT, zamiast podkuwać tę funkcję w starszej architekturze.

W przypadku testów porównawczych GPU wyniki te pokazują również, że nadal sensowne jest raportowanie oddzielnych wyników Raster i RT dla każdej gry, która zawiera oba. Nie przeprowadzałem dokładniejszych testów, aby to pokazać, ale porównanie nawet najwyższych ustawień rastrowych z najniższym RT powinno często skutkować dużą różnicą w wydajności: we wczesnych lub podstawowych procesorach graficznych obsługujących RT, ponieważ ray tracing jest zbyt trudny dla nich oraz w najnowszych halo, ponieważ rasteryzacja jest dla nich zbyt łatwa i czasami staje się ograniczona przez procesor/silnik.

Próbowałem ocenić jakość każdego wbudowanego testu porównawczego na podstawie tego, jak dobrze odwzorowują efekty wizualne w grze, i niektóre z nich są znacznie lepsze od innych w tych kryteriach. Ale tak jak skomentowałem dla Guardians of the Galaxy, niekoniecznie jest to problem z uzyskaniem wyniku, który jest zgodny z rzeczywistą rozgrywką — potrzebujesz głównie większego zaufania do programistów, którzy wybrali, co uwzględnić w teście. Nadal nalegałbym, aby studia miały wbudowane testy porównawcze, które wykorzystują tę samą perspektywę i inne zachowania, co rzeczywista gra, i próbkują wszystkie główne działania.

W debacie na temat metodologii zdecydowanie opowiadam się za standardowymi testami porównawczymi dla wszystkiego, to jedyny sposób na uzyskanie rozsądnie równoważnych wyników wśród recenzentów lub we własnych i niezależnych testach porównawczych. Większość moich testów ma wyniki w granicach 1% średniej z wielu przebiegów. W przypadku braku wbudowanego testu porównawczego, który można minimalnie zdać, należy zastosować automatyzację: Jestem w 100% z Dr. Cutress . Słyszałem kontrargumenty od innych recenzentów oparte na trudnościach w utrzymaniu działania skryptów automatyzacji w łatkach do gier, ale te wymówki nie byłyby traktowane poważnie w żadnej innej dziedzinie technologii komputerowej.