Benchmarking de GPU Benchmarks

Em minhas peças de benchmark e overclock na Radeon 7900 XTX, usei os benchmarks integrados de vários jogos populares. Também testei todos os jogos em suas configurações máximas absolutas.

Agora estou comparando os mesmos jogos com configurações de “batata” – as configurações mais baixas possíveis. Quero investigar a escalabilidade dos mecanismos de jogo e as implicações para jogar e testar GPUs.

Eu também queria investigar a qualidade desses benchmarks integrados, à luz dos recentes debates sobre execução manual versus automática ou seleção de benchmark. Veja, por exemplo, esta meta-revisão : em particular, o TechPowerUp pontuou o 7900 XTX apenas 16% abaixo do 4080 em RT, mas a maioria dos outros pontos de venda disse 25%. E todos estão “certos”, apenas testaram jogos diferentes ou testaram alguns jogos com benchmarks diferentes.

Resultados

Há uma ampla gama de impactos das configurações gráficas em todos os jogos do meu conjunto de 11, então minhas pontuações relativas - melhoria na taxa de quadros das configurações de cima para baixo - estão em todo lugar. Vou comentar os resultados e também a qualidade do benchmark embutido de cada jogo.

Callisto Protocol
Este é um jogo severamente limitado por CPU/motor, mas esse problema é mais específico ao uso intenso de traçado de raios. Desligue o RT e Callisto escala bem, disparando de 72fps para 193fps, um saudável +168%.

O benchmark é bom, com uma representação justa dos gráficos e animações do jogo. Está faltando algum combate mas isso não é muito pesado visualmente em Callisto onde o horror e ambientação podem fazer com efeitos visuais modestos em combate. Bem, exceto que às vezes você pode matar inimigos (ou ser morto) de maneiras espetacularmente sangrentas que vão espalhar sangue como o aspersor de irrigação de uma fazenda, gostaria que o benchmark tivesse um pouco disso.

Em um problema único, o benchmark de Callisto usa uma proporção bloqueada para que não represente corretamente qualquer resolução que não seja 16:9. Para mim, isso é um bug.

Shadow of the Tomb Raider
SOTR roda bem o suficiente em 110fps, configurações máximas incluindo seu RT básico, e escala bem com GPUs mais rápidas. Ele também escala normalmente com configurações reduzidas, +112% para 233 fps.

O benchmark é razoável. Sem ação, mas este é um jogo em que você humilha todos os alpinistas da IRL e atira flechas. O benchmark pode apresentar algumas das engenhocas hidráulicas nas tumbas, mas acho que essas grandes estruturas móveis não são muito mais difíceis de renderizar com a iluminação amplamente estática e integrada do jogo (mesmo com RT). Suponho que o benchmark integrado foi projetado para não estragar nenhuma descoberta legal.

Quake II RTX
Um caso difícil para este estudo em particular, já que a “configuração de batata” aqui é o renderizador OpenGL original de 1997. Esse mecanismo de jogo agora é velho o suficiente para ficar tão bêbado que pagaria US $ 2.000 por uma GPU. A diferença entre o pior que o mecanismo original pode fazer e o melhor que o novo RTX remaster pode é de astronômicos 6.554%: 4.163fps em comparação com 62fps.

O recurso timedemo clássico da idTech foi desenvolvido para tempos mais simples. Ele renderiza uma sequência fixa de quadros (exatamente 687 para “demo1”), o que é ideal para reprodutibilidade, sem ruído do ritmo do quadro. Mas com as configurações mais baixas, o teste termina em 0,2s no 7900 XTX! Isso causa uma grande margem de erro na medição - 10% de diferença da pior para a melhor pontuação de muitas execuções. Com essa ressalva, é um bom benchmark que representa bem a ação do jogo.

As configurações mais baixas e mais altas são jogos essencialmente distintos. Mas como a prática de remasters/remakes é cada vez mais comum para clássicos antigos, acho Quake II RTX uma visão útil sobre o salto geracional de complexidade e desempenho de renderização, mesmo que um pouco extremo devido à idade do jogo original e ao caminho radical remasterização rastreada.

Guardians of the Galaxy
Este jogo pesado dobra exatamente o desempenho de 78fps para 156fps, outro jogo que se adapta muito bem com as configurações de renderização.

Infelizmente, o benchmark é ruim, com zero representação de combate ou outros visuais dinâmicos e agitados deste jogo. Isso pode não fazer uma grande diferença nas pontuações; Testei jogando um savepoint antigo que tive em uma luta pesada perto do final do jogo e o desempenho variou de 70 a 100 fps, com média até um pouco maior do que o benchmark. Mas essa verificação manual aleatória não substitui um benchmark adequado.

Horizon Zero Dawn
Uma faixa modesta aqui, Horizon se move apenas +32% das melhores configurações possíveis, dando 157fps, o pior 208fps. Este é um jogo puramente raster, então esse intervalo não é muito  curto, mas é curto.

O benchmark é muito ruim, realmente entre os piores: parece aqueles sites imobiliários com fly-throughs de propriedades filmados por drones, uma longa e tediosa visão panorâmica de um cenário imponente habitado por NPCs ocupados sem fazer nada. Não mostra nenhuma das máquinas que são o foco da maior parte da ação; nem mostra o protagonista, onipresente neste jogo em terceira pessoa.

DOOM 3
Este é um verdadeiro “jogo antigo” (existe um remaster mas não o utilizo nesta série). Sem RT novamente. Todas as configurações de qualidade gráfica não fazem diferença, o desempenho da pior para a melhor apresentação é idêntico dentro da margem de erro.

Isso não é inesperado. Primeiro, o jogo é muito single-threaded, limitado pelo motor a cerca de 400fps no meu sistema. Em segundo lugar, o trabalho de renderização é um passeio no parque para qualquer hardware atual; opções como sombras da era de 2004, mapas de relevo ou AA são um erro de arredondamento no esforço da GPU. É uma pena porque o timedemo é um benchmark muito bom com muita ação e, ao contrário do Quake II RTX, não é acelerado em altas taxas de quadros.

Dying Light 2
De volta a um jogo moderno, aqui movemos um fantástico +274% da configuração de ray tracing mais difícil a 53fps para o raster mais bruto a 194fps.

O benchmark parece apenas aceitável, há algumas cenas com lutas contra zumbis, mas à distância — não entendo porque um jogo em primeira pessoa é comparado sem nenhuma perspectiva de primeira pessoa. Além disso, nenhuma das ações de corrida / parkour é o principal motivo pelo qual comprei este jogo.

Batman Arkham Knight
Este capítulo final da série Arkham passa de 242fps para 281fps, apenas +16% comparando as configurações mais baixas com as mais altas. Esse é um alcance muito ruim, mesmo sem RT. É quase DOOM 3, exceto que Arkham é um jogo de 2015 com gráficos DirectX 11 que eram de última geração para a época e ainda são uma festa para hoje. Podemos culpar o dimensionamento limitado em parte pelas restrições de CPU/motor da maioria dos jogos dessa idade ou mais antigos e, em parte, no fato de que um jogo raster puro é muito fácil em qualquer GPU topo de linha da geração atual.

Outro benchmark embutido que poderia ser muito melhor, mostra muitos elementos do jogo, mas não a perspectiva do jogo ou qualquer ação significativa.

Red Dead Redemption 2
Moderno, mas limitado pela CPU, o RDR2 escala modestos +39%: 121 fps a 169 fps. Alguém poderia argumentar que está tudo bem porque não há RT no lado das configurações máximas, mas este jogo em particular apresenta uma apresentação muito sofisticada. parece muito melhor do que isso sem traçado de raio. Com isso em mente, considero seu dimensionamento baseado em configurações ruim.

O benchmark integrado é excelente: mostra uma boa variedade de níveis, sistemas climáticos e o bom e velho tiroteio ocidental. É uma pena que alguns grandes revisores prefiram benchmarks ad-hoc para RDR2 porque o interno é “muito longo”. Red Dead é uma palestra sobre como fazer um benchmark de jogo.

Wolfenstein: Youngblood
Um lembrete de que minhas configurações máximas para este jogo não incluem ray tracing na Radeon (só suporta as primeiras extensões da NVidia). O mecanismo sempre raster escala apenas +25% de 343fps para 427fps, pelas mesmas razões que Batman Arkham Knight.

Existem dois benchmarks, cada um um simples flythrough de um nível. Neste jogo cooperativo que combina uma perspectiva em primeira pessoa, sempre portando uma enorme arma, e terceira pessoa de seu companheiro, nenhum deles aparece. Além disso, MIA é um combate divertido como o inferno com hilariantes máquinas de guerra dieselpunk. É como um trailer PG-13 para um filme R-rated.

Hitman 3
Como muitos revisores observaram, Hitman foi atualizado (ou sobrecarregado) com uma implementação de rastreamento de raios que adiciona sombras e reflexos por um custo alto. Isso explica porque o jogo salta de 52fps para 324fps, um enorme +525%.

O benchmark é um flythrough de vários níveis de aparência espetacular, cheios de oligarcas reunindo e gastando seu dinheiro. Mas tudo bem, não? Este é um jogo em que você caminha calmamente para essas festas e esfaqueia o Sheikh quando ninguém está olhando.

Dimensionamento: renderização vs. aumento de escala

Configurações de renderização baixas ajudaram antigamente, mas hoje temos tecnologia avançada de supersampling, certo? Mesmo antes de atualizar da minha GPU de última geração, para jogos que precisavam de alguns ajustes e tinham suporte para FSR 2, eu sempre tentei usar apenas isso e manter todas as outras configurações em High/Ultra.

Essa lógica faz sentido ao visar altas resoluções (mínimo 1440p) e quando um uso limitado de upscaling (modo "Desempenho") é suficiente para fornecer a taxa de quadros desejada. Upscaling mais agressivo, ou qualquer um deles em resoluções mais baixas, é um impacto muito mais perceptível na qualidade da imagem e muitos jogadores ainda estão bem servidos com configurações de renderização de granulação fina que fazem a diferença. Nem todo mundo se preocupa com tudo; se você odeia desfoque de movimento ou reflexos de lente, ou se não se impressiona com a renderização de cabelo de alta qualidade, desabilitar esses recursos é uma perda de 0% da qualidade subjetiva da imagem. O upscaling inteligente é ótimo, mas nunca é ótimo com perda zero.

Conclusões

O dimensionamento do mecanismo de jogo é um recurso excelente para os jogadores, permitindo que aqueles de nós com GPUs (e consoles) mais antigos ou básicos aproveitem os jogos mais recentes, mesmo que não em toda a sua glória. E considerando quanto tempo eu ainda coloco no DOOM de 1993, um grande jogo pode ser muito divertido sem o derradeiro bling. O dimensionamento também é útil em casos como jogadores de esports competitivos dispostos a sacrificar muita qualidade visual em troca das taxas de quadros mais altas possíveis.

As configurações de renderização têm impactos amplamente diferentes no desempenho, de praticamente nada (por exemplo, métodos de antialiasing) a enormes (RT mal otimizado). As configurações otimizadas do Digital Foundry são um ótimo recurso para usuários de GPUs de gama média ou baixa e, às vezes, até mesmo para high-end.

Muitos jogos na minha lista apresentam ray tracing como uma opção, expandindo bastante o intervalo das configurações mais baixas para as mais altas. À medida que entramos no ano 4 RTE (Ray Tracing Era), as dores crescentes dessa tecnologia ainda estão presentes. Grandes títulos AAA são projetos de vários anos, então até grandes franquias como Hitman às vezes estão dando seus primeiros passos, geralmente apresentando resultados abaixo do ideal. Esperançosamente, esse fator desaparecerá nos próximos anos, com mais mecanismos de jogo escritos desde o início para RT, em vez de calçar esse recurso em uma arquitetura herdada.

Para benchmarking de GPU, esses resultados também mostram que ainda faz sentido relatar pontuações Raster e RT separadas para cada jogo que apresenta ambos. Não fiz testes mais refinados para mostrá-lo, mas comparar até mesmo as configurações de Raster mais altas com o RT mais baixo geralmente deve resultar em uma grande lacuna no desempenho: em GPUs com capacidade de RT de nível inicial ou básico, porque o rastreamento de raios é muito difícil para eles e nos halos mais recentes porque a rasterização é muito fácil para eles e às vezes torna-se limitada pela CPU/motor.

Tentei julgar a qualidade de cada benchmark integrado com base em quão bem eles representam o visual do jogo, e alguns são muito melhores do que outros nesse critério. Mas, como comentei para Guardiões da Galáxia, não é necessariamente um problema produzir uma pontuação que seja fiel ao desempenho do jogo real - você precisa principalmente de um maior grau de confiança nos desenvolvedores que escolheram o que incluir no teste. Eu ainda exortaria os estúdios a terem benchmarks integrados que usem a mesma perspectiva e outros comportamentos do jogo real e experimentem todas as atividades principais.

No debate sobre metodologia, sou fortemente a favor de benchmarks padrão para tudo, é a única maneira de obter resultados razoavelmente equivalentes entre revisores ou benchmarks primários e independentes. A maioria dos meus testes tem pontuações dentro de 1% da média em várias execuções. Na falta de um benchmark integrado minimamente aceitável, a automação deve ser usada: estou 100% com o Dr. Cutress . Já ouvi contra-argumentos de outros revisores com base na dificuldade de manter os scripts de automação funcionando nos patches do jogo, mas essas desculpas não seriam levadas a sério em nenhum outro domínio da tecnologia de computadores.