Pesquisa transversal no SIGGRAPH Asia 2022

Dec 05 2022
Depois de muito tempo sem conferências, este ano, a equipe da Traverse Research estará viajando para a conferência SIGGRAPH 2022 em Daegu, Coréia! Enquanto estivermos lá, falaremos alegremente com as pessoas sobre os projetos que temos em andamento e será uma das primeiras vezes que mostraremos publicamente algumas das coisas que temos feito nos últimos três anos . Se você estiver lá e estiver interessado em ver uma demonstração do que construímos, ou apenas quiser dizer oi, entre em contato pelo Twitter, Mastodon ou pelo site.

Depois de muito tempo sem conferências, este ano, a equipe da Traverse Research estará viajando para a conferência SIGGRAPH 2022 em Daegu, Coréia! Enquanto estivermos lá, falaremos alegremente com as pessoas sobre os projetos que temos em andamento e será uma das primeiras vezes que mostraremos publicamente algumas das coisas que temos feito nos últimos três anos .

Se você estiver lá e estiver interessado em ver uma demonstração do que construímos ou apenas quiser dizer oi, entre em contato pelo Twitter , Mastodon ou pelo site.

A estrutura de Breda

Nossa estrutura de prototipagem Breda foi atualizada para incluir uma série de novos recursos, incluindo um novo sistema Global Illumination baseado no ray tracing acelerado por hardware disponível, um modelo de material multicamada complexo e um mecanismo de inferência de aprendizado de máquina sob medida.

A estrutura é desenvolvida principalmente como uma embarcação de pesquisa para ajudar a impulsionar nossa pesquisa de gráficos avançados. A estrutura atualmente roda em Windows, Linux (AArch64 e x64) e Android; suporta Vulkan e Directx12. Ele é capaz de rodar em ambientes pré-silício que suportam rastreamento de raio de hardware e renderização sem ligação.

Percorremos nossos quadros de forma totalmente determinista, verificados até o último bit e é capaz de executar cargas de trabalho de jogos de geração atual e voltadas para o futuro. Além disso, temos uma série de recursos úteis para testar implementações de driver:

  • Incluindo host de estrutura de aceleração e suporte de compilação no dispositivo
  • Suporte de renderização sem cabeça
  • E suporte para nossas técnicas de renderização em ray tracing em linha, bem como ray tracing baseado em PSO.

Experiência em estrutura de aceleração de rastreamento de raio

Nos últimos anos, acumulamos muita experiência em rastreamento de raios que usamos para ajudar os fornecedores de hardware a melhorar suas implementações de driver. E com a chegada de Jacco Bikker , nós realmente colocamos isso em uma nova marcha!

Construímos um Acceleration Structure Playground para nos ajudar a testar todo um conjunto de algoritmos para construção e travessia com muitos modos e recursos de depuração. Isso inclui vários estilos e tipos de construtores, modos de validação baseados em CPU e ampla coleta de estatísticas.

Uma das visualizações de depuração em nosso Acceleration Structure Playground que mostra um mapa de calor de custo de interseção

Desenvolvimento de jogos

A Traverse Research e a Embark Studios têm uma história juntos que remonta a muito antes de qualquer empresa ser fundada e nós os ajudamos a construir sua visão de plataforma criativa desde o início da Traverse Research! A Embark anunciou recentemente que eles abriram para os primeiros jogadores para ajudar a construir uma pequena comunidade em torno de seu projeto.

Playground Criativo do Embark - Chamada para os primeiros jogadores

Estamos nos divertindo muito ajudando-os a acelerar e dar continuidade a esse projeto e sentimos que é importante para o DNA da Traverse Research continuar trabalhando nesses tipos de projetos de jogos junto com todas as ótimas pesquisas que estamos fazendo; é uma grande mudança de ritmo e nos mantém honestos sobre o tipo de trabalho que fazemos!

Outro projeto que temos muito orgulho de fazer junto com a Embark é o rust-gpu; um projeto que cria um back-end de compilador totalmente novo para o compilador Rust padrão que visa a execução em GPUs por meio do SPIR-V.

Aprendizado de máquina

A verdadeira razão pela qual viemos para Daegu; estamos apresentando um pôster que tenta responder à pergunta “e se substituíssemos o BRDF por uma abordagem de aprendizado de máquina”. Esta questão foi estudada por um de nossos pesquisadores de aprendizado de máquina: Luca Quartesan .

Em sua pesquisa apelidada de “Compressão e renderização de funções de textura bidirecional neural”, Luca treinou redes neurais para expressar o equivalente a uma avaliação BRDF aprendida a partir de capturas de uma coleção de direções de luz e visualização.

Implementando inicialmente seu trabalho em Mitsuba para poder comparar seus resultados com um Ground Truth geralmente aceito, Luca já havia postado em um blog sobre a configuração que usou para fazer algumas dessas coisas acontecerem.

No entanto, com o tempo, sentimos a necessidade de mostrar esse trabalho em tempo real em nosso rastreador de caminho interativo. O que não apenas levou à criação de nosso próprio mecanismo de inferência baseado em onnx, apoiado pelo Vulkan e pelo DirectX 12; também tornou possível interagir mais facilmente com os materiais e exibi-los ao lado de nosso modelo de material regular.

Os materiais aplicados à poltrona e ao tapete em primeiro plano apresentam materiais neurais treinados em dados capturados do conjunto de dados UBO2014 e são renderizados por meio de nosso rastreador de caminho interativo.

Engajamento da Universidade

Uma das coisas que absolutamente amamos fazer mais do que tudo é a quantidade de engajamento universitário que fazemos. Em particular, temos um ótimo relacionamento com a Breda University of Applied Sciences (BUas) e a Utrecht University, onde realizamos uma sessão muito boa no início deste ano junto com Pete Brubaker sobre nosso uso do compilador ISPC e sobre otimizações SIMD de baixo nível.