Исследование траверсов на SIGGRAPH Asia 2022

Dec 05 2022
После долгого перерыва в конференциях в этом году команда Traverse Research отправится на конференцию SIGGRAPH 2022 в Тэгу, Корея! Пока мы там, мы с радостью поговорим с людьми о проектах, которые у нас есть, и это будет один из первых случаев, когда мы более публично покажем некоторые вещи, которые мы делали за последние три года . Если вы там и вам интересно посмотреть демонстрацию того, что мы создали, или просто хотите поздороваться, свяжитесь с нами через Twitter, Mastodon или через веб-сайт.

После долгого перерыва в конференциях в этом году команда Traverse Research отправится на конференцию SIGGRAPH 2022 в Тэгу, Корея! Пока мы там, мы с радостью поговорим с людьми о проектах, которые у нас есть, и это будет один из первых случаев, когда мы более публично покажем некоторые вещи, которые мы делали за последние три года .

Если вы здесь и вам интересно посмотреть демонстрацию того, что мы создали, или просто хотите поздороваться, свяжитесь с нами через Twitter , Mastodon или через веб-сайт.

Фреймворк Бреда

Наша среда прототипирования Breda была обновлена ​​и теперь включает в себя множество новых функций, в том числе совершенно новую систему Global Illumination, основанную на доступной аппаратно-ускоренной трассировке лучей, сложную многослойную модель материала и специальный механизм вывода на основе машинного обучения.

Платформа в первую очередь разработана как исследовательское судно, чтобы помочь продвигать наши передовые исследования в области графики. В настоящее время фреймворк работает в Windows, Linux (AArch64, а также x64) и Android; он поддерживает как Vulkan, так и Directx12. Он может работать в предварительных кремниевых средах, которые поддерживают аппаратную трассировку лучей и рендеринг без привязки.

Мы проходим через наши кадры полностью детерминированно, проверено до последнего бита, и он способен работать как с перспективными, так и с игровыми нагрузками текущего поколения. Кроме того, у нас есть целый ряд функций, полезных для тестирования реализаций драйверов:

  • Включая хост структуры ускорения и поддержку сборки на устройстве
  • Поддержка безголового рендеринга
  • И поддержка наших методов рендеринга как во встроенной трассировке лучей, так и в трассировке лучей на основе PSO.

Экспертиза структуры ускорения трассировки лучей

За последние несколько лет мы накопили большой опыт в области трассировки лучей, который мы использовали, чтобы помочь поставщикам оборудования улучшить реализацию своих драйверов. А с появлением Jacco Bikker мы действительно перешли на новый уровень!

Мы создали Игровую площадку структуры ускорения, чтобы помочь нам протестировать целый набор алгоритмов как для построения, так и для обхода с множеством режимов и функций отладки. Это включает в себя различные стили и типы компоновщиков, режимы проверки на основе процессора и обширный сбор статистики.

Одна из визуализаций отладки на нашей игровой площадке Acceleration Structure, которая показывает тепловую карту стоимости пересечения.

Разработка игр

Traverse Research и Embark Studios имеют совместную историю, которая восходит к тому времени, когда обе компании были основаны, и мы помогаем им развивать свое творческое видение платформы с самого начала Traverse Research! Embark недавно объявили, что они открылись для первых игроков, чтобы помочь создать небольшое сообщество вокруг своего проекта.

Творческая игровая площадка Embark — приглашаем первых игроков

Мы отлично проводим время, помогая им набраться сил и начать работу над этим проектом, и мы чувствуем, что для Traverse Research DNA важно продолжать работать над такого рода игровыми проектами наряду со всеми замечательными исследованиями, которые мы проводим; это одновременно отличная смена темпа и позволяет нам быть честными в отношении той работы, которую мы делаем!

Еще один проект, которым мы очень гордимся вместе с Embark, — это rust-gpu; проект, который создает совершенно новый бэкенд компилятора для стандартного компилятора Rust, предназначенного для работы на графических процессорах через SPIR-V.

Машинное обучение

Настоящая причина, по которой мы приехали в Тэгу; мы представляем плакат, который пытается ответить на вопрос «что, если мы заменим BRDF подходом машинного обучения». Этот вопрос изучал один из наших исследователей машинного обучения: Лука Куартесан .

В своем исследовании под названием «Сжатие и рендеринг нейронных двунаправленных текстурных функций» Лука обучил нейронные сети выражать эквивалент оценки BRDF, полученной из снимков из коллекции источников света и направлений взгляда.

Первоначально выполняя свою работу в Mitsuba , чтобы иметь возможность сравнить свои результаты с общепринятой истиной, Лука ранее писал в блоге о настройке, которую он использовал для запуска некоторых из этих вещей.

Однако со временем мы почувствовали необходимость показать эту работу в режиме реального времени в нашем интерактивном трассировщике пути. Это не только привело к созданию нашего собственного механизма логического вывода на основе onnx, поддерживаемого как Vulkan, так и DirectX 12; это также позволило более легко взаимодействовать с материалами и демонстрировать их вместе с нашей обычной моделью материала.

Материалы, примененные к креслу и ковру на переднем плане, представляют собой нейронные материалы, обученные на захваченных данных из набора данных UBO2014, и визуализируются с помощью нашего интерактивного трассировщика пути.

Взаимодействие с университетом

Одна из вещей, которую мы любим делать больше всего на свете, — это участие в работе университетов. В частности, у нас хорошие отношения с Университетом прикладных наук Бреды (BUas) и Утрехтским университетом, где в начале этого года мы провели очень интересную сессию вместе с Питом Брубейкером, посвященную использованию нами компилятора ISPC и низкоуровневой SIMD-оптимизации.