O software oferece aos artistas digitais um ambiente virtual fácil de arrastar e soltar para modelagem rápida de geometria, luzes, animações, efeitos visuais e caminhos de movimento. Para isso, adiciona um conjunto completo de controladores interativos e programação generativa para complexidade adicional. O aplicativo também se conecta diretamente aos mercados NFT, onde ativos exclusivos podem ser importados para o aplicativo, e novos trabalhos gráficos em movimento podem ser criados como saídas NFT diretamente de dentro do aplicativo.

Nosso projeto é inspirado na abordagem conceitual do histórico piano optofônico , do qual leva seu nome, inventado pelo renomado artista e inventor de vanguarda Wladimir Baranoff-Rossiné (1888–1944). Nossa plataforma, baseada nas inovações de blockchain de NFTs e DAOs, capacita artistas a colaborar na criação de mídia audiovisual imersiva para eventos ao vivo, o Metaverso e como obras de mídia autônomas.

Juntas, nossas galerias online e comunidade de usuários encorajarão o desenvolvimento da Optophonia como uma ferramenta criativa profissional e forma de arte na era Web3.

Integração NFT

Optophonia é o primeiro aplicativo desse tipo a integrar NFTs totalmente em seu conceito e experiência gerais. A arte baseada em NFT funciona nos lados de entrada e saída dos aplicativos. Você pode coletar NFTs como mídia de origem (modelos 3D, arte 2D, videoclipes, arquivos de captura de movimento, etc.) e usá-los como 'matéria-prima' para criar seus próprios gráficos de movimento NFT na saída.

A Optophonia DAO (organização autônoma descentralizada) oferece suporte a artistas e à comunidade de usuários por meio de atividades importantes, como selecionar artistas para curadoria, ajudar-nos a decidir sobre novos recursos a serem integrados ao aplicativo e decidir de quais artistas apoiar e adquirir arte.

O conteúdo NFT abre novas economias para os artistas, permitindo que continuem a ganhar royalties à medida que sua mídia é comercializada. Se você é um buscador de loops VJ, a mídia que você obtém como NFTs não é estritamente um custo, mas se torna um ativo por causa de sua tokenização no blockchain. Um loop digital de edição limitada que você adquire para sua performance pode ser negociado posteriormente, mesmo com lucro. Se você é um criador de modelos 3D, arte digital ou mesmo música e vídeos, você tem um novo mercado organizado pela comunidade para vender seus trabalhos dedicado a promover esta forma de arte.

A Optophonia organiza um mercado para a venda de ativos digitais que podem ser usados ​​na produção de gráficos em movimento. Por exemplo, um coreógrafo e dançarino pode ganhar royalties na produção de arquivos de captura de movimento de dança, enquanto outro artista 3D pode ganhar royalties em seu modelo de avatar digital, enquanto outro artista pode ganhar royalties por fornecer roupas virtuais para o avatar dançante. Os contratos inteligentes permitem que as divisões de royalties desse tipo sejam automatizadas e interrompem os modelos econômicos atuais para o trabalho criativo.

Os NFTs como ativos digitais em um trabalho optofônico têm o potencial de derrubar décadas de práticas econômicas da Internet que favorecem o domínio gigante da tecnologia e criar uma dinâmica totalmente nova em torno da produção e distribuição de conteúdo com maior probabilidade de favorecer artistas e criatividade individuais.

Tour da IU

Nosso aplicativo principal, projetado para trabalhar em desktops e laptops, é baseado em cinco guias principais, que fornecem um conjunto completo de recursos para animações gráficas ao vivo — Galeria, Palco, Controle, Programa e Sequência, descritos com mais detalhes abaixo. Oferecemos aos artistas que produzem mídia visual para contextos musicais um acesso fácil e intuitivo aos principais recursos do Unreal sem a complexidade de precisar de uma equipe de desenvolvimento inteira ou profundo conhecimento em mecanismos de jogo.

Tela da Galeria

A primeira aba organiza Projetos, Performances, Builds e Mints . Com a Optophonia, há alguma terminologia com a qual se acostumar, então este é um bom lugar para começar a definir alguns termos. O que você cria na Optophonia são Composições . Geralmente, Projetos são praticamente sinônimos de Composições, porque uma Composição é o que você está criando em um Projeto. Um novo projeto estará vazio de uma composição, é claro, então o termo distinção ainda é útil.

Assumindo que a ideia de um arquivo de Projeto é bem conhecida, podemos discutir Performances. Com Optophonia, a composição é uma montagem visual em movimento de objetos virtuais e mídias que podem ser tocadas em tempo real. Você pode criar qualquer número de apresentações com uma composição. Enquanto na maioria dos aplicativos uma Performance pode ser simplesmente incorporada no arquivo do Projeto, com Optophonia, por causa da integração NFT, as Performances podem ser cunhadas como NFTs, e é por isso que elas têm seu próprio espaço na Galeria.

As apresentações são de dois tipos — Optophonia nativa e vídeo renderizado. As apresentações nativas podem ser abertas no aplicativo para serem reproduzidas ao vivo. Uma apresentação nativa é essencialmente uma gravação de uma coleção de valores de dados de composição ao longo do tempo. As apresentações podem ser gravadas nas telas Stage, Control e Program, dependendo do que faz mais sentido para qualquer composição.

Qualquer Performance gravada pode ser renderizada como um arquivo de vídeo, e esses arquivos de vídeo podem, por sua vez, ser cunhados como NFTs por meio do botão Mint. O Optophonia contém um conjunto de ferramentas integrado para criar loops de vídeo contínuos, para que as apresentações possam ser preparadas para loop se alguém desejar um loop contínuo como o tipo de mídia NFT.

O outro tipo de mídia que pode ser cunhado como NFTs são Builds. Um Build é um executável autônomo — seu próprio miniaplicativo da Composição. Isso permite que os usuários criem NFTs de mídia interativa ou generativa. As compilações são criadas na tela Programa, discutida mais abaixo.

A seção final da Galeria organiza a mídia que já foi cunhada. Estas serão referências a arquivos de vídeo renderizados e compilações que foram previamente geradas pelo aplicativo como NFTs.

Tela de Palco

A tela Stage é onde os elementos principais da composição são montados. Em um alto nível, existem dois tipos principais de elementos que são usados ​​para criar Composições: recursos que foram importados, por exemplo, das galerias NFT da Optophonia (os NFTs podem ser gratuitos e o aplicativo inclui alguns recursos de mídia NFT para experimentação imediata) e recursos internos ao ambiente Unreal, como geometria, luzes, componentes de animação e efeitos visuais.

A tela do Palco oferece suporte a muitos tipos de mídia que podem ser usados ​​como ativos importados: arte 2D (para ser usada como texturas), modelos 3D (que geralmente serão do tipo de arquivo .fbx), seres humanos digitais, personagens manipulados, arquivos de movimento, vídeo clipes e arquivos de áudio.

A visualização hierárquica de todos os objetos na composição é organizada no painel Elementos da composição e as propriedades de qualquer objeto selecionado podem ser manipuladas no painel Propriedades. A Staging Area central - onde a composição é montada - também possui várias ferramentas para modelagem (por exemplo, funções booleanas, ferramentas de alinhamento e visualizações em perspectiva) e para visualização de performances, como exibi-las de acordo com diferentes proporções e também gravar e jogando-os.

As apresentações de composições optofônicas podem ser gravadas em qualquer uma das três guias centrais — Palco, Controle e Programa. Essas três áreas de tela permitem aumentar a complexidade das composições. Como a tela do Palco inclui um conjunto de objetos de animação, uma composição de gráficos em movimento complexa e refinada pode ser criada inteiramente na tela do Palco usando arrastar e soltar e animações integradas em conjunto com a ferramenta Caminhos (o ícone superior esquerdo abaixo do logotipo) que pode criar caminhos de movimento através da composição para a câmera de visualização principal e outros elementos.

A tela Stage (juntamente com as telas Control e Program) também possui uma linha de 16 botões Snapshot. Estes podem ser usados ​​em dois modos principais. No modo instantâneo normal, cada instantâneo simplesmente registra uma predefinição interna de todas as propriedades dos objetos de composição e a posição da câmera, para que o usuário possa alternar rapidamente entre eles.

Os instantâneos também podem ser usados ​​como um sequenciador visual que sincroniza com os dados MIDI de entrada para que os instantâneos possam ser alinhados com a música. Isso se alinha com o paradigma mais comum no sequenciamento de batidas, onde uma nota inteira é subdividida em dezesseis passos de notas 1/16. O aplicativo também gera suas próprias informações internas de tempo para que um sinal de sincronização MIDI externo nem sempre seja necessário para experimentar as possibilidades do sequenciador visual da Optophonia com o recurso Snapshot.

Tela de controle

A tela de controle é onde a composição pode se tornar interativa. Uma interface de controle completamente personalizada pode ser configurada, para ser usada como elementos GUI ou como emulações de equipamentos de controle externo vinculados. Um conjunto abrangente de elementos de controlador virtual que podem ser combinados, por meio de arrastar e soltar, em conjuntos de controle exclusivos, muitos dos quais podem interagir com hardware externo por meio de protocolos MIDI ou OSC. Isso inclui: mostradores, controles deslizantes, botões, acionadores de pad, matriz XY, ligação ao pitch bend e rodas de modulação de teclados MIDI e ferramentas de desenho de envelope. Teclados QWERTY e MIDI também podem ser usados ​​como controladores, juntamente com sinais de áudio e arquivos MIDI.

Várias opções de visualização da composição também estão disponíveis. Qualquer Performance pode ser visualizada em uma janela de vídeo incorporada, uma janela flutuante que pode ser redimensionada em outras telas, em VR por meio de um display montado na cabeça e também transmitida ao vivo para um aplicativo de compartilhamento de quadro, como Siphon (Mac) ou Spout ( PC) para gravar como um arquivo de vídeo dentro de outro aplicativo.

O compartilhamento de quadros também permite que o conteúdo optofônico seja transmitido ao vivo para mapeamento de projeção, VJ e outros softwares de transmissão ao vivo. E, claro, a saída de gráficos em movimento pode ser transmitida ao vivo IRL para um projetor de vídeo ou outro monitor de mídia ao vivo. Há também um recurso de notas adesivas virtuais e comunicação MIDI/OSC.

A tela de controle oferece mais controle (naturalmente!) sobre a gravação de apresentações, pois as propriedades de qualquer objeto podem ser atribuídas a um objeto controlador. As informações de andamento geradas internamente ou externamente podem ser sincronizadas com os elementos de controle apropriados. Como a saída gravada optofônica geralmente consiste em mídia de vídeo que deve fazer um loop contínuo, há um conjunto de ferramentas de loop disponível para garantir que os pontos inicial e final das apresentações gravadas possam ter seus parâmetros de dados alinhados para que o primeiro e o último quadros sejam essencialmente os mesmos, para fazer uma saída de loop contínua.

Tela do programa

A tela Program adiciona uma dimensão generativa por meio de um paradigma de programação visual baseado no sistema Blueprint subjacente do Unreal. Os usuários familiarizados com a programação visual reconhecerão o paradigma de design de nó comum e cabo virtual. Objetos inteiros no painel Elementos de composição ou suas propriedades individuais podem se tornar nós na tela Programa. Além disso, muitos dos recursos mais relevantes do Unreal para gráficos em movimento interativos e generativos estão disponíveis como nós de programação adicionais.

A tela Program também possui um conjunto de ferramentas para testar Builds e exportar os executáveis ​​finais, caso o usuário queira produzir um trabalho interativo ou generativo. Como o Unreal é uma plataforma projetada para exportar aplicativos em grande escala, ele tem a capacidade de exportar executáveis ​​autônomos. Os usuários poderão produzir mídia que retém recursos interativos ou generativos, além dos arquivos de mídia linear renderizados de apresentações gravadas.

Tela de Sequência

A tela final se baseia no sistema cinemático do Unreal para permitir que os usuários criem sequências de suas apresentações, onde cada apresentação é tratada como um clipe em um editor de linha de tempo. Essas novas sequências de várias apresentações podem, por sua vez, ser transformadas em novas apresentações nativas da Optophonia (em essência, seriam apresentações compostas) ou renderizar um videoclipe da sequência.

A ferramenta Sequência pode ser usada para criar clipes mais longos, como para um videoclipe, ou para fazer um clipe de performance mais longo. Ele contém ferramentas de edição padrão, como splice, cross fade, wipe, fade in e fade out, mas também adiciona um novo recurso relacionado à criação de loops contínuos, chamados Transições interpoladas. Isso permite que um usuário alinhe facilmente os valores de dados dos pontos de entrada e saída do clipe, para que as edições possam ser facilitadas por meio da interpolação de dados dos valores de propriedade de todos os objetos, e isso também pode ser aplicado à sequência final montada para que seja preparado para loop de uma forma perfeita.

Os usuários familiarizados com aplicativos de edição de vídeo também reconhecerão o layout usual de visualizador duplo de ter duas janelas de visualização, uma para o clipe de apresentação selecionado e outra para a sequência como um todo. A linha de tempo de sequenciamento também permite que o áudio seja adicionado como uma referência para sequenciar os clipes de Performance gravados e também para adicionar elementos curtos de sequência de áudio nos pontos de transição de edição.

A linha do tempo também pode acomodar edição baseada em quadro-chave para quaisquer propriedades de objeto atribuídas, de modo que elas possam ser automatizadas em tempo real, de maneira semelhante ao aplicativo tradicional de gráficos em movimento, como After Effects ou DaVinci Resolve's Fusion.

Gráficos de movimento interativos e generativos

O Optophonia possui integração MIDI e OSC completa, permitindo que você reproduza gráficos em movimento como um instrumento musical. Cada propriedade de objeto de uma composição pode ser atribuída a um controlador externo (botões, controles deslizantes, teclas, botões, pads etc.) ou reproduzida dentro do aplicativo como um elemento GUI.

Propriedades e objetos também podem ser transformados em nós na tela Programa para programação visual. Se você preferir programar por meio de scripts, incorporamos um editor de scripts na paleta Tools para escrever código C++.

carretel de desenho

Por ser baseado no Unreal Engine, o Optophonia oferece liberdade ilimitada de criatividade para visuais musicais programáveis ​​e performáticos. Os clipes curtos em nosso carretel de design mostram quantos tipos de recursos de mídia podem ser usados ​​dentro do aplicativo, incluindo: arte 2D, modelos 3D, vídeo, som, personagens manipulados e arquivos de movimento, como mocap. Além disso, o aplicativo inclui um conjunto de ferramentas robusto para modelagem de geometria personalizada, incluindo Boolean, grade inteligente e recursos de alinhamento, bem como plug-ins de efeitos visuais.

Gráficos 3D em visuais de música eletrônica

Reunimos uma lista de reprodução em nosso canal do YouTube apresentando gráficos 3D em visuais de música eletrônica de alguns dos principais artistas e músicos do espaço para sua inspiração.

A renderização 3D em tempo real de alta qualidade está cada vez mais caracterizando o futuro da cultura visual para música eletrônica. A estética visual está mudando à medida que a renderização 3D em tempo real de alta resolução se torna mais acessível em comparação com a aquisição de pacotes de estilo tradicional vj loop e vídeo ao vivo baseado em banco de dados em processamento. Os vídeos exemplificam como a renderização 3D está transformando a aparência dos visuais de música eletrônica.

Ao construir sobre o Unreal Engine, eliminamos a curva de aprendizado íngreme de um ambiente de design de jogo, apresentando apenas a funcionalidade principal necessária para produzir visuais de desempenho para música. Qualquer artista que já usou um editor de vídeo, DAW de música, ferramenta de programação visual, aplicativo de modelagem 3D ou controlador de hardware descobrirá que o Optophonia é uma ferramenta de criatividade digital altamente intuitiva com NFT direto e integrações de ativos.

Um guia de conteúdo completo para som e design

Artigos relacionados

Como minha startup conseguiu uma reunião com o Pentágono: um relatório do vale da morte

Como construir um display de colocation audiovisual

Colocação Audiovisual | Apresentação do Colóquio de Pesquisa