Le logiciel offre aux artistes numériques un environnement virtuel simple par glisser-déposer pour une modélisation rapide de la géométrie, des lumières, des animations, des effets visuels et des trajectoires de mouvement. À cela, il ajoute un ensemble complet de contrôleurs interactifs et une programmation générative pour une complexité supplémentaire. L'application se connecte également directement aux marchés NFT, où des actifs uniques peuvent être importés dans l'application, et de nouvelles œuvres graphiques animées peuvent être créées en tant que sorties NFT directement depuis l'application.

Notre projet s'inspire de l'approche conceptuelle du piano optophonique historique , dont il tire son nom, inventé par le célèbre artiste et inventeur d'avant-garde Wladimir Baranoff-Rossiné (1888-1944). Notre plateforme, basée sur les innovations blockchain des NFT et des DAO, permet aux artistes de collaborer à la création de médias audiovisuels immersifs pour des événements en direct, le Metaverse, et en tant qu'œuvres médiatiques autonomes.

Ensemble, nos galeries en ligne et notre communauté d'utilisateurs encourageront le développement d'Optophonia en tant qu'outil de création professionnel et forme d'art à l'ère du Web3.

Intégration NFT

Optophonia est la première application de ce type à intégrer pleinement les NFT dans son concept global et son expérience. L'art basé sur NFT fonctionne à la fois du côté de l'entrée et de la sortie des applications. Vous pouvez collecter des NFT en tant que média source (modèles 3D, art 2D, clips vidéo, fichiers de capture de mouvement, etc.) et les utiliser comme « matière première » pour créer vos propres graphiques animés NFT à la sortie.

L'Optophonia DAO (organisation autonome décentralisée) soutient les artistes et la communauté d'utilisateurs à travers des activités clés telles que la sélection d'artistes à organiser, nous aidant à décider des nouvelles fonctionnalités à intégrer dans l'application et à décider quels artistes soutenir et acquérir de l'art.

Le contenu NFT ouvre de nouvelles économies pour les artistes, en leur permettant de continuer à percevoir des redevances au fur et à mesure que leurs médias sont échangés. Si vous êtes un chercheur de boucles VJ, les médias que vous obtenez en tant que NFT ne sont pas strictement un coût, mais deviennent plutôt un atout en raison de leur tokenisation sur la blockchain. Une boucle numérique en édition limitée que vous acquérez pour votre performance peut être échangée plus tard, même avec un profit. Si vous êtes un créateur de modèles 3D, d'art numérique ou même de musique et de vidéos, vous disposez d'un nouveau marché organisé par la communauté pour vendre vos œuvres et dédié à la promotion de cette forme d'art.

Optophonia organise une place de marché pour la vente d'actifs numériques pouvant être utilisés dans la production d'animations graphiques. Par exemple, un chorégraphe et un danseur peuvent gagner des royalties sur la production de fichiers de capture de mouvement de danse, tandis qu'un autre artiste 3D peut gagner des royalties sur son modèle d'avatar numérique, tandis qu'un autre artiste peut gagner des royalties pour fournir des vêtements virtuels à l'avatar dansant. Les contrats intelligents permettent d'automatiser les partages de redevances en cours de ce type et perturbent les modèles économiques actuels pour le travail créatif.

Les NFT en tant qu'actifs numériques dans une œuvre optophonique ont le potentiel de bouleverser des décennies de pratiques économiques sur Internet qui favorisent la domination technologique géante et de créer une dynamique entièrement nouvelle autour de la production et de la distribution de contenu qui sont plus susceptibles de favoriser les artistes individuels et la créativité.

Visite de l'interface utilisateur

Notre application phare, conçue pour travailler sur des ordinateurs de bureau et des ordinateurs portables, est basée sur cinq onglets principaux, qui fournissent un ensemble complet de fonctionnalités pour les graphiques animés en direct - Galerie, Scène, Contrôle, Programme et Séquence, décrits plus en détail ci-dessous. Nous donnons aux artistes qui produisent des médias visuels pour des contextes musicaux un accès facile et intuitif aux capacités de base d'Unreal sans la complexité d'avoir besoin de toute une équipe de développement ou d'une expertise approfondie dans les moteurs de jeu.

Écran de la galerie

Le premier onglet organise Projets, Performances, Builds et Mints . Avec Optophonia, il y a une certaine terminologie à laquelle s'habituer, c'est donc un bon endroit pour commencer à définir certains termes. Ce que vous créez dans Optophonia sont des compositions . En règle générale, les projets sont à peu près synonymes de compositions, car une composition est ce que vous créez dans un projet. Un nouveau projet sera vide de composition, bien sûr, donc le terme distinction est toujours utile.

En supposant que l'idée d'un fichier de projet soit suffisamment connue, nous pouvons discuter des performances. Avec Optophonia, la Composition est un assemblage visuel en mouvement d'objets virtuels et de médias qui peuvent être lus en temps réel. Vous pouvez créer n'importe quel nombre de performances avec une composition. Alors que dans la plupart des applications, une performance peut être simplement intégrée dans le fichier de projet, avec Optophonia, en raison de l'intégration NFT, les performances peuvent être créées en tant que NFT, c'est pourquoi elles ont leur propre espace de galerie.

Les performances sont de deux types - Optophonia native et vidéo rendue. Les performances natives peuvent être ouvertes dans l'application pour être lues en direct. Une performance native est essentiellement un enregistrement d'une collection de valeurs de données de composition au fil du temps. Les performances peuvent être enregistrées dans les écrans Stage, Control et Program, en fonction de ce qui a le plus de sens pour une composition donnée.

Toute performance enregistrée peut être rendue sous forme de fichier vidéo, et ces fichiers vidéo peuvent à leur tour être créés en tant que NFT via le bouton Mint. Optophonia contient un ensemble d'outils intégrés pour créer des boucles vidéo transparentes, de sorte que les performances peuvent être prêtes pour la boucle si l'on souhaite une boucle transparente en tant que type de média NFT.

L'autre type de média qui peut être créé en tant que NFT est le Builds. Une construction est un exécutable autonome - sa propre mini-application de la composition. Cela permet aux utilisateurs de créer des NFT de médias interactifs ou génératifs. Les constructions sont créées dans l'écran Programme, décrit plus en détail ci-dessous.

La dernière section de la galerie organise les médias qui ont déjà été frappés. Il s'agira de références à des fichiers vidéo rendus et à des builds qui ont été précédemment produits à partir de l'application en tant que NFT.

Écran de scène

L'écran de scène est l'endroit où les éléments centraux de la composition sont assemblés. À un niveau élevé, il existe deux principaux types d'éléments qui sont utilisés pour créer des compositions : les actifs qui ont été importés, par exemple à partir des galeries NFT d'Optophonia (les NFT peuvent être gratuits et l'application inclut certains actifs multimédias NFT pour une expérimentation immédiate), et ressources internes à l'environnement Unreal telles que la géométrie, les lumières, les composants d'animation et les effets visuels.

L'écran Stage prend en charge de nombreux types de médias pouvant être utilisés comme éléments importés : art 2D (à utiliser comme textures), modèles 3D (qui seront généralement du type de fichier .fbx), humains numériques, personnages truqués, fichiers de mouvement, vidéo extraits et fichiers audio.

La vue hiérarchique de tous les objets de la composition est organisée dans le panneau Éléments de la composition et les propriétés de tout objet sélectionné peuvent être manipulées dans le panneau Propriétés. La Staging Area centrale - où la composition est assemblée - dispose également d'un certain nombre d'outils pour la modélisation (par exemple, les fonctions booléennes, les outils d'alignement et les vues en perspective) et pour la visualisation des performances, telles que les afficher selon différents rapports d'aspect, ainsi que l'enregistrement et les jouer.

Les performances des compositions optophoniques peuvent être enregistrées dans l'un des trois onglets centraux - Stage, Control et Program. Ces trois zones d'écran permettent d'augmenter la complexité des Compositions. Étant donné que l'écran Stage comprend un ensemble d'objets d'animation, une composition graphique animée complexe et raffinée peut être créée entièrement dans l'écran Stage en utilisant le glisser-déposer et des animations intégrées en conjonction avec l'outil Chemins (l'icône en haut à gauche sous le logo) qui peut créer des trajectoires de mouvement à travers la composition pour la caméra de visualisation principale et d'autres éléments.

L'écran Stage (ainsi que les écrans Control et Program) comporte également une rangée de 16 boutons Snapshot. Ceux-ci peuvent être utilisés dans deux modes principaux. En mode instantané normal, chaque instantané enregistre simplement un préréglage interne de toutes les propriétés des objets de la composition et de la position de la caméra, afin qu'un utilisateur puisse rapidement basculer entre eux.

Les instantanés peuvent également être utilisés comme un séquenceur visuel qui se synchronise avec les données MIDI entrantes afin que les instantanés puissent être alignés sur la musique. Cela s'aligne sur le paradigme le plus courant dans le séquençage des rythmes où une note entière est subdivisée en seize étapes de 1/16e notes. L'application génère également ses propres informations de tempo interne afin qu'un signal de synchronisation MIDI externe ne soit pas toujours nécessaire pour expérimenter les possibilités du séquenceur visuel d'Optophonia avec la fonction Snapshot.

Écran de contrôle

L'écran de contrôle est l'endroit où la composition peut être rendue interactive. Une interface de contrôle entièrement personnalisée peut être configurée, pour être utilisée comme éléments d'interface graphique ou comme émulations d'équipements de contrôle hors-bord liés. Un ensemble complet d'éléments de contrôleur virtuel qui peuvent être combinés, par glisser-déposer, dans des assemblages de contrôle uniques, dont beaucoup peuvent s'interfacer avec du matériel externe via des protocoles MIDI ou OSC. Ceux-ci incluent : cadrans, curseurs, boutons, déclencheurs de pad, matrice XY, liaison avec les molettes de pitch bend et de modulation des claviers MIDI et outils de dessin d'enveloppe. Les claviers QWERTY et MIDI peuvent également être utilisés comme contrôleurs, ainsi que des signaux audio et des fichiers MIDI.

Un certain nombre d'options d'affichage de composition sont également disponibles. Toute performance donnée peut être visualisée dans une fenêtre vidéo intégrée, une fenêtre flottante qui peut être redimensionnée sur d'autres écrans, en réalité virtuelle via un visiocasque, et également diffusée en direct sur une application de partage d'images telle que Siphon (Mac) ou Spout ( PC) pour enregistrer en tant que fichier vidéo dans une autre application.

Le partage d'images permet également de diffuser en direct le contenu Optophonic sur le mappage de projection, le VJ et d'autres logiciels de diffusion en direct. Et bien sûr, la sortie graphique animée peut être diffusée en direct IRL sur un vidéoprojecteur ou un autre écran multimédia en direct. Il existe également une fonction de notes autocollantes virtuelles et une communication MIDI/OSC.

L'écran de contrôle donne plus de contrôle (naturellement !) sur l'enregistrement des performances, puisque les propriétés de n'importe quel objet peuvent être assignées à un objet contrôleur. Les informations de tempo générées en externe ou en interne peuvent être synchronisées avec les éléments de contrôle appropriés. Étant donné que la sortie enregistrée Optophonic consistera souvent en un support vidéo qui devrait boucler de manière transparente, il existe un ensemble d'outils de boucle disponible pour s'assurer que les points de début et de fin des performances enregistrées peuvent avoir leurs paramètres de données alignés de sorte que les première et dernière images soient essentiellement les mêmes, pour créer une sortie en boucle transparente.

Écran du programme

L'écran Programme ajoute une dimension générative grâce à un paradigme de programmation visuel basé sur le système Blueprint sous-jacent d'Unreal. Les utilisateurs familiarisés avec la programmation visuelle reconnaîtront le paradigme commun de conception de nœuds et de câbles virtuels. Des objets entiers dans le panneau Éléments de composition ou leurs propriétés individuelles peuvent devenir des nœuds dans l'écran Programme. En outre, bon nombre des fonctionnalités les plus pertinentes d'Unreal pour les animations graphiques interactives et génératives sont disponibles en tant que nœuds de programmation supplémentaires.

L'écran Programme dispose également d'un ensemble d'outils pour tester les constructions et exporter les exécutables finaux, si l'utilisateur souhaite produire un travail interactif ou génératif. Étant donné qu'Unreal est une plate-forme conçue pour exporter des applications à grande échelle, elle a la capacité d'exporter des exécutables autonomes. Les utilisateurs pourront produire des médias qui conservent des fonctionnalités interactives ou génératives, en plus des fichiers multimédias linéaires rendus des performances enregistrées.

Écran de séquence

L'écran final s'appuie sur le système cinématique d'Unreal pour permettre aux utilisateurs de créer des séquences à partir de leurs performances, où chaque performance est traitée comme un clip dans un éditeur de chronologie. Ces nouvelles séquences de plusieurs performances peuvent à leur tour être transformées en nouvelles performances natives d'Optophonia (il s'agirait essentiellement de performances composites) ou restituer un clip vidéo de la séquence.

L'outil Séquence peut être utilisé pour créer des clips plus longs, comme pour un clip vidéo, ou pour créer un clip de performance plus long. Il contient des outils d'édition standard tels que l'épissage, le fondu enchaîné, le volet, le fondu entrant et le fondu sortant, mais ajoute également une nouvelle fonctionnalité liée à la création de boucles transparentes, appelée transitions interpolées. Cela permet à un utilisateur d'aligner facilement les valeurs de données des points d'entrée et de sortie du clip afin que les modifications puissent être rendues fluides grâce à l'interpolation des données des valeurs de propriété de tous les objets, et cela peut également être appliqué à la séquence assemblée finale afin qu'elle soit préparé pour une boucle de manière transparente.

Les utilisateurs familiarisés avec les applications de montage vidéo reconnaîtront également la disposition habituelle à double visionneuse d'avoir deux fenêtres de visualisation, une pour le clip de performance sélectionné et une pour la séquence dans son ensemble. La chronologie de séquencement permet également d'ajouter de l'audio en tant que référence pour séquencer les clips de performance enregistrés, ainsi que d'ajouter de courts éléments audio aux points de transition d'édition.

La chronologie peut également prendre en charge l'édition basée sur des images clés pour toutes les propriétés d'objet attribuées, de sorte que celles-ci puissent être automatisées en temps réel, comme les applications d'animation graphique traditionnelles telles qu'After Effects ou Fusion de DaVinci Resolve.

Animations graphiques interactives et génératives

Optophonia a une intégration MIDI et OSC complète, vous permettant de jouer des animations graphiques comme un instrument de musique. Chaque propriété d'objet d'une composition peut être affectée à un contrôleur externe (boutons, curseurs, touches, boutons, pads, etc.) ou jouée dans l'application en tant qu'élément d'interface graphique.

Les propriétés et les objets peuvent également être transformés en nœuds dans l'écran Programme pour une programmation visuelle. Si vous préférez programmer via des scripts, nous intégrons un éditeur de scripts dans la palette Outils pour écrire du code C++.

Moulinet de conception

En étant basé sur Unreal Engine, Optophonia offre une liberté illimitée de créativité pour des visuels musicaux performatifs et programmables. Les courts clips de notre bobine de conception montrent combien de types d'actifs multimédias peuvent être utilisés dans l'application, notamment : l'art 2D, les modèles 3D, la vidéo, le son, les personnages truqués et les fichiers de mouvement tels que le mocap. De plus, l'application comprend un ensemble d'outils robustes pour modéliser une géométrie personnalisée, y compris des fonctions booléennes, de grille intelligente et d'alignement, ainsi que des plug-ins d'effets visuels.

Graphiques 3D dans les visuels de musique électronique

Nous avons créé une liste de lecture sur notre chaîne YouTube présentant des graphismes 3D dans des visuels de musique électronique de certains des meilleurs artistes et musiciens de l'espace pour votre inspiration.

Le rendu 3D en temps réel de haute qualité caractérise de plus en plus l'avenir de la culture visuelle de la musique électronique. L'esthétique visuelle évolue à mesure que le rendu 3D en temps réel haute résolution devient plus accessible par rapport à l'acquisition de packs de boucles vj de style traditionnel et de vidéo en direct basée sur une base de données En traitement. Les vidéos illustrent comment le rendu 3D transforme l'apparence des visuels de musique électronique.

En s'appuyant sur Unreal Engine, nous avons éliminé la courbe d'apprentissage abrupte d'un environnement de conception de jeux en ne présentant que les fonctionnalités de base nécessaires pour produire des visuels de performance pour la musique. Tout artiste qui a déjà utilisé un éditeur vidéo, une DAW musicale, un outil de programmation visuelle, une application de modélisation 3D ou un contrôleur matériel trouvera Optophonia comme un outil de créativité numérique très intuitif avec NFT direct et intégrations d'actifs.

Un guide de contenu complet pour le son et le design

Articles Liés

​​Comment ma startup a eu une rencontre avec le Pentagone : un rapport de la vallée de la mort

Comment construire un affichage de colocation audiovisuelle

Colocation Audiovisuelle | Présentation du colloque de recherche