Un guide de contenu complet pour le son et le design

MF : Félicitations pour votre nouveau livre, Composer l'audiovisuel Regards sur les pratiques et les relations audiovisuelles . Pourriez-vous donner un résumé succinct de ce dont il s'agit, juste comme une introduction rapide pour les lecteurs ?

LH : Le livre parle de ce que signifie composer dans le domaine audiovisuel — alors comment abordons-nous la composition en pensant simultanément au son et à l'image ? Comment développons-nous un langage autour de ce processus ? Comment l'enseigne-t-on ? Et, surtout, comment comprenons-nous et discutons-nous de nos réactions aux œuvres audiovisuelles en tant que spectateurs ? Que faisons-nous réellement lorsque nous rencontrons une œuvre audiovisuelle ?

MF : Selon vous, quels sont les principaux lieux de diffusion et de réception des compositions audiovisuelles dont vous parlez dans le livre ?

LH : C'est délicat, et cela dépend beaucoup du travail dont il est question ! Beaucoup sont basés sur des écrans, ils pourraient donc être (et sont !) Partout où vous pouvez y accéder sur des écrans. D'autres nécessitent des performances de concert - comme les Études d' Hitchcock de Nicole Lizee - ou de grands formats de lecture multicanal - comme Open Air de Grayson Cooke - ou une réalisation spécifique au site, comme Pebbles de Michele Spanghero ou Cinechine de Mariska de Groot .. Je soutiens que chacune de ces œuvres sont des compositions audiovisuelles - elles représentent chacune un processus de composition qui s'intéresse à la fois à ce que nous voyons et à ce que nous entendons comme étant d'égale importance perceptuelle - mais le format dans lequel elles existent est très diversifié et souvent distinct du travail individuel. Je suppose que c'est l'une des choses que je défends dans le livre - que la composition audiovisuelle est souvent plus une question de processus et d'approche que de format de lecture.

MF : Cette prochaine question peut sembler un peu pédante, mais je la pose quand même car son intention est surtout pratique. Les archives académiques sont un vaste espace de données. Quels seraient les termes de recherche clés que quelqu'un pourrait utiliser pour trouver la littérature la plus pertinente liée à ce que vous décrivez comme composition audiovisuelle ? Même pour les non-universitaires, tout le monde peut accéder à Google Scholar ou Researchgate, et savoir exactement ce qu'il faut rechercher parmi les millions de sources peut être un défi, pour quiconque souhaite élargir sa base de connaissances.

LH : J'encourage souvent mes élèves à commencer par la musique visuelle, car c'est un bon point de départ pour réfléchir aux rapports son/image à armes égales. C'est aussi un terme/domaine assez établi maintenant avec un corpus de littérature pertinente en développement, mais qui ne définit encore vraiment qu'un ensemble d'approches assez spécifiques. Une grande partie du travail audiovisuel dont je parle dans le livre provient des traditions intermédia ou fluxus, c'est donc un autre début utile, ou du cinéma élargi. Je pense que le terme « composition audiovisuelle » commence également à avoir plus d'actualité, et il existe maintenant des ressources pertinentes sous cette rubrique.

MF : Quels sont les principaux outils et technologies que vous voyez utilisés dans les cours universitaires qui enseignent les compétences et les connaissances en composition audiovisuelle ? Et sont-ils les mêmes ou différents pour les praticiens professionnels ?

LH : Cela dépend souvent de l'universitaire qui dirige le programme :) mais souvent max, processing, touchdesigner (de plus en plus), adobe creative cloud, reaper, logic, ableton… Je pense qu'il y a un certain chevauchement avec la pratique professionnelle mais également dans mon université par exemple nous essayons d'utiliser des outils open source ou des outils plus abordables pour les étudiants au lieu d'opter pour les outils standard de l'industrie. Souvent, le flux de travail et les compétences de base sont identiques/similaires, vous enseignez donc toujours les compétences applicables, mais pas nécessairement dans les mêmes programmes.

MF: Je dois admettre que je suis souvent déçu par la conception visuelle de nombreux traitements vidéo en direct qui peuvent souvent accompagner des orchestres d'ordinateurs portables, des performances de contrôleurs MIDI, etc. La raison de cette expérience décevante est que j'ai l'impression qu'il y a souvent trop peu de sens de la culture visuelle ou l'éducation derrière ces visuels qui se ressemblent souvent, car vous obtenez beaucoup d'effets de "variation d'une forme" où il ne s'agit que d'une simple forme géométrique ou d'un gribouillis jouant au hasard des changements de valeurs paramétriques. Il semble y avoir un manque de connaissance des arts visuels en général qui serait utile pour rendre ces visuels plus attrayants, puisque l'expertise principale se situe généralement du côté de la programmation audio. Quel type de cursus envisagez-vous pour faire des composants audio et visuels de certains de ces formats de présentation populaires une expérience plus complète ou holistique ? Ou allons-nous toujours faire face aux résistances de jeunes étudiants qui pensent que les vieux trucs expérimentaux ne sont pas pertinents, parce que c'est vieux, et qu'ils n'ont donc pas besoin d'histoire de l'art ?

LH : Ici, je me souviens de Jeff Goldblum dans Jurassic Park — « Ouais, mais vos scientifiques étaient tellement préoccupés de savoir s'ils pouvaient ou non , ils ne se sont pas demandé s'ils devaient ». Je connais exactement le genre de performances décevantes dont vous parlez, et plutôt qu'un manque de connaissances, de familiarité, d'expérience avec les arts visuels et le vocabulaire, etc., le plus souvent, je pense qu'elles résultent simplement de la pensée "oh, ajoutons quelques visuels ' plutôt que de penser à quoi servent ces visuels — pourquoiils sont là, ce qu'ils font dans le travail et comment ils se rapportent aux matériaux sonores, en particulier si les travaux ont commencé en tant qu'audio uniquement. C'est quelque chose dont je passe beaucoup de temps à parler à mes étudiants - comment la forme, la forme, la structure, le mouvement, la couleur, le timbre du son et de l'image sont-ils liés les uns aux autres ? Quelle est la relation réelle que vous articulez? Il existe de nombreux systèmes de visualisation qui peuvent transformer l'audio en systèmes de particules dansantes ou en formes géométriques, mais à moins que vous n'ayez réfléchi à la raison pour laquelle un son a une certaine apparence, et vice versa, vous êtes perdu. C'est le fondement de ce que je décris dans le livre comme une pensée audiovisuelle - voir les deux comme faisant partie d'un artefact créatif interconnecté, et non comme des entités perceptuelles distinctes.

MF : Il y a beaucoup de pression sur les unités d'enseignement supérieur ces jours-ci pour encadrer leurs cours et programmes en termes de compétences « pertinentes pour l'emploi », par exemple dans ce cas, peut-être quelque chose comme « technologies créatives » et ainsi de suite. Avez-vous trouvé difficile d'enseigner la composition audiovisuelle dans un contexte académique, ou le climat est-il plus accueillant, ou devez-vous parfois présenter ce matériel sous forme de «mouvements graphiques» à des administrateurs qui peuvent comprendre les compétences de manière plus simplifiée?

LH : En fait, ça a été ok — la principale chose que je dirige à l'UofG est notre MSc en conception sonore et pratiques audiovisuelles, donc la composante audiovisuelle est là dans le nom. Je pense que nous essayons d'être très clairs sur ce que nous faisons - et en fait sur ce que nous ne faisons pas - et ce qui distingue le programme, c'est qu'il enseigne des compétences pertinentes pour l'emploi d'une manière qui encourage l'exploration et l'expérimentation créatives. Dans le livre, je parle un peu des attentes que les étudiants ont souvent en entrant dans le module de composition audiovisuelle, mais nous les abordons spécifiquement et passons du temps à discuter de ce que signifie réellement la composition audiovisuelle et de son lien avec leur pratique plus large. Je suis donc assez chanceux à cet égard.

MF : Que pensez-vous des relations entre le son et l'image qui peuvent être informées par des sources ou des esthétiques non occidentales ? Je pense que dans ce monde globalisé qui est le nôtre, il est essentiel de prendre des mesures en dehors du canon ou de la tradition occidentale, mais quand vous le ferez, vous serez probablement un novice total ou un amateur à ce sujet. Par exemple, j'ai assigné une lecture à des étudiants en design sonore, " Aesthetic Suggestiveness in Chinese Thought: A Symphony of Metaphysics and Aesthetics”, en tant qu'instructeur n'ayant pratiquement aucune formation académique en art ou en philosophie chinois. Pourtant, je pense qu'il faut 'essayer' une sorte d'engagement interculturel, car l'alternative est le non-engagement, ce qui semble irresponsable alors que le corps étudiant est si diversifié aujourd'hui (par exemple, mes cours à Vancouver coûtent en moyenne 2/3 étudiants d'Asie de l'Est).

LH: Tout d'abord - cela ressemble à un article vraiment fascinant, alors merci de m'avoir indiqué. Je pense que vous avez tout à fait raison, et je me bats avec les meilleures façons de procéder pour être honnête - dans le livre, j'ai essayé de m'engager avec des artistes dont l'héritage n'est pas purement dans la tradition occidentale, mais c'est délicat (cas d'espèce - les artistes ont été choisis à partir des réponses au questionnaire, le questionnaire a d'abord été diffusé à mon réseau professionnel immédiat, puis envoyé plus loin, mais je soupçonne que la majorité des répondants étaient occidentaux). Je suppose que tout ce que nous pouvons faire, c'est essayer - et reconnaître notre naïveté et notre manque de contexte plus large. Particulièrement avec mes étudiants internationaux, je les encourage toujours à apporter leur propre culture et héritage dans ce qu'ils font,

MF: Pensez-vous que la recherche dans ce domaine est entravée par la nature liée au texte des livres et des revues ? Je ne peux pas dire que je vois beaucoup d'intérêt pour les publications de recherche qui sont vraiment riches en médias, puisque les exigences académiques en envoient généralement une aux revues qui publient généralement des PDF derrière des murs payants. Même les revues open source formatent les articles au format PDF ou HTML avec un contenu multimédia minimal. Il peut y avoir un lien ou quelques-uns dans un article sur lequel on peut cliquer dans la section Notes, mais j'ai toujours trouvé que c'était un obstacle qu'on ne peut pas écrire au milieu d'un contenu multimédia riche, par exemple des vidéos Vimeo intégrées ou des liens Soundcloud, ou même des images en couleur, etc. (c'est évidemment beaucoup de ce que je fais avec ce blog !). Devrait-il y avoir un mouvement académique « riche en médias » qui vise à utiliser toutes les possibilités du Web pour une approche moins logocentrée de la recherche-création médiatique ?

LH : bref, oui ! J'ai eu du mal avec cela avec le livre, mais comme vous le dites, c'est le système dans lequel nous travaillons. Le catalogue de recherche fait des choses intéressantes ici, mais c'est délicat. Je suis très ouvert aux suggestions à ce sujet, et c'est quelque chose dont j'ai discuté avec les étudiants (en particulier les doctorants poursuivant un travail basé sur la pratique qui ont du mal à adapter ce qu'ils font aux formats d'impression traditionnels). Je pense que cela viendra – et des mesures sont prises dans cette direction.

MF : Aujourd'hui, avec tout l'engouement pour la NFT et les plateformes de diffusion d'art comme Loupe Art, il y a eu une sorte de revitalisation de l'art basé sur le mouvement, ce que certains conservateurs appellent des "peintures en mouvement" qui bouclent un visuel en mouvement sur de courtes durées. Les crypto-investisseurs et les spéculateurs ont fait de l'art numérique une denrée rare. Avez-vous vu des étudiants intéressés par ces développements ? Avez-vous pensé à des compositions audiovisuelles courtes en boucle qui pourraient fonctionner dans ces nouveaux contextes de présentation d'art numérique en ligne ?

LH : Nos étudiants sont certainement intéressés, oui, mais plus d'un point de vue conceptuel que de s'engager réellement avec ces formes en tant que processus artistique. Cela semble un peu tangentiel à ce que nous faisons, pour être honnête, donc je n'y ai pas trop réfléchi (mais j'en aurai sans doute besoin dans les années à venir !). Je dirige un petit laboratoire de recherche à l'université appelé Digital Departures Lab avec Tim Barker (chercheur en cinéma) et Sarah Cook (conservatrice) et c'est quelque chose qui commence à émerger comme thème de recherche pour nous - bien que, pour être honnête, cela ressemble aussi à tout dans ce domaine évolue trop rapidement pour que le milieu universitaire puisse suivre.

MF : Pourriez-vous fournir un résumé succinct de « l'attention transperceptuelle » pour les lecteurs ? C'est un concept central de votre livre.

LH :

La façon dont je décompose le terme dans le livre, et mes raisons de le faire, sont les suivantes :

'Trans' - comme préfixe, signifiant à travers, au-delà ou à travers

'Perceptuel' - c'est-à-dire la capacité de percevoir, de prendre conscience ou d'interpréter à travers les sens

'Attention - c'est-à-dire l'acte ou le pouvoir de réfléchir attentivement, d'écouter ou de regarder quelqu'un ou quelque chose : avis, intérêt ou prise de conscience

La rencontre avec des œuvres audiovisuelles n'est pas la même expérience perceptive que l'écoute d'une œuvre sonore ou la visualisation d'une œuvre visuelle, mais plutôt une expérience transperceptive, enracinée dans ses deux modes sensoriels individuels tout en se déplaçant à travers, au-delà et/ou à travers les espaces entre ces modes et les effets que ces modes ont les uns sur les autres. En utilisant le terme attention pour décrire cette forme d'engagement, j'essaie délibérément d'éviter des termes tels que « regarder » ou « écouter », si chargés d'idées préconçues que les expériences sensorielles, et j'essaie de trouver un terme qui peut parler à des personnes actives. engagement dans plus d'un mode perceptif.

Mais vous avez demandé une version succincte ! Je suppose donc que l'attention transperceptive est l'acte d'assister à une expérience qui se déplace à travers et entre les modes perceptifs (dans ce cas, rencontrer une œuvre audiovisuelle) mais aussi d'assister à l'attention à cette expérience, ce qui en fait un acte aperceptif - en considérant non seulement le l'expérience elle-même mais les choses que nous apportons dans cette expérience qui infléchissent sur la façon dont nous la rencontrons.

MF : Une grande partie de votre discussion sur la composition se concentre sur ce que l'on appelle souvent les éléments « formels » (par exemple la ligne, la forme, la couleur, etc.) dans les arts visuels. Ces éléments, au niveau de compositions entières, sont également appelés « non objectifs » par rapport à son contraire, « représentation », et la catégorie intermédiaire « abstrait » (sujet reconnaissable mais hautement formalisé). Pourriez-vous résumer vos idées sur le son et l'image figuratifs (ou mimétiques, voire sémiotiques) en relation avec la composition audiovisuelle ?

LH : Je pense que pour moi, dans ma propre pratique du moins, cela a changé avec le temps. Quand j'ai commencé à faire des œuvres audiovisuelles, j'ai délibérément évité tout ce qui était ouvertement figuratif - je me souviens d'avoir fait une version 3D d'une pièce construite autour de simples cercles, et une fois que c'était en 3D, j'ai commencé à les voir comme des bulles, ou des billes, ou même des baies, et ça a complètement changé ma façon d'appréhender la relation audiovisuelle. Au fil du temps, cependant, je pense que je me suis un peu éloigné de cela et que j'ai été moins préoccupé par la façon dont les aspects figuratifs / abstraits / mimétiques des matériaux audio ou visuels sont et plus préoccupés par la manière dont ils construisent le sens dans leur combinaison — ce qui, je pense, est l'objet de l'attention transperceptuelle, car elle s'intéresse à la création de sens individuel, non pas à travers des matériaux mais à travers l'interprétation.

MF : Avez-vous des œuvres audiovisuelles en ligne que je peux intégrer ci-dessous, pour donner aux lecteurs un accès plus direct à vos œuvres ?

LH :

Articles Liés

son pour les images animées : les quatre zones sonores | une entrevue avec Neil Hillman

Entretien avec le fondateur de Sinevibes, Artemiy Pavlov

Entretien avec Graham Yeadon de GVST Plugins

Entretien avec Melda Production

Entretien avec Steve Duda de Xfer Records

États altérés de conscience dans la musique électronique et les médias audiovisuels

Une entrevue avec le Dr Jonathan Weinel

Son & Image | Entrevue avec le Dr Andrew Knight-Hill

Conception de livre audio : une entrevue avec le Dr Emma Rodero