@VJLoopZone

Le metafore chiave

I database nella video arte possono essere utilizzati in modo pratico o creativo. È quest'ultimo uso che è più interessante qui, ma vale la pena toccare prima il primo uso solo per toglierlo di mezzo e stabilire un contesto generale.

Si può pensare a un "database" in modi diversi. Può essere letteralmente un database, scritto in SQL o Excel, archiviato su un server di database e integrato in un'app, oppure può essere più un concetto metaforico e fare affidamento su metafore consolidate come la libreria, a seconda della situazione .

Nello screenshot qui sopra di Resolume (la linea di prodotti Arena/Avenue), nella parte superiore dell'interfaccia utente puoi vedere molte miniature di clip video che possono essere richiamate in uno scenario video interattivo. Dovremmo fare riferimento a quelle file di miniature come a una libreria o a un database di clip video?

In Resolume, le clip sono effettivamente organizzate in "Deck", che è anche un termine appropriato. È quindi possibile aggiungere una nuova metafora, basata sull'idea di un mazzo di carte o di un mazzo di diapositive - che memorizza una raccolta di carte o diapositive - e quindi il mazzo può funzionare come metafora organizzativa tanto quanto database o biblioteca .

Ciò che hanno tutti in comune è il principio del database di facile accesso o, in termini informatici generali, l'accesso casuale. Questo è chiaro dal manuale Resolume, nella sezione sulla terminologia:

Con il video lineare, una clip nel mezzo di un film non è così facile da accedere! Devi avanzare velocemente (quindi riavvolgere, avanzare velocemente, quindi riavvolgere) nella finestra di streaming per trovarlo. Oppure, con un video di YouTube, puoi fare clic sulla barra della sequenza temporale alla ricerca di un momento specifico. Ma, in generale, non è facile accedervi perché con il video lineare tutto è inserito nella stessa lunga sequenza e devi andare a caccia e fare clic per un momento specifico nel filmato.

La ricerca sull'uso creativo dei database nella videoarte e nel design può essere complicata, perché ci sono biblioteche letterali (che hanno anche database online) come la Video Data Bank (VDB), che cura, distribuisce e memorizza un archivio di videoarte - questo e altri tipi di database video, la maggior parte dei quali sono piuttosto tecnici, intasano i risultati della ricerca durante la ricerca di questo argomento.

VDB è un tipo di database video reale, fisico e istituzionalizzato: ha letteralmente stanze di scaffali e su quegli scaffali ci sono video proprio come i libri sugli scaffali di una biblioteca. Alcune parti di questi video sono state digitalizzate e sono disponibili online per la visualizzazione nel tipico paradigma di database multimediale basato sul web.

Un altro paradigma a cui VDB aderisce è l'idea di darti solo un estratto del video per la visione gratuita, dal momento che sono un distributore e hanno bisogno di guadagnare sui noleggi. Un tipico estratto dal loro database di video potrebbe essere The World is Mine di Ann Oren .

VDB può anche essere inteso come un archivio , che è una metafora correlata, vicina al concetto di biblioteca.

Una biblioteca è una collezione o un insieme di collezioni di libri, e/o altri materiali cartacei e non, organizzati e mantenuti per l'uso (lettura, consultazione, studio, ricerca, ecc.). Il termine si riferisce anche alla stanza, all'edificio o alla struttura che ospita tale collezione. Le biblioteche raccolgono e forniscono l'accesso ai materiali pubblicati al fine di diffondere informazioni, promuovere borse di studio e fornire intrattenimento.

Un archivio è una raccolta di documenti creati o ricevuti da una persona, una famiglia o un'organizzazione e conservati a causa del loro valore permanente. Il termine si riferisce anche al luogo o deposito che raccoglie questi record. Gli archivi raccolgono e forniscono l'accesso a materiali inediti al fine di preservare la memoria istituzionale e culturale e garantire la responsabilità del governo. ( fonte )

Una società di produzione video, un'etichetta discografica, uno studio cinematografico o una rete televisiva avrà enormi archivi di materiale da tutti i loro sforzi creativi passati. Ad esempio, un singolo documentario su The History Channel potrebbe coinvolgere alcune centinaia di nastri sorgente, che verranno archiviati da qualche parte e gestiti dallo staff dell'archivio video.

Questo supporto può essere analogico o digitale, ad esempio puoi avere un archivio di rullini da 16 mm o 35 mm archiviati in lattine, nastro beta digitale o analogico archiviato in custodie di plastica o file multimediali digitali archiviati interamente come 0 e 1 su server da qualche parte. Qui sto solo introducendo una serie di metafore concettuali correlate - database, libreria, mazzo e archivio - per catturare parte della fluidità di tecnologie, termini, pratiche e contesti che possono essere utilizzati nelle pratiche creative del video non lineare.

È la relazione con il video non lineare , ovviamente, che le varie metafore del database (userò principalmente questo termine, "database", se non altro perché è nel titolo di questo articolo : ) è di maggiore rilevanza. Con i video lineari, come uno show televisivo su Netflix o un film nelle sale, la funzione del database di solito entra in gioco solo per i montatori, che decidono quali fotogrammi specifici includere tra tutte le varie inquadrature e riprese nel filmati originali - e i bibliotecari e gli archivisti che tengono traccia dei supporti di origine, assicurandosi che siano ben conservati ed etichettati ecc.

In altre parole, con il video lineare, il database dei media non è realmente parte dell'esperienza del pubblico. Non è generalmente considerato parte del lavoro, anche se tutti sanno che la maggior parte del materiale nel video o nel film è finito "sul pavimento della sala di montaggio" e che c'erano molti filmati originali girati e così via.

Con i video interattivi e generativi, tuttavia, il database è davvero parte dell'esperienza. È visibile in qualche modo, non necessariamente visibile come nell'interfaccia utente di Resolume nell'immagine del banner qui sopra dove vedi ogni singolo clip tutto in una volta, ma l'esperienza fornita al pubblico suggerisce chiaramente che c'è un'ampia raccolta di clip video nella memoria del computer a cui si accede regolarmente per creare l'esperienza.

Un buon esempio di video interattivo che si basa sul suo database o mazzo di clip sarebbe una performance VJ che utilizza software come Resolume:

Un buon esempio di video generativo, abbastanza noto nei circoli accademici dei nuovi media, è Mission to Earth di Lev Manovich , un esempio di quello che lui chiamava cinema basato su software o "Soft Cinema". Il video generativo basato su database verrà riprodotto in modo diverso ogni volta perché, beh, se non lo facesse, sarebbe invece solo un video lineare!

Interattività e generatività

A volte questi termini non sono molto ben compresi - interattivi e generativi - ea volte sono persino usati in modo intercambiabile. La differenza tra loro merita una trattazione separata e completa, ma menzionerò solo alcune delle caratteristiche che li distinguono.

In primo luogo, ci sono dimensioni oggettive e soggettive in ogni concetto, interattive e generative . Questa differenziazione tra risposte psicologiche soggettive e caratteristiche del sistema oggettivo nella tecnologia stessa è comune nei nuovi media.

Una differenza parallela è con i termini presenza e immersione , anch'essi spesso usati in modo intercambiabile. I teorici a volte hanno sicuramente definizioni diverse di questi termini. Personalmente trovo che questa differenza sia la più utile:

La presenza descrive la sensazione psicologica di "esserci" in modo che il mondo dei media diventi ricco di esperienza quasi quanto il mondo reale di solito e assorba l'attenzione e l'attività nella stessa misura o in misura simile.

Immersion descrive le caratteristiche specifiche del sistema che consentono agli utenti di separarsi dal "mondo reale", ad esempio indossando un HMD e cuffie per sostituire le fonti dei loro input sensoriali.

Questo è un modo comune per distinguere questi termini, almeno nell'ambito della teoria dei nuovi media. Gli addetti al marketing, i giornalisti e i blogger, tuttavia, usano spesso questi termini senza alcun tipo di sottile distinzione come questa e inventano persino i propri significati a partire dai propri sentimenti viscerali o qualcosa che potrebbero aver sentito a una festa, chissà.

Oggettivamente, i media interattivi hanno inviti: caratteristiche fisico-spaziali che consentono di eseguire determinati tipi limitati di azioni. Soggettivamente, i media interattivi danno agli utenti un senso di agenzia, feedback e controllo perché gli utenti possono scegliere di cambiare l'output del sistema multimediale. Questa combinazione di scelta e convenienza consente a processi psicologici come la ricerca di obiettivi, la sfida e lo sviluppo di abilità di diventare parte dell'esperienza mediatica in cui gli utenti diventano anche coautori del contenuto.

Oggettivamente, i media generativi richiedono un input minimo da parte dell'utente: potrebbero non richiedere altro che la pressione di un pulsante virtuale, come l'attivazione di iTunes Visualizer, e quindi il media "fa le sue cose" dai propri processi procedurali e algoritmici interni. Soggettivamente, i media generativi non sono né rumore e caos fastidiosamente casuali, né ripetitivamente monotoni, ma trovano un certo "punto debole" nelle nostre aspettative estetiche. Fornisce un certo mix di novità e familiarità in modo da rimanere più coinvolti con esso, rispetto al rumore casuale e alla ripetizione ridondante.

La differenza tra interattivo e generativo può anche essere intesa come un rapporto tra input e output. Con i media interattivi, ci sono molti input dell'utente relativi ai possibili output, mentre con i media generativi l'input dell'utente è minimo rispetto all'output.

In realtà far volare un aereo è molto interattivo perché ci sono dozzine di pulsanti, quadranti, letture e controlli con cui interagire. Spingere il pilota automatico è molto generativo perché gli algoritmi fanno tutto il lavoro, ma richiedono almeno la pressione di un pulsante per essere attivati ​​o disattivati.

Ecco alcuni lavori generativi più brevi, perché forse non hai visto tutti i 47 minuti di Mission to Earth qui sopra e stai cercando qualcosa con un tocco un po' più audiovisivo contemporaneo (e meno ricerca accademica).

Estetica e poetica del database video

Quindi cosa rende un buon database video in un lavoro creativo? E come li fai? C'è qualcosa che può essere identificato come un approccio al database o la raccolta di clip è principalmente una questione pratica di creativi digitali che mantengono il loro materiale organizzato?

Nel caso in cui questi termini ti sembrino sinonimi o poco chiari - Estetica e Poetica - il primo termine si riferisce a come i media affrontano la percezione e l'esperienza, mentre il secondo termine si riferisce ai principi del fare. Pertanto, non sono termini che si escludono a vicenda, ma hanno aree chiare in cui saranno interconnessi, perché spesso hai un principio per fare qualcosa in un certo modo al fine di produrre un certo effetto percettivo, o viceversa: vuoi un effetto, e poi cercare i mezzi della sua realizzazione.

Un buon esempio di questa differenza tra Poetica ed Estetica è con la caratteristica "iconica" del campus principale della mia università di The Quadrangle.

Esteticamente - intendendo ciò che viene presentato alla percezione e all'esperienza - il design del Quadrilatero è incentrato sulle forme concrete brutaliste utopiche degli anni '60 e su tutto ciò che dovrebbe evocare.

A livello della sua poetica , invece, è qualcosa che in realtà non vedresti mai ma fa parte della sua ragion d'essere. Questo design dovrebbe simboleggiare e incoraggiare praticamente gli ideali di interdisciplinarietà , perché tutti i professori nei loro uffici possono letteralmente guardare fuori dalle loro finestre le finestre degli uffici dei professori di altri dipartimenti.

Abbiamo visto un tipo di database video sopra nell'interfaccia utente di Resolume. Eccone un altro, dall'ambiente di programmazione Max. Il "momento" del database nella patch è il Readmessaggio. È lì che dovremo cercare qualche video particolare da caricare in modo interattivo.

Esistono molti modi per creare un semplice database in Max. Ad esempio, è possibile caricare una raccolta di clip video in un oggetto popup umenue quindi attivarne la riproduzione in base alla posizione dell'indice nell'elenco del menu. La riproduzione di un file video tramite la posizione dell'indice può essere interattiva o generativa, ad esempio la posizione dell'indice può essere eseguita manualmente o secondo una logica di programma.

Quindi, questo copre rapidamente due approcci generali alla creazione di database video interattivi e generativi. Ovviamente l'approccio esatto dipenderà dal set di strumenti utilizzato e da quel set di strumenti, quali strumenti all'interno del set di strumenti sono disponibili per adattarsi alle tue esigenze.

Oltre alla differenza interattiva/generativa, un altro insieme generale di differenza categoriale che entra in gioco nell'organizzazione del database, al più alto livello di astrazione possibile (dato che ha un pedigree millenario) è la differenza Forma vs. Contenuto. La forma riguarda gli aspetti percettivi e materiali dei media (come vengono presentati) e il contenuto si riferisce al suo significato e alla sua interpretazione (di cosa si tratta).

Forma e contenuto

L'arte è una combinazione di forma e contenuto.
La forma è la manifestazione fisica dell'opera d'arte. Risponde a questo tipo di domande:

di cosa è fatto (il mezzo )?
quali tecniche vengono utilizzate?
come sono stati utilizzati gli elementi e i principi del design ?
qual è lo stile (astratto, impressionistico, ecc.)?

Il contenuto è l'essenza dell'opera d'arte. Risponde a questo tipo di domande:

qual è il soggetto /tema?
qual è il contesto ?
qual è il significato /intenzione?
perché è stata creata questa opera d'arte? ( fonte )

Nelle arti visive esiste anche una distinzione triadica tra immagini rappresentative, astratte e non oggettive (o non rappresentative) che può essere utilizzata anche come principio organizzativo. Questo tipo di distinzione è per molti versi una reiterazione della differenza di Forma e Contenuto, ma dove c'è un terzo termine, Astratto, che comporta un'ibridazione dei due.

La pittura, la scultura e altre forme d'arte possono essere suddivise nelle categorie di arte rappresentativa (a volte chiamata anche arte figurativa sebbene non contenga sempre figure), arte astratta e non rappresentativa . L'arte rappresentativa descrive opere d'arte, in particolare dipinti e sculture, che derivano chiaramente da fonti di oggetti reali, e quindi rappresentano per definizione qualcosa con forti riferimenti visivi al mondo reale. La maggior parte, ma non tutta, l'arte astratta si basa su immagini del mondo reale. La forma più "estrema" di arte astratta non è collegata al mondo visibile ed è nota come non rappresentativa.

L'arte rappresentativa o l'arte figurativa rappresenta oggetti o eventi nel mondo reale, solitamente facilmente riconoscibili. Ad esempio, un dipinto di un gatto assomiglia molto a un gatto: è abbastanza ovvio ciò che l'artista sta raffigurando.

Il romanticismo , l'impressionismo e l'espressionismo hanno contribuito all'emergere dell'arte astratta nel diciannovesimo secolo quando gli artisti sono diventati meno interessati a rappresentare le cose esattamente come esistono realmente. L'arte astratta esiste su un continuum, da un'opera in qualche modo rappresentativa, a un'opera così lontana dal suo aspetto reale nel mondo reale che è quasi impossibile discernere facilmente ciò che viene rappresentato. L'arte astratta è sempre collegata a qualcosa di visivo dal mondo reale.

Il lavoro che non raffigura nulla del mondo reale (figure, paesaggi, animali, ecc.) è chiamato non rappresentativo . L'arte non rappresentativa può semplicemente raffigurare forme, colori, linee, ecc., ma può anche esprimere cose che non sono visibili, ad esempio emozioni o sentimenti.

L'astrazione indica un allontanamento dalla realtà nella rappresentazione delle immagini nell'arte. L'astrazione esiste lungo un continuum; l'arte astratta può riferirsi formalmente a composizioni derivate (o astratte) da una fonte figurativa o altra fonte naturale. (Alcune persone usano questo termine anche per riferirsi all'arte non rappresentativa (non oggettiva) che non ha derivazione da figure o oggetti. Tuttavia, in questa classe non usiamo il termine astratto come questo .) Picasso è un noto artista che ha usato astrazione in molti dei suoi dipinti e sculture: le figure sono spesso semplificate, distorte, esagerate o geometriche. ( fonte )

Quindi questi sono alcuni modi di livello molto alto o "dall'alto verso il basso" in cui potresti organizzare un database. I modi di livello inferiore o "dal basso verso l'alto" per organizzare un database svilupperebbero le sue categorie direttamente dal suo materiale di partenza. Ad esempio, se stai girando un video interattivo basato su una sceneggiatura, potresti sviluppare categorie ed etichette di database come:

Caffè/
Caffè notturno/Camera da letto diurna / Stazione ferroviaria
mattutina / Parco pomeridiano/ Scena di combattimento serale Scena di salvataggio

Oppure potresti utilizzare i livelli di complessità come strumento organizzativo:

Complesso
intermedio semplice

Oppure colore:

Scala di grigi
Monocromatico
Rosso
Blu ecc.

Temi e motivi potrebbero essere appropriati:

Triste
Eccitato
Festa
Morte
In disparte
Vittorioso
Spiagge
Città
Pianeti
Halloween/Horror
Tecnologia ecc.

Puoi guardare le raccolte online di media basati su loop video per avere qualche idea su come potrebbero essere organizzate le logiche del database video.

Nuove frontiere per i database

L'ultimo sviluppo di database per le immagini in movimento ha a che fare con i metodi di Machine Learning (ML), che sono troppo avanzati per lo scopo introduttivo di questo saggio. ML è un ramo dell'IA in cui gli algoritmi vengono "addestrati" su un corpus di esempi, che in questo caso sarebbero esempi di altri media.

Dovremo aggiungere 'corpus' alla nostra lista di metafore guida, quindi ora abbiamo: database, library, archive, deck e corpus . Corpus significa 'raccolta di testi' e un 'testo' può essere qualsiasi cosa, anche file video, tanto più che nel regno digitale tutto è comunque costituito da file composti da 0 e 1.

Con le tecniche automatizzate di machine learning, è possibile utilizzare un corpus (ad es. database, ecc.) di clip video per produrre comportamenti computazionali automatizzati. Un buon esempio di ML applicato nel campo delle immagini multimediali è il sito web thispersondoesnotexist.com che, ad ogni aggiornamento del browser, genererà un volto umano nuovo e totalmente artificiale ma fotorealistico. L'algoritmo è stato addestrato su un database di migliaia di volti, che gli ha insegnato come dovrebbe essere un volto fotografico digitale.

Le tecniche di ML e AI generalmente allontanano il database dalla percezione e dall'esperienza degli spettatori, in modo simile a come il video lineare non mostra tutte le clip nell'editor video non lineare o nel caveau dell'archivio. Ciò significa che i video interattivi e generativi possono essere completamente prodotti da una logica di database, ma i meccanismi possono rimanere completamente nascosti agli spettatori.

Ciò produce nuove possibilità per il video computazionale in tempo reale. Immagina un'installazione aeroportuale in cui la tecnologia di visione artificiale scansiona i passanti e li analizza alla ricerca di informazioni relative a un numero qualsiasi di variabili predeterminate, come: etnia, probabile paese di origine, classe socio-economica, livello di istruzione, tipo di occupazione, genere, moda e sensibilità culturale ecc. e poi produce video clip 'personalizzati' che si riferiscono a ciascuna persona mentre passa davanti all'installazione video in aeroporto.

Questo tipo di esempio forse farà sembrare il database video qui sotto troppo primitivo!

Database come obiettivo

Questa sezione finale fornisce esempi di opere video che coinvolgono una sorta di database (o biblioteca, archivio, mazzo...) come fattore logico esperienziale e progettuale. Quando visualizzi tali opere, sia che ti imbatti in loro IRL o attraverso il mezzo di video online, puoi pensare agli aspetti di selezione, organizzazione e presentazione della raccolta di clip come una specifica caratteristica del design da comprendere e interpretare.

Le opere video basate su database ti invitano non solo a guardare ogni singola immagine nel suo fotogramma solista, ma anche a considerare i raggruppamenti e le interrelazioni tra i fotogrammi, sia che si dispieghino spazialmente - ad esempio schermo accanto a schermo - temporalmente - video dopo video - o lungo entrambi gli assi.

Una guida completa ai contenuti di suono e design

articoli Correlati

Metodi di analisi del montaggio

Nuovi sistemi di comunicazione creativa: un'indagine transdisciplinare

Presentazione di Optophonia: un ambiente di grafica animata in tempo reale per prestazioni visive, NFT e oltre

Realizzare video musicali con i filmati del motore di gioco: alcune considerazioni estetiche

Loop VJ! Medium, Estetica & Emergenza

Collocazione audiovisiva | Presentazione del colloquio di ricerca

Dieci strategie per produrre video musicali senza budget

Batti gli effetti visivi reattivi in ​​FL Studio con ZGameEditor Visualizer | Iniziare

Video Interattivi e Generativi | Come ci guadagni?

Suono/Immagine

Suono per film | Pubblicato in A Companion Guide to Rooftop Films, autunno 2002 №2