Um exame das agências de mudança na produção fotográfica na era do aprendizado de máquina e da inteligência artificial.

Fotografia antes e agora

A fotografia nos permitiu capturar e representar nossa imaginação - da documentação científica à arte. As fotografias são provavelmente as representações mais próximas do que vemos fisicamente, portanto, por natureza, elas se tornam evidenciais - uma fatia objetiva do tempo e do espaço representados. Antes da fotografia, as pinturas eram responsabilizadas por uma intervenção da mão humana e, portanto, sua natureza probatória sempre foi questionável. A fotografia, por outro lado, escapa um pouco da mão humana. Além de um certo ponto [assunto, enquadramento, cenário etc.], ele entra em um processo puramente industrial de prender a luz em um substrato. Assim, todas as representações fotográficas contêm em si uma objetividade do meio, e as imaginações estão ligadas a uma referencialidade crível.

No entanto, essa objetividade do meio sempre foi jogada de várias maneiras. Na era pré-digital, técnicas como dupla exposição , aerografia , combinação de impressão etc. eram usadas para manipular e alterar fotografias. As técnicas de manipulação eram complexas, árduas e exigiam perícia para criar uma imagem perfeita. A ascensão da imagem digital nos deu a liberdade de brincar com a informação digital de muitas outras maneiras. As fotografias digitais, por sua natureza inerente, podem ser remodeladas mais facilmente por meio de manipulações de pixels. Eles estendem nossa imaginação para além da representação justa da realidade, mas ao mesmo tempo mantêm um senso de referencialidade crível, pois são fotografias.

Hoje, vivemos em um mundo de fotografias digitais adulteradas, onde o desejo de representar de perto a imaginação sobrevive às questões sobre autenticidade, verdade e relações entre a imagem fotográfica e seu objeto real representado.

Seção I — A imaginação é mais {foto}real

As câmeras selfie de hoje acabaram com a velha busca pela Fonte da Juventude . Ele é incorporado ao embelezamento facial antienvelhecimento por meio de algoritmos de suavização de pele que trazem de volta o eu jovem até certo ponto . Além de apenas voltar no tempo, o desejo de conhecer o futuro deu origem a vários aplicativos de mídia social que permitem ver seu eu futuro usando algoritmos antigos. Embora a representação seja uma aproximação estimada de nosso eu mais jovem ou futuro, seu fotorrealismo substitui sua autenticidade. Pode-se não apenas realizar seu desejo de ser jovem ou velho, mas também armazenar essa imaginação de si mesmos como uma fotografia digital.

Da mesma forma, a ideia de metamorfose ou a imaginação de ser alguém/alguma outra coisa tem sido parte integrante do folclore, mitos e literatura em todo o mundo desde tempos imemoriais. Os lobisomens e vampiros de antigamente foram substituídos por filtros para cães e gatos . Esses filtros parecem inofensivos e fofos até que pensamos em adicionar mais uma camada tecnológica a eles. Ao integrar os mesmos filtros com aprendizado de máquina e mecanismos de inteligência artificial, é possível criar falsificações profundas que substituem pessoas sinteticamente em imagens e vídeos existentes para criar conteúdo potencialmente enganoso. Nunca foi tão fácil imaginar-se como algo ou outra pessoa e produzir uma prova fotorrealista do mesmo.

Embora incipientes, esses exemplos ilustram que há uma mudança de agência na produção cultural. Hoje qualquer um pode se retratar como alguém ou alguma outra coisa ou ter acesso à sua própria Fonte da Juventude . As imaginações não se restringem às potências do conhecimento responsáveis ​​pelas produções culturais, mas são mais equitativas e descentralizadas. As atuais tecnologias de imagem possibilitaram ao homem comum representar sua imaginação mantendo uma referencialidade crível.

Mas será que essas imagens fotográficas realistas realmente representam nossa imaginação?

Seção II — A imaginação do programador

A câmera digital, em essência, é uma combinação de uma câmera analógica e um computador bastante avançado. A luz é capturada em um sensor em vez de filme e, em seguida, os valores do sensor são processados ​​pelo computador para renderizar uma imagem digital. Existem vários algoritmos em jogo enquanto os dados brutos do sensor são renderizados como uma imagem. É aqui que se torna interessante pensar nos criadores desses algoritmos e como eles veem o mundo.

Seja uma câmera ou um computador, uma caixa preta é um dispositivo com uma entrada e uma saída. Se você inserir dados em uma caixa preta, eles serão exibidos como informações. Significativamente, o tipo de informação que a caixa-preta emite depende, não do tipo de dados que está sendo alimentado, mas do tipo de processamento invisível que está ocorrendo dentro dela. No caso da câmera digital, por exemplo, é uma decisão totalmente arbitrária que os dados colocados na câmera sejam produzidos como uma imagem que tenha uma semelhança visual com o objeto na frente da lente. O que a câmera produz é determinado, não pelo objeto que está sendo fotografado, mas pelos autores do código que instrui os algoritmos sobre como processar os dados de entrada. [1]

Enquanto a corrida de megapixels continua a promover o hardware das câmeras, houve melhorias significativas em suas capacidades por meio do uso de processamento de imagem e fotografia computacional . O processamento de imagem adiciona muito mais caixas-pretas algorítmicas dentro do aparato da câmera e cada um desses algoritmos traz a imaginação dos autores daquele código específico para a saída/imagem. Como o primeiro filme colorido que trouxe preconceito racial ao renderizar uma pessoa de cor sem muitos detalhes, exceto o branco de seus olhos e dentes, os sensores fotográficos digitais trazem os preconceitos dos programadores do código para a representação fotográfica por meio de algoritmos. Por exemplo, a configuração de balanço de branco “Vivid” é diferente para diferentes fabricantes de câmeras digitais, o que indica que os programadores do código veem o filme Vivid da Kodak de maneira diferente. Da mesma forma, se pensarmos na câmera selfie com seus algoritmos de suavização e suavização de pele, a ideia de ser jovem provavelmente é representada pelos olhos dos programadores e sua compreensão de ser jovem e os algoritmos de mudança de forma são limitados pelo imaginação dos programadores desses filtros.

Seção III – Nas imaginações das máquinas – uma classificação

No mundo da computação, às vezes fica muito difícil para os programadores programar todos os ifs e elses para produzir uma simulação precisa do mundo real. A precisão dos algoritmos é aprimorada usando algoritmos que passam por condições variadas e conjuntos de dados maiores. Esses algoritmos treinam máquinas por meio de muitos dados para que desenvolvam certa inteligência para gerar simulações precisas do mundo real. Mesmo na fotografia, muita inteligência de máquina está sendo treinadaem torno da ideia da imagem - o que é uma boa fotografia, o que é uma boa iluminação, o que é um bom retrato, o que é um bom céu etc. etc. Esses sistemas inteligentes tomam muitas decisões em nome de seus mestres para criar imagens tecnicamente competentes. As redes neurais, enquanto pressionamos o botão para capturar uma imagem, adicionam camadas algorítmicas de sua imaginação. Conscientemente ou não, entramos no reino da imaginação das máquinas onde, além da imaginação dos autores do código, a imaginação das máquinas também está entrando nas fotografias.

“A IA está em toda parte. Não é uma coisa grande e assustadora no futuro. A IA está aqui conosco.” Fei Fei Li

Para entender até que ponto as IAs estão sendo integradas na produção fotográfica, precisamos analisá-las mais profundamente e entender onde e em que estágio elas estão. Vamos assumir a seguinte classificação para mergulhar profundamente no escopo da criação de imagens por IA e suas implicações.

Imaginações de máquinas de Classe I - máquinas que têm IA de escopo restrito e podem executar uma tarefa específica de forma autônoma. Essas máquinas não podem fazer muito além do que foram programadas para fazer e, portanto, têm uma gama muito limitada ou estreita de competências. Essas imaginações tendem a criar uma imagem tecnicamente superior.

A maioria das imaginações de máquinas de classe I são treinadas para realizar tarefas muito específicas. Essas imaginações funcionam como recursos auxiliares para mitigar processos tediosos que requerem inteligência limitada (equilíbrio e correções de cores, equilíbrio de luz em realces/sombras, seleção da melhor fotografia entre uma sequência de fotografias, etc.). Por exemplo, o modo de pouca luz mescla até 10 imagens para amplificar a luz e, em seguida, eliminar o ruído da imagem. O modo High Dynamic Range (HDR), que está ativado por padrão, pode mesclar até 20 quadros de entrada para recuperar os destaques e sombras de uma cena. Da mesma forma, o modo retrato das câmeras permite criar um efeito de profundidade de campo fictício/inexistente, onde o assunto fica em foco e o restante do fundo fica desfocado, onde a máquina cria uma simulação de uma realidade que imita um desfoque de lente real.

Além dos aprimoramentos técnicos, as câmeras alimentadas por redes neurais assumiram o controle do Momento Decisivo ; hoje é a câmera que decide qual fotografia melhor representa seu assunto a partir de uma sequência de fotos. Outra técnica chamada Image Inpainting usa inteligência de máquina para criar conteúdos alternativos para a reconstrução das partes ausentes ou deterioradas de uma imagem. É assim que os aplicativos de câmera nos permitem capturar mais detalhes programaticamente aumentando a resolução e adicionando informações para gerar imagens de até 32 megapixels a partir de um sensor de 12 megapixels. Tecnologia semelhante é usada na reconstrução facial forense, onde é possível reconstruir rostos de nossos ancestraispara retratá-los e imaginá-los como indivíduos em vez de espécimes.

Imaginações de máquinas de classe II — máquinas que podem alterar a representação e, portanto, as memórias. Essas máquinas seriam capazes de entender melhor as entidades com as quais interagem, discernindo suas necessidades, emoções, crenças e processos de pensamento. Eles seriam capazes de entender o contexto e gerar representações que manipulam narrativas para criar memórias e lembranças.

A arte gerada por IA existe desde a década de 1950 , mas agora também existem AIs geradoras de imagens que podem gerar retratos e paisagens fotorrealistas que não existem. Essas IAs geradoras de imagens usam General Adversarial Networks (GAN) , onde duas redes neurais são colocadas uma contra a outra para gerar novas instâncias sintéticas de dados que podem passar por dados reais. As imaginações de máquinas de Classe II se aventuram na criação de mídias sintéticas fotorrealistas e são amplamente utilizadas na geração de imagens, vídeos e vozes.

Sites como generate.photos e thispersondoesnotexist.com construíram conjuntos de dados proprietários de imagens de milhares de pessoas que são usados ​​para gerar retratos de pessoas que não existem. Da mesma forma, GauGAN e GauGAN 2 da NVDIA podem gerar paisagens fotorrealistas que são difíceis de apontar , a menos que sejam observadas de perto.

Quando os Dispositivos de Captura de Imagem (ICD) no futuro forem integrados às redes neurais mencionadas acima, eles poderão mudar drasticamente o assunto. Eles podiam mudar os rostos dos assuntos em uma fotografia ou mudar as expressões dos assuntos em um retrato. Eles podem até decidir por nós que um fundo cênico específico fica melhor com algumas montanhas e uma árvore e simplesmente renderizar uma imagem. Todas essas possibilidades estão muito mais próximas do que distantes.

Rick: Todo mundo apenas relaxe por um segundo. Não existe um “Tio Steve”. Isso é um parasita alienígena.

Jerry: Mas eu o conheço desde sempre!

Rick: Não, você não tem Jerry. Esses bastardinhos telepáticos, eles se inserem em memórias, e então eles os usam para se multiplicar e se espalhar, tomar conta de planetas. É... É nojento.

Morty: Steve não era real?

A série de televisão Rick and Morty episódio, Total Rickallapresenta uma espécie de parasita alienígena que implanta na mente das pessoas falsas memórias de personagens inventados como amigos, familiares, etc. Depois de se multiplicarem o suficiente, eles usam isso para dominar o planeta e escravizar a raça. Os dispositivos de captura de imagem (ICD) do futuro podem não ser capazes de dominar o planeta e escravizar nossa raça, mas definitivamente afetariam nossas memórias – o que lembramos e como lembramos. ICDs capazes de gerar e alterar rostos de sujeitos, podem ser capazes de se livrar de todos os foto-bombardeiros ou até mesmo substituir pessoas de quem não gostamos por rostos imaginados por máquinas. No entanto, ao visitar essas imagens imaginadas por máquinas mais tarde, como aqueles alienígenas parasitas, nosso cérebro tentaria se lembrar dessas pessoas inexistentes e construir memórias que talvez sejam completamente ficcionais. Desde então, nossas mentes se preocupam mais comelaborar uma boa narrativa do que ficar perto da verdade, nossas memórias sempre parecem verdadeiras, apesar de serem extremamente vulneráveis ​​a sugestões errôneas, manipulações inteligentes e altercações contínuas[2]. De certa forma, essas imaginações de máquinas poderiam plantar memórias.

Morty: Eu descobri, Rick! Os parasitas só podem criar memórias agradáveis. Eu sei que você é real porque tenho muitas lembranças ruins com você!

Depois que Morty descobre que os parasitas só podem criar memórias felizes, eles os eliminam para salvar o dia. Da mesma forma, os ICDs capazes de mudar as expressões humanas em imagens nos fariam parecer felizes, sorridentes, satisfeitos ou contentes. Frases como “Diga Queijo” podem ficar fora de moda, já que o ICD automaticamente nos faria sorrir. Não apenas um sorriso, mas podem sempre tentar nos apresentar como agradáveis, socialmente mais apropriados e aceitáveis, independentemente de como nos sentimos. De certa forma, nossas representações no futuro poderiam ser imaginadas por máquinas sem que tivéssemos muito arbítrio. Caso essas imagens sejam vistas como documentação do passado, elas podem apresentar uma narrativa muito diferente. Uma narrativa tecida por imaginações de máquinas.

Hoje, ainda existe a opção de se envolver com essas tecnologias para gerar uma imagem fotorrealista, mas em breve chegará um momento em que essas tecnologias virão pré-construídas com os dispositivos de captura de imagem. Em um mundo onde existem esses dispositivos de captura de imagens, haverá um envolvimento constante com a mídia sintética imaginada por máquinas. O ciclo de produção, circulação e consumo dessas representações imaginadas por máquinas governaria o que vemos, como pensamos e o que lembramos.

Imaginações de máquinas de classe III — máquinas que podem criar novas formas de ver. Essas máquinas podem criar imaginações que estão muito além de nossa compreensão da mídia atual.

É muito difícil imaginar o que seriam exatamente essas imaginações. Podemos ver um ponto de partida do que poderiam ser as imaginações de máquinas de classe III nas variações geradas pelo DALL.E.2 da openAI . Com DALL.E.2 existe uma nova maneira de criar imagens sem ter que executá-las com tinta, câmeras ou código. A entrada é uma simples linha de texto que é interpretada pela máquina para criar imagens invisíveis de composições bizarras de temas. Em essência, DALL.E.2 abriu uma nova maneira de pensar sobre imagens por meio de palavras.

Se estendermos essa ideia e olharmos para o filme Matrix Revolutions (2003) , no final do filme, o protagonista – Neo fica cego, mas obtém um “terceiro olho” através do qual pode perceber a verdadeira natureza das coisas, em vez de serem enganados por suas aparências externas. Para entender a máquina, Neo precisa ver de uma nova maneira que transcenda além do que é visto pelos olhos humanos e penetre no mundo das máquinas. É essa visão verdadeira que o guia pelo clímax da série e permite que ele derrote o Agente Smith (máquina). Desta forma, Neo, agora capaz de perceber além dos cinco sentidos, é capaz de ver o conflito pelas perspectivas da máquina e assim se sacrificar e acabar com a crise insolúvel na qual a série Matrix se baseia.

Seguindo uma sugestão disso, a imaginação das máquinas de classe III pode nos levar a ver de maneiras mais novas. DALL.E.2 nos leva a pensar verbalmente para ver graficamente e as máquinas em Matrix levam Neo a ver e, portanto, entender as máquinas. Da mesma forma, a imaginação das máquinas de classe III pode criar uma nova forma primordial de compreensão e imaginação. Esse novo entendimento pode residir nos espaços liminares dos bits de informação. A terra onde essas máquinas sonham.

Mas o sonho das máquinas é um pensamento muito distante, portanto essas imaginações estão muito longe.

Seção IV — Rumo a uma nova imaginação

Se todo trabalho criativo e de conhecimento se tornar domínio da IA, o que restará para os humanos? Qual será o propósito de nossa existência? Assistir a filmes intermináveis ​​criados por IA, ouvir música gerada por IA e ser conduzido em carros sem motorista por cidades geradas por IA?

Muitos pensadores e artistas modernos vislumbraram um futuro em que os humanos, libertados por máquinas do trabalho mecânico e enfadonho, estarão engajados apenas em brincadeiras e arte (por exemplo, a Nova Babilônia de Constant ). Mas se a automação da produção cultural pela IA continuar, eventualmente serão essas IAs tocando e fazendo arte – não nós. [3]

Tanto na fotografia analógica quanto na digital, o fotógrafo tirou alguma agência de seus assuntos e, em seguida, o revelador fotográfico (analógico) ou o manipulador de fotos (digital) tirou alguma agência do fotógrafo em como eles apresentaram a fotografia final. No entanto, em ambos os casos, as mudanças de agência foram no nível humano. Com os algoritmos sendo inseparáveis ​​dos processos de criação de fotos, vemos uma mudança na agência de humanos para máquinas. Da redução de ruído às alterações de idade, já vemos e usamos uma variedade dessas imaginações de máquinas de classe I em nossos processos fotográficos do dia a dia. Vemos imaginações de máquinas de classe II em aplicativos fotográficos que selecionam fotos da biblioteca de fotos e nos apresentam uma narrativa visual (álbum de fotos) em suas imaginações.

Se pensássemos na natureza desse ponto de ruptura, seria diferente de duas para três dimensões ou da imagem tradicional para a técnica, porque não mudaram fundamentalmente nossas formas de pensar ou imaginar. Em vez disso, seria um ponto de ruptura mais fundamental, como as fotografias que alcançaram o realismo perfeito, abrindo novas maneiras para os artistas pensarem e imaginarem – imaginações cubistas, surrealistas e expressionistas abstratas. Da mesma forma, a imaginação das máquinas poderia revolucionar a maneira como pensamos e imaginamos.

Qualquer tecnologia nos rouba uma certa agência com as limitações que ela traz. Uma escala milimétrica não nos permite medir entre milímetros. Ele nos treina para ver o que pode medir ou capturar, por sua vez, limitando nossos pensamentos. Ao mesmo tempo, abre uma zona de subjetividade (entre milímetros), uma zona de desconhecido onde a imaginação existe. A fotografia limitou-nos a uma representação do que se vê — uma fatia do tempo e do espaço, mas o fotógrafo encontrou formas de contrariar esta objectividade ao embeber a fotografia de simbolismo e contextualismo. Da mesma forma, a imaginação das máquinas provavelmente nos limitará a pensar como eles querem que pensemos. Talvez eles possam fazer todo o pensamento por nós, mas ao mesmo tempo podemos acessar partes mais complexas de nossas mentes para desenvolver ainda mais o pensamento e a imaginação que conhecemos.

Conclusão

eu sou um olho. Um olho mecânico. Eu, a máquina, mostro a você um mundo do jeito que só eu posso ver. Liberto-me hoje e para sempre da imobilidade humana. […] O meu caminho conduz à criação de uma nova percepção do mundo. Assim eu explico de uma nova maneira o mundo desconhecido para você.

Com a imaginação da máquina se infiltrando nas fotografias, as linhas acima de 1923 de Dziga Vertov encontram uma perspectiva renovada em nosso mundo pós-verdade. O olho mecânico capta a luz da mesma forma física (obturador, abertura e um material sensível à luz). No entanto, o olho mecânico não é mais apenas mecânico. Está atrelado a um cérebro digital, que leva a imagem para a zona efêmera dos 1's e 0's na tentativa de se libertar cada vez mais do humano. O poder do olho mecânico e da imagem técnica aumentou muito [4]. Vivendo em um mundo de desinformação e memes, vemos que esses visuais hiper-reais sintéticos gerados governam nossa imaginação por meio de vários filtros algorítmicos. As câmeras de hoje estão se transformando em algo que nos conhece, nos entende e nos mostra o que queremos. Talvez ela também nos controle. Ele nos diz o que ver e o que lembrar – criando uma perspectiva do mundo como eles imaginam. A maioria das fotografias de hoje está contaminada por processos computacionais e, quando se tornam memórias no futuro, nos apresentam um passado muito diferente – uma documentação que não foi ou foi inteiramente imaginada por máquinas.

notas de rodapé

[1] “O Novo Paradigma”. Fragmentação da Imagem Fotográfica na Era Digital, de Daniel Rubinstein, Routledge, Taylor & Francis Group, Nova York, 2019. Direitos autorais. Routledge História da Fotografia, 2020.

[2] Lehrer, Jonas. “Memória é ficção.” Wired, Conde Nast, 4 de junho de 2010,https://www.wired.com/2010/06/memory-is-fiction/.

[3] Manovich, Lev. “IA e convenções de gênero.” Ai Aesthetics, Strelka Press, Moscou, 2018.

[4]“A diferença entre imagens tradicionais e técnicas, então, seria esta: a primeira são observações de objetos, a segunda computação de conceitos. A primeira surge através da representação, a segunda através de um poder alucinatório peculiar que perdeu sua fé nas regras”. Flusser Vilém, et al. “Para Abstrair”. Into the Universe of Technical Images, University of Minnesota Press, Minneapolis, 2011.