Provas de Doutoramento em Media Digitais: ”Computing by going back in time: Composing video sequences through multimodal generative coordination”

Candidato:
Luís Henrique Pinto Arandas

Data, Hora e Local:
03 de junho, às 14:30, na Sala de Atos da FEUP

Presidente do Júri:
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação da Faculdade de Engenharia da Universidade do Porto.

Vogais:
Doutora Luísa Maria Lopes Ribas, Professora Auxiliar do Departamento de Design de Comunicação da Faculdade de Belas-Artes da Universidade de Lisboa;
Doutor David Fernandes Semedo, Professor Auxiliar do Departamento de Informática da Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa;
Doutor André Sier, Professor Auxiliar Convidado do Departamento de Artes Visuais e Design da Universidade de Évora;
Doutor José Miguel Santos Araújo Carvalhais Fonseca, Professor Catedrático da Faculdade de Belas Artes da Universidade do Porto (Orientador);
Doutor Gilberto Bernardes de Almeida, Professor Auxiliar do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

A tese foi coorientada pelo Professor Doutor Mick Grierson, Professor in Computing, and research leader at the Institute of Creative Computing at the University of the Arts, London.

Resumo
Este projeto propõe um conjunto de métodos, inspirados na experiência humana de visão e tempo, para desenvolver sequências de vídeo utilizando modelos generativos treinados. Os métodos destinam-se à produção de sequências de vídeo com padrões derivados de modelos treinados, encontrados na literatura sobre metacriação e nas artes. Este projeto define possíveis futuros onde os modelos generativos podem ser reutilizados como oráculos em simulações que se centram na experiência humana de vídeo e imagens mentais; modelos que, devido à forma como são treinados através de arquivos e registos que representam o humano e o mundo físico, podem capturar os próprios media e representar momentos específicos no tempo.

Os resultados da investigação são em filme e instalação audiovisual, propondo como a intervenção e prática pode beneficiar da autorreferência, utilizando modelos generativos como sintetizadores de vídeo, som e texto. Os métodos produzidos tomam partido da linguagem natural como guia e da modelação generativa em formas que podem ser entendidas como: amostragem, sequenciação e translação, a partir da literatura da computação e design de IA. Cada resultado pode ser entendido em domínios maiores, como: 1) curtas-metragens a partir de texto, no filme Irreplaceable Biography, 2) instalações discursivas a partir de datasets, na instalação Time as meaning; e 3) curtas-metragens a partir de vídeo, no filme Man lost in the convergence of time e na colaboração all YIN no YANG. Esta investigação expande a prática generativa seguindo uma construção da linguagem na mente humana, no comportamento e na experiência visual como inspiração para a experiência de vídeo. Estes projetos contribuem para uma compreensão da direccionalidade e a representação do passado, utilizando sistemas de memória em rede que aprendem, e que são produzidos de acordo com estrutura encontrada na natureza e experiência humana.

Palavras-chave: Composição de vídeo; Modelos generativos; Viagens no tempo; Experiência visual humana; Representações preditivas.

Posted in Destaque, Eventos, Notícias, Provas PhD.