Candidato:
Jorge Federico Forero Rodríguez
Data, Hora e Local:
08 de julho de 2026, às 14:30, Sala de Atos da Faculdade de Engenharia da Universidade do Porto
Presidente do Júri:
Doutor João Carlos Pascoal Faria, Professor Catedrático do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto
Vogais:
Doutor Nuno António do Nascimento Correia, Professor Associado na Universidade de Tallinn, Estónia;
Doutor Hugo Gonçalo Oliveira, Professor Associado do Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologia da Universidade de Coimbra;
Doutor Nuno Manuel Robalo Correia, Professor Catedrático do Departamento de Informática da Faculdade de Ciência e Tecnologia da Universidade Nova de Lisboa;
Doutora Mónica Sofia Santos Mendes, Professora Auxiliar com Agregação da Faculdade de Belas-Artes da Universidade de Lisboa (Orientadora);
Doutor Tiago Barbedo Assis, Professor Auxiliar do Departamento de Desenho da Faculdade de Belas-Artes da Universidade do Porto;
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.
A tese foi coorientada pelo Doutor Gilberto Bernardes de Almeida, Professor Auxiliar do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.
Resumo:
The Ironic Machine[s] é um projeto de investigação baseado na prática que explora o uso de um sistema bimodal de reconhecimento de emoções na fala para a geração de ambientes virtuais
afetivos e artefactos computacionais criativos. Situado na interseção entre a arte dos media, a computação afetiva e o processamento de linguagem natural, o estudo investiga como figuras retóricas como a ironia benevolente e o sarcasmo emergem através da divergência entre as previsões emocionais semânticas e acústicas, e como esta interação pode informar a construção de Ambientes Virtuais Afetivos. A principal contribuição desta dissertação é a formulação e avaliação empírica de um método para a análise da ironia ilocutória utilizando conjuntos de dados multimodais de reconhecimento de emoções na fala. Com base em técnicas de análise de sentimentos e reconhecimento de emoções na fala, a investigação introduz um enquadramento de inferência estatística que integra avaliação percetiva com análise orientada por hipóteses, de modo a identificar características prosódicas que distinguem significativamente a fala sincera da irónica. Para amostras encenadas de inglês americano, os resultados demonstram que as divergências entre previsões emocionais semânticas e acústicas podem ser sistematicamente quantificadas, apoiando a hipótese de que a ironia prosódica pode ser entendida como um fenómeno multimodal mensurável. Um objetivo secundário investiga se estes resultados podem ser traduzidos numa estratégia generativa para a construção de Ambientes Virtuais Afetivos. Para esse fim, é proposto um enquadramento de engenharia de prompts em três níveis, mapeando previsões emocionais semânticas e acústicas em características audiovisuais informadas por análises estatísticas de conjuntos de dados musicais e visuais. A avaliação percetiva indica que a utilização de prompts baseados em características apresenta uma vantagem consistente face a rótulos emocionais de alto nível, embora os resultados não atinjam níveis convencionais de significância estatística. A investigação é realizada através de uma série de nove iterações tecnológicas e artísticas, desenvolvidas como obras autónomas, mas interligadas. Estes projetos funcionam como plataformas experimentais para explorar a ambiguidade emocional, a desorientação e a instabilidade do significado em ambientes computacionais dentro de uma narrativa tecno poética. Em conjunto, este trabalho propõe tanto um enquadramento metodológico para a análise da ironia como uma abordagem especulativa à geração de ambientes afetivos. Posiciona a divergência entre modalidades como um princípio operacional em sistemas multimodais e demonstra como a investigação baseada na prática pode constituir um modo rigoroso de inquérito sobre a relação entre a emoção humana e a representação mediada por máquinas.
Palavras-chave: Reconhecimento de Emoções na Fala; Ironia Prosódica; Ambientes Virtuais Afetivos; Análise Multimodal; Investigação Baseada na Prática; Arte dos Media.







