Provas de Doutoramento em Media Digitais (PDMD) | ”The Ironic Machine[s]: Speech Emotion Recognition Methods for Affective Virtual Environment Generation”

Candidato:
Jorge Federico Forero Rodríguez

Data, Hora e Local:
08 de julho de 2026, às 14:30, Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor João Carlos Pascoal Faria, Professor Catedrático do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutor Nuno António do Nascimento Correia, Professor Associado na Universidade de Tallinn, Estónia;
Doutor Hugo Gonçalo Oliveira, Professor Associado do Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologia da Universidade de Coimbra;
Doutor Nuno Manuel Robalo Correia, Professor Catedrático do Departamento de Informática da Faculdade de Ciência e Tecnologia da Universidade Nova de Lisboa;
Doutora Mónica Sofia Santos Mendes, Professora Auxiliar com Agregação da Faculdade de Belas-Artes da Universidade de Lisboa (Orientadora);
Doutor Tiago Barbedo Assis, Professor Auxiliar do Departamento de Desenho da Faculdade de Belas-Artes da Universidade do Porto;
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

A tese foi coorientada pelo Doutor Gilberto Bernardes de Almeida, Professor Auxiliar do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

Resumo:

The Ironic Machine[s] é um projeto de investigação baseado na prática que explora o uso de um sistema bimodal de reconhecimento de emoções na fala para a geração de ambientes virtuais
afetivos e artefactos computacionais criativos. Situado na interseção entre a arte dos media, a computação afetiva e o processamento de linguagem natural, o estudo investiga como figuras retóricas como a ironia benevolente e o sarcasmo emergem através da divergência entre as previsões emocionais semânticas e acústicas, e como esta interação pode informar a construção de Ambientes Virtuais Afetivos. A principal contribuição desta dissertação é a formulação e avaliação empírica de um método para a análise da ironia ilocutória utilizando conjuntos de dados multimodais de reconhecimento de emoções na fala. Com base em técnicas de análise de sentimentos e reconhecimento de emoções na fala, a investigação introduz um enquadramento de inferência estatística que integra avaliação percetiva com análise orientada por hipóteses, de modo a identificar características prosódicas que distinguem significativamente a fala sincera da irónica. Para amostras encenadas de inglês americano, os resultados demonstram que as divergências entre previsões emocionais semânticas e acústicas podem ser sistematicamente quantificadas, apoiando a hipótese de que a ironia prosódica pode ser entendida como um fenómeno multimodal mensurável. Um objetivo secundário investiga se estes resultados podem ser traduzidos numa estratégia generativa para a construção de Ambientes Virtuais Afetivos. Para esse fim, é proposto um enquadramento de engenharia de prompts em três níveis, mapeando previsões emocionais semânticas e acústicas em características audiovisuais informadas por análises estatísticas de conjuntos de dados musicais e visuais. A avaliação percetiva indica que a utilização de prompts baseados em características apresenta uma vantagem consistente face a rótulos emocionais de alto nível, embora os resultados não atinjam níveis convencionais de significância estatística. A investigação é realizada através de uma série de nove iterações tecnológicas e artísticas, desenvolvidas como obras autónomas, mas interligadas. Estes projetos funcionam como plataformas experimentais para explorar a ambiguidade emocional, a desorientação e a instabilidade do significado em ambientes computacionais dentro de uma narrativa tecno poética. Em conjunto, este trabalho propõe tanto um enquadramento metodológico para a análise da ironia como uma abordagem especulativa à geração de ambientes afetivos. Posiciona a divergência entre modalidades como um princípio operacional em sistemas multimodais e demonstra como a investigação baseada na prática pode constituir um modo rigoroso de inquérito sobre a relação entre a emoção humana e a representação mediada por máquinas.

Palavras-chave: Reconhecimento de Emoções na Fala; Ironia Prosódica; Ambientes Virtuais Afetivos; Análise Multimodal; Investigação Baseada na Prática; Arte dos Media.

 

Provas de Doutoramento em Media Digitais (PDMD) | ”The Musical Work as a Mutable Interface: Towards a Co-Creative Electroacoustic Practice”

Candidata:
Nádia de Sousa Varela de Carvalho

Data, Hora e Local:
06 de julho de 2026, 14:30, Sala Professor Vasco Sá (L119) do DEMec da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doctor Diemo Schwarz, PhD Researcher of the Institute for Research and Coordination in Acoustics/Music (IRCAM), France;
Doutor Rui Luís Nogueira Penha, Professor Coordenador da Escola Superior de Música e Artes do Espetáculo do Instituto Politécnico do Porto;
Doutora Sofia Carmen Faria Maia Cavaco, Professora Auxiliar do Departamento de Informática da Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa;
Doutor António Humberto Sá Pinto, Professor Auxiliar Convidado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto e Investigador Afiliado do Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência (INESC TEC);
Doutor Gilberto Bernardes de Almeida, Professor Auxiliar do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador).

Resumo:

Esta dissertação investiga a transição ontológica e performativa da obra musical, propondo a sua reconfiguração de um artefacto estático numa interface mutável através da mediação computacional inteligente. Historicamente, a tradição musical erudita ocidental privilegia o conceito de obra (werktreue). Este conceito cristaliza a composição como um objeto imutável, preservado pela rigidez da partitura ou do suporte fonográfico. Contudo, as práticas digitais e eletroacústicas contemporâneas reclamam novos paradigmas que respondam à porosidade das fronteiras entre composição, performance e agência tecnológica. Este trabalho propõe, assim, a substituição da partitura fixa pela variedade topológica navegável. Neste sentido, a obra redefine-se como um território dinâmico cuja identidade assenta na fluidez estrutural e não na prescrição notacional. Esta mudança de paradigma fundamenta-se num modelo de navegação contextual. Neste modelo, os limites topológicos do sistema e a intuição gestual do intérprete convergem num diálogo exploratório de descoberta estrutural em tempo real.

A metodologia adotada cruza a investigação experimental com a investigação baseada na prática. Nesse sentido, propomos uma estrutura em um ciclo reflexivo-iterativo que articula o desenvolvimento de software ao ato performativo. A investigação desenvolve-se em dois eixos fundamentais: a representação tonal simbólica e a navegação tímbrica. No primeiro, recorre-se a variational autoencoders (VAEs) para a compressão de polifonia simbólica, tendo-se observado um alinhamento empírico significativo entre os espaços latentes desses modelos e os espaços de fase da Transformada Discreta de Fourier (DFT). Este resultado demonstra que modelos considerados de caixa negra podem revelar, de forma autónoma, princípios estruturais da teoria musical, como o ciclo de quintas. No segundo eixo, utiliza-se a Síntese de Áudio Neural (RAVE) para mapear o espetro tímbrico do saxofone tenor em espaços latentes de alta dimensão, de forma a mediar a relação entre dados abstratos e o gesto musical. Para tal, introduz-se uma taxonomia de movimentos (paralelos, oblíquos e contrários) que preserva a agência do intérprete na navegação destes espaços.

A aplicabilidade prática desta investigação materializa-se nos sistemas BroadcastJSB e Aethra. O primeiro constitui um instrumento topológico que explora a metáfora do rádio para a navegação em tempo real no espaço latente dos corais de J.S. Bach. O segundo consiste numa interface co-criativa para música mista que sintetiza a complexidade multidimensional num único eixo de controlo performativo. As principais contribuições deste trabalho residem na formalização da obra mutável como espaço de possibilidades, na demonstração da inteligibilidade musical em modelos de aprendizagem profunda e na criação de ferramentas e repositórios de dados de acesso aberto às comunidades que investigam performance contemporânea e computação sonora e musical. Em suma, a dissertação sustenta que o futuro da prática musical reside na potencialização da intuição humana através da mediação inteligente, posicionando a interface mutável como o lugar primordial da exploração colaborativa na era digital.

Provas de Doutoramento em Media Digitais (PDMD): ”Inovação Digital em Saúde em Contexto de Baixos Recursos: O caso de Moçambique”

Candidato:
Pinto Francisco Impito

Data, Hora e Local:
19 de junho de 2026, às 14:00 na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

Membros:
Doutora Felisbela Maria Carvalho Lopes, Professora Catedrática do Departamento de Ciências da Comunicação do Instituto de Ciências Sociais da Universidade do Minho;
Doutora Ivone Marília Carinhas Ferreira, Professora Auxiliar do Departamento de Ciências da Comunicação da Faculdade Ciências Sociais e Humanas da Universidade Nova de Lisboa;
Doutora Carla Susana Moiteiro Ganito Afonso, Professora Associada da Faculdade de Ciências Humanas da Universidade Católica Portuguesa;
Doutor José Manuel Pereira Azevedo, Professor Catedrático do Departamento de Ciências da Comunicação e da Informação da Faculdade de Letras da Universidade do Porto (Orientador);
Doutor Ricardo José Pinheiro Fernandes Morais, Professor Auxiliar do Departamento de Ciências da Comunicação e da Informação da Faculdade de Letras da Universidade do Porto.

A tese foi coorientada pelo Doutor Vasco Francisco Japissane Cumbe, Professor na Faculdade de Medicina da Universidade Católica de Moçambique.

Resumo:

Introdução:
A crescente complexidade dos sistemas de saúde, combinada com o rápido avanço tecnológico, tem transformado as formas de produzir, disseminar e utilizar ferramentas digitais na área da saúde. Em paralelo, a disponibilização sem precedentes de dispositivos móveis e recursos audiovisuais ampliou o acesso às tecnologias, mas também introduziu novos desafios, como as limitações de uso decorrentes de problemas estruturais e infraestruturais, bem como desigualdades no acesso.
Objetivo:
O presente estudo teve como objetivo geral avaliar a implementação de tecnologias digitais na comunicação em saúde em Moçambique, com foco no uso de vídeos, dando especial atenção à interação médico-paciente e à formação médica. O estudo implementou e avaliou recursos digitais baseados em simulação interativa, educação e modelagem, propondo um modelo moçambicano de inovação digital adaptado ao contexto local.
Metodologia:
A pesquisa foi desenvolvida por meio de três estudos: (1) Vídeo de Simulação Interativa (VSI) na Formação Médica, (2) Vídeo de Educação Aumentada (VEA) no Aconselhamento Pré-TARV de Pacientes HIV-positivos e (3) Vídeo de Modelagem (VM) nas Estratégias de Recuperação Fisioterapêutica. O Estudo 1 avaliou a usabilidade, o valor educativo e a experiência interativa do VSI com estudantes de medicina (N = 93), adotando uma abordagem sequencial exploratória. O Estudo 2 adotou um desenho quase experimental, com grupo de intervenção (GI = 23) e de comparação (GC = 23), envolvendo pacientes HIV-positivos, empregando o teste U de Mann-Whitney para comparar dimensões relacionadas à qualidade do aconselhamento. O Estudo 3 seguiu um desenho longitudinal, com pré- e pós-intervenção, para avaliar o impacto do VM na execução de exercícios de recuperação motora por cuidadores de pacientes com AVC.
Resultados:
Os estudos revelam (1) elevados níveis de concordância quanto ao realismo, à relevância clínica e à utilidade pedagógica (VSI); (2) diferenças estatisticamente significativas entre os grupos (GI, GC) quanto ao tempo dedicado ao atendimento, à adequação do formato do aconselhamento e à tomada de decisão para adesão ao TARV (VEA); e (3) melhorias relevantes após a intervenção no fortalecimento da aprendizagem prática e na confiança na execução de procedimentos de recuperação motora (VM). De modo geral, a pesquisa mostrou que o uso estruturado e adaptado de recursos digitais, conforme proposto nesta tese, tem alto potencial para transformar processos de comunicação em ambientes com recursos limitados.
Conclusão:
A pesquisa destaca a importância da integração estruturada e adaptada dos media digitais em contextos com recursos limitados. Investigações futuras devem explorar desenhos experimentais mais sólidos, com amostras alargadas e acompanhamento longitudinal, bem como avaliar o impacto dessas intervenções na prática clínica real e nos indicadores de adesão ao tratamento. A consolidação do modelo moçambicano de inovação digital pode avançar para políticas de educação em saúde sustentáveis e promover a transformação digital do ensino médico em Moçambique.

Palavras-chave: Inovação digital; Vídeo; Educação Médica; interação médico-paciente; Moçambique.

Provas de Doutoramento em Engenharia Informática (ProDEI): ”Generative Approaches for Case-Based Explanations in Medical Image Analysis”

Candidata:
Maria Helena Sampaio de Mendonça Montenegro e Almeida

Data, Hora e Local:
16 de junho de 2026, às 14:30, na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Carlos Miguel Ferraz Baquero-Moreno, Professor Catedrático do Departamento de Engenharia Informática da da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutor Peter Johannes Schüffler, Professor at the Technical University of Munich, Germany;
Doutor Carlos Jorge Andrade Mariz Santiago, Assistente de Investigação no Laboratório de Robótica e Sistemas de Engenharia (LARSyS) e Professor Auxiliar Convidado do Departamento de Engenharia Eletrotécnica e de Computadores do Instituto Superior Técnico da Universidade de Lisboa;
Doutor Jaime dos Santos Cardoso, Professor Catedrático do Departamento de Engenharia Eletrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto (Orientador);
Doutor Luís Filipe Pinto de Almeida Teixeira, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

Resumo:

Nos últimos anos, modelos de Inteligência Artificial têm sido extensivamente explorados para tarefas de análise de imagem médica, alcançando resultados notáveis. No entanto, o raciocínio obscuro dos modelos e a falta de evidência que o suporte fazem com que clínicos e pacientes desconfiem das suas previsões, impedindo a sua adoção em contextos clínicos. Nos últimos anos, a comunidade científica tem-se focado no desenvolvimento de explicações capazes de revelar o raciocínio de um modelo. Entre os vários tipos de explicações, explicações baseadas em casos surgem como particularmente intuitivas para profissionais de saúde. Apesar destes tipos de explicações serem largamente explorados, ainda possuem limitações que comprometem a sua aplicação no mundo real. O objetivo principal desta tese é ultrapassar as limitações de explicações baseadas em casos médicas, permitindo a sua incorporação na prática clínica.

Para identificar as principais fraquezas de explicações baseadas em casos, realizámos uma revisão da literatura sobre modelos que fornecem estas explicações na área da saúde. Através da análise de trabalhos existentes, verificámos que as explicações geram preocupações sobre privacidade na partilha de imagens sensíveis de pacientes e não possuem a interatividade necessária para que clínicos se interessem pela explicação. Para além disso, a maioria dos trabalhos não avaliam nem validam as explicações através de estudos clínicos. Considerando estas limitações, propomos modelos generativos para obter explicações controláveis, interativas e que protegem a privacidade dos pacientes, para explicar as decisões de modelos de aprendizagem computacional.

Para propor um sistema de preservação de privacidade para partilhar explicações baseadas em casos de forma segura, começamos por rever a literatura científica sobre técnicas de anonimização de imagem, identificando as suas vulnerabilidades. Em particular, identificamos vulnerabilidades através da proposta de dois ataques de privacidade: um ataque direcionado a modelos generativos que geram imagens sintéticas, e um modelo de decomposição de imagens para reverter a média de imagens, frequentemente usada como estratégia de anonimização. Depois de definir os requisitos que um sistema de preservação de privacidade para explicações médicas tem de cumprir, propomos modelos de privacidade simultaneamente capazes de anonimizar imagens médicas e gerar explicações contrafactuais. O sistema proposto separa identidade e características clínicas em vetores independentes, permitindo a sua manipulação individual. Através desta estratégia, também podemos separar e manipular fatores causais, relacionados com a tarefa clínica, para obter explicações contrafactuais controláveis. Para obter explicações contrafactuais interativas, propomos modelos para manipular regiões de imagens médicas de acordo com uma máscara de segmentação, verificando o seu impacto numa previsão. Para avaliar os modelos propostos, realizámos experiências com dados médicos como radiografias torácicas, verificando a capacidade dos modelos de manipular imagens médicas considerando o objetivo de geração de explicações.

Por fim, para mostrar a grande aplicabilidade dos modelos propostos em contextos para além do seu propósito original de geração de explicações baseadas em casos, aplicámo-los como sistemas de apoio à decisão na saúde. Mais especificamente, adaptámos os modelos para prever os resultados estéticos de tratamento para cancro da mama, para facilitar a escolha de tratamento das pacientes. Realizámos também um estudo clínico com cirurgiões de mama de várias instituições de saúde para avaliar as previsões dos modelos propostos.

Para concluir, através de várias contribuições em Inteligência Artificial explicável e sistemas de suporte à decisão, esta tese contribui para o uso seguro de modelos de Inteligência Artificial confiáveis e que preservam privacidade na saúde.

Provas de Doutoramento em Media Digitais (PDMD): ”The Fourier Qualia Space: Interaction, Ambiguity, and Hierarchy in Music Harmony”

Candidato:
Samuel Filipe da Silva Pereira Oliveira

Data, Hora e Local:
15 de junho de 2026, às 14:30, na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação da Faculdade de Engenharia da Universidade do Porto.

Vogais:
Doctor Matt Chiu, Assistant Professor of Music Theory of the Baldwin Wallace University, United States of America;

Doctor Martin Alois Rohrmeier, Associate Professor of the Digital and Cognitive Musicology Lab at the EPFL – Swiss Federal Institute of Technology, Switzerland;

Doutora Isabel Maria Antunes Pires, Professora Auxiliar do Departamento de Ciências Musicais da Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa;

Doutor Gilberto Bernardes de Almeida, Professor Auxiliar do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador);

Doutor António Humberto Sá Pinto, Professor Auxiliar Convidado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

A tese foi coorientada pelo Doutor José António Oliveira Martins, Professor Auxiliar da Faculdade de Letras da Universidade de Coimbra.

Resumo:

A teoria musical há muito reconhece a existência de qualidades harmónicas e desenvolveu ferramentas para a sua identificação analítica; contudo, os enquadramentos teóricos existentes não oferecem formas de medir as suas proporções relativas, representar a sua coexistência em passagens ambíguas, ou comparar a sua utilização em diferentes repertórios. Estas limitações manifestam-se de formas diferentes consoante as tradições analíticas. Por exemplo, a análise tonal capta eficazmente as relações funcionais, mas revela-se inadequada quando tríades ou colecções diatónicas surgem sem as progressões que lhes conferem funcionalidade. Por seu turno, a teoria dos conjuntos proporciona a medição rigorosa de vectores intervalares, mas não explica por que razão duas sonoridades soam diferentes apesar de partilharem vectores intervalares. O que une estas insuficiências é uma lacuna conceptual comum: nenhum destes enquadramentos trata passagens ambíguas—momentos musicais onde múltiplas qualidades harmónicas coexistem—como um recurso composicional.

Para dar resposta a estas limitações, a presente tese desenvolve o Espaço Qualia de Fourier, um enquadramento geométrico que reconceptualiza qualidades harmónicas como relações de qualia mensuráveis num espaço determinado matematicamente. Para tal, a transformada discreta de Fourier converte conjuntos de classes de altura em coeficientes que captam qualidades harmónicas específicas, os quais são depois projectados, através de redução dimensional, num espaço hexagonal, onde a proximidade sinaliza semelhança de qualia e a centralidade denota ambiguidade. Esta representação geométrica permitiu-nos realizar análises em múltiplas escalas, tal como a nível frásico, no Op. 19/1 de Schoenberg, passando por construções hierárquicas (wavescapes) em Bach, Debussy e Webern, até à análise diacrónica de corpus, que abrangeu o período de 1548 a 1968.

A aplicação desta metodologia a quatro séculos de música ocidental confirmou a dissolução progressiva das estruturas tonais tradicionais e forneceu uma nova evidência sobre princípios organizacionais alternativos: ao longo dos séculos, as sequências de qualia convergiram gradualmente para distribuições zipfianas características de sistemas de comunicação eficientes. Entre os compositores cujas distribuições mais se aproximam deste padrão, Debussy emergiu como um caso paradigmático: a análise estatística da sua prática harmónica identificou três funções sistemáticas que definem a sua utilização dos qualia, demonstrando que a sua música opera segundo princípios organizacionais identificáveis. Aspecto particularmente significativo para a reconceptualização proposta no início, a ambiguidade de qualia funciona não como indeterminação analítica, mas como um recurso composicional estrategicamente mobilizado nos repertórios examinados.

Estas conclusões comportam implicações mais amplas. A identificação de padrões semelhantes aos da linguagem na utilização dos qualia harmónicos por Debussy exemplifica o que o Espaço Qualia de Fourier torna possível: se um compositor, operando sem os constrangimentos da sintaxe tonal, utilizou qualidades harmónicas segundo princípios mensuráveis, outros poderão tê-lo feito igualmente—uma hipótese que este Espaço pode agora testar através de fronteiras estilísticas que anteriormente exigiam metodologias inteiramente distintas.

Palavras-chave: Espaço Qualia de Fourier; qualia harmónicos; ambiguidade de qualia; transformada discreta de Fourier; lei de Zipf; sintaxe harmónica; musicologia computacional.

 

Provas de Doutoramento em Engenharia Informática (ProDEI): ”Modular and Multi-Stage Semantic Perception System for Robotics”

Candidato:
Bruno Georgevich Ferreira

Data, Hora e Local:
27 de fevereiro de 2026, às 14h00 na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutor João Alberto Fabro, Professor Associado do Departamento Acadêmico de Informática (DAINF) da Universidade Tecnológica Federal do Paraná, Brasil;
Doutor Rui Paulo Pinto da Rocha, Professor Associado do Departamento de Engenharia Eletrotécnica e de Computadores da Faculdade de Ciências e Tecnologia da Universidade de Coimbra;
Doutor André Monteiro de Oliveira Restivo, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto;
Doutor Armando Jorge Miranda de Sousa, Professor Associado do Departamento de Engenharia Eletrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto (Orientador).

A tese foi coorientada pelo Doutor Luís Paulo Gonçalves dos Reis, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

Resumo:

A evolução da robótica autónoma beneficia largamente da capacidade de construir representações ricas, navegáveis e semânticas do ambiente, ainda mais se partilhadas com humanos. Embora o advento dos grafos de cenas de vocabulário aberto impulsionados por Modelos Visão-Linguagem (VLMs) tenha revolucionado a perceção, estes sistemas enfrentam obstáculos críticos: altas taxas de alucinações (Falsos Positivos), falta de contexto espacial topológico e fragilidade operacional devido à forte dependência de conectividade. Esta tese propõe o Hybrid Inference Perception and Mapping System (HIPaMS), framework adaptável a um sistema alvo, como um sistema robótico que interage com humanos. O HIPaMS é uma framework modular projectado para preencher a lacuna entre low-level perception e high-level agentic reasoning. Uma Prova de Conceito (PoC) foi projectada para implementar o HIPaMS. Esta PoC melhora o processo de semantic mapping do state-of-the-art ConceptGraphs e introduz um sistema de interação refinado através de quatro contribuições principais. Primeira, introduz o Hybrid Adaptable Resource-Aware Inference Mechanism (HARAIM), que orquestra dinamicamente configurações e modelos internos com base na disponibilidade dos recursos em tempo de execução e da política de optimização. Este mecanismo permite que qualquer política de optimização adapte a operação do sistema robótico, possibilitando possivelmente zero downtime durante falhas de rede, graceful degradation e/ou eficiência operacional. Segunda, a pipeline de mapeamento semântico é estendida com rigorosos protocolos de filtragem de Falsos Positivos, engenharia de prompts baseada em personas e uma vasta recolha de informação semântica de forma otimizada durante o mapeamento. Terceira, uma rotina de segmentação semântica de ambientes é proposta para fornecer informação topológica ao mapa semântico durante a interação. Isto transforma detecções não estruturadas e ruidosas num grafo de cena organizado hierarquicamente, ancorando objetos dentro de regiões topológicas funcionais. Quarta, o sistema robótico incorpora agora uma base de conhecimento dinâmico via o Humanin- the-Loop (HITL) Agentic Retrieve Augmented Generation (RAG)-based Interaction System (HARBIS). Esta interface utiliza memórias de curto e longo prazo para compreender solicitações complexas em linguagem natural. Permite ao robô aprender continuamente com as interações do utilizador, abordar lacunas na perceção e conhecimento, manter a consistência temporal e reconhecer as suas limitações pedindo proativamente por clarificação. Foi conduzida uma validação extensiva em 30 ambientes diversos, envolvendo um total de 3300 solicitações interactivas (que dependem da qualidade do mapa semântico). A PoC testada processou 110 requisições do usuário por ambiente, categorizados em: direct (30), indirect (30), graceful failure (30), follow-up (10) e time consistency (10). Foi também realizado um estudo de ablação para identificar o impacto de componentes específicos da framework e da PoC. Os resultados mostram que a PoC reduz as deteções de Falsos Positivos em ≈ 86%, elevando a precisão de mapeamento semântico de um baseline de ≈ 0.28 para ≈ 0.68. Embora a filtragem estrita reduza o recall bruto, a integração de aprendizagem HITL aumentou a taxa de sucesso para a resolução de requisições para ≈ 0.81, comparado com valores de baseline de ≈ 0.48 e ≈ 0.55. Além disso, a PoC do HIPaMS reduziu os custos de inferência em nuvem até ≈ 84% durante mapeamento e mais de ≈ 95% em tarefas de interação, garantindo a estabilidade do sistema. A framework apresentada abre caminho para uma maior autonomia e eficiência robótica. A PoC apresentada demonstra uma performance elevada, particularmente para cenários centrados em humanos.

Palavras-chave: Mapeamento Semântico; Perceção de Vocabulário Aberto; Arquitetura de Inferência Híbrida; Framework Adaptável; Humano no Controle (Human-in-the-Loop); Geração Aumentada por Recuperação (RAG); Segmentação Topológica; Robot@VirtualHome; Modelos Visão-Linguagem; IA Agentiva; Robustez Operacional.

Provas de Doutoramento em Engenharia Informática (ProDEI): ”Low-Resource Machine Translation for Emakhuwa: Transfer Learning, Data Augmentation, and Lexical Resource Integration”

Candidato:
Felermino Dário Mário António Ali

Data, Hora e Local:
20 de fevereiro de 2026, 14:00, Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutora Maarit Tuulikki Koponen, Professor at the School of Humanities of the Philosophical Faculty of the University of Eastern Finland (Finland);
Doutora Maria Luísa Torres Ribeiro Marques da Silva Coheur, Professora Associada do Departamento de Engenharia Informática do Instituto Superior Técnico da Universidade de Lisboa;
Doutor Sérgio Sobral Nunes, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto;
Doutor Henrique Daniel de Avelar Lopes Cardoso, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador).

A tese foi coorientada pelo Doutor Rui Manuel Sousa Silva, Professor Auxiliar da Faculdade de Letras da Universidade do Porto.

Resumo:

“Esta pesquisa explora a sub-representação de línguas de poucos recursos no campo da tradução automática, com foco específico no Emakhuwa, a língua local mais falada em Moçambique. Apesar de contar com mais de 7 milhões de falantes nativos, o Emakhuwa continua sub-representado tanto na esfera acadêmica quanto na tecnológica devido à falta de recursos digitais e ferramentas linguísticas. Para preencher essa lacuna, desenvolvemos os primeiros recursos significativos de tradução automática para o par de línguas português–Emakhuwa. Nossas contribuições incluem a criação de um corpus paralelo por meio da tradução manual de textos jornalísticos, a digitalização de materiais existentes e a tradução de benchmarks estabelecidos de avaliação em tradução automática. Avaliamos três estratégias centrais para melhorar o desempenho da tradução automática nesse contexto de poucos recursos: (1) aprendizado por transferência utilizando modelos multilíngues e centrados na África, (2) aumento de dados por meio de retrotradução e (3) integração de recursos linguísticos externos, como glossários de empréstimos e dicionários bilíngues. Os resultados mostram que modelos encoder-decoder, particularmente arquiteturas otimizadas para tradução como NLLB e M2M-100, apresentam desempenho equivalente ou superior a modelos maiores apenas com decoder, mantendo a eficiência computacional. A retrotradução oferece melhorias modestas, e a integração de empréstimos e recursos de dicionário, especialmente na direção português Emakhuwa, melhora significativamente a qualidade da tradução, sobretudo com o uso de LLMs. Este trabalho estabelece as bases para pesquisas futuras em PLN para línguas subrepresentadas e demonstra caminhos práticos para o desenvolvimento de sistemas de tradução automática em contextos com recursos limitados.”

Provas de Doutoramento em Media Digitais (PDMD): ”Cultivando a empatia digital: o potencial da produção de narrativas áudio”

Candidata:
Ivone Manuela Neiva Santos

Data, Hora e Local:
29 de janeiro de 2026, 14:30, Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutora Marisa Rodrigues Pinto Torres da Silva, Professora Catedrática da Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa;
Doutora Maria Madalena da Costa Oliveira, Professora Associada do Instituto de Ciências Sociais da Universidade do Minho;
Doutora Maria José Lisboa Brites de Azeredo, Professora Associada com Agregação da Faculdade de Comunicação, Arquitetura, Artes e Tecnologias da Informação da Universidade Lusófona;
Doutora Ana Isabel Crispim Mendes Reis, Professora Associada do Departamento de Ciências da Comunicação e da Informação da Faculdade de Letras da Universidade do Porto (Orientadora);
Doutor Ricardo José Pinheiro Fernandes Morais, Professor Auxiliar do Departamento de Ciências da Comunicação e da Informação da Faculdade de Letras da Universidade do Porto.

A tese foi coorientada pelo Doutor José Manuel Pereira Azevedo, Professor Catedrático do Departamento de Ciências da Comunicação e da Informação da Faculdade de Letras da Universidade do Porto.

Resumo:

A empatia, definida como a compreensão e partilha do estado emocional de outrem, é tida como fundamental para o bem-estar pessoal e para a coesão social. A sua presença tem sido associada a comportamentos pró-sociais e o seu défice a uma maior propensão para comportamentos agressivos. Trata-se de um constructo multidimensional, que integra dimensões cognitivas e afetivas, e intervenções educativas parecem influir positivamente no seu desenvolvimento. Embora se pense que é sobretudo a empatia cognitiva que é sensível à educação, a componente afetiva aparenta beneficiar do conteúdo emocional das atividades. Hoje, a empatia é considerada uma literacia crítica para o ‘cidadão digital’, mas a investigação sobre o tema sugere que a empatia digital, ou online, é mais baixa do que a empatia offline. Tendências como a desatenção, a dessensibilização e a desinibição, estimuladas pela internet, parecem condicioná-la. O facto de a capacidade empática parecer desenvolver-se sobretudo até ao final da adolescência sublinha a importância de se explorarem estratégias que a estimulem ao longo do percurso educativo, por maioria de razão numa era em que a tecnologia digital impregna crescentemente todas as dimensões da vida social. Deste cenário emerge a necessidade de se aprofundar o conhecimento sobre a empatia digital e refletir sobre estratégias educativas para a promover, traduzindo-se nos objetivos que orientaram esta tese. A investigação que a sustenta inclui uma revisão da literatura sobre empatia e sobre as metodologias usadas no seu estudo e promoção. Engloba também uma análise que se pretende crítica do lugar dos ecrãs no quotidiano dos jovens e das diferentes abordagens à relação da empatia com a tecnologia digital. Constituindo o som um veículo privilegiado para a conexão emocional, com características que o tornam resiliente aos ambientes digitais, a revisão abarca ainda uma exploração da literatura sugestiva das possibilidades oferecidas pelos estímulos auditivos e pela narrativa áudio na promoção da empatia.
Suportada nesta revisão, a investigação empírica abrange um estudo descritivo e outro quasi-experimental, envolvendo três instituições educativas de diferentes níveis de ensino e estudantes na faixa etária da adolescência (10-24 anos). 279 estudantes participaram no estudo descritivo e 228 no estudo quasi-experimental, dos quais 76 integraram o grupo experimental. O estudo descritivo mediu e comparou a empatia e a empatia digital dos participantes, através de um inquérito por questionário, construído a partir da adaptação de escalas de autorrelato usadas na investigação sobre empatia nesta faixa etária. No estudo quasi-experimental, foi avaliado o impacto de um programa educativo, concebido a partir da exploração das possibilidades oferecidas pelo som e pela narrativa. Suportado no modelo de aprendizagem baseada na experiência, o programa testado recorre à Educação para os Media com o objetivo de conciliar a aprendizagem técnica com a aprendizagem socioemocional. Organiza-se em dois módulos. O primeiro consiste num conjunto de dinâmicas de grupo em torno do tema da empatia e da sua relação com os ambientes digitais e com estímulos auditivos. O segundo considera o processo de produção de narrativas áudio com conteúdo emocional. O impacto da intervenção foi avaliado quantitativamente, através de um inquérito pré e pós-teste, e qualitativamente, pela análise das narrativas e de outros textos produzidos pelos participantes ao longo do programa.
Globalmente, os resultados do estudo descritivo revelam que a empatia digital é mais baixa do que a empatia e que a componente afetiva é mais baixa do que a componente cognitiva em ambas as escalas. Mostram também que as raparigas apresentam níveis mais elevados nos dois casos. Já a idade parece ser diferenciadora na empatia, mas não na empatia digital, com os resultados a sugerirem que esta não aumenta significativamente ao longo da adolescência, ao contrário daquilo que acontece com a empatia. Sustentam assim a necessidade de se programarem intervenções educativas para a estimular desde os primeiros anos da adolescência e abordando-a na sua multidimensionalidade. O impacto quantitativo da participação no programa avaliado no estudo quasi-experimental não se revelou significativo. Não obstante, a análise qualitativa dos dados sugere que ele constituiu uma oportunidade para a experimentação de práticas empáticas diferenciadas, afirmando-se como um instrumento facilitador da conciliação da aprendizagem técnica com o desenvolvimento da empatia, aplicável a diferentes fases da adolescência, níveis de ensino e contextos educativos.
As conclusões desta investigação reiteram as preocupações expressas na literatura sobre os impactos dos ambientes digitais no desenvolvimento da empatia entre os jovens e sugerem o potencial de programas baseados na produção de narrativas áudio com conteúdo emocional para promover a empatia em contexto educativo, enfrentando as condicionantes que lhe são colocadas pelos ambientes digitais. Com base nestas conclusões, os contributos desta investigação incluem a publicação de um manual, com o objetivo de permitir a disseminação do modelo educativo testado, e de um instrumento de medição da empatia e da empatia digital validado em língua portuguesa, que é, tanto quanto sabemos, o primeiro questionário do género que destaca os estímulos sonoros.

Palavras-chave: empatia digital; produção áudio; narrativa; educação.

Provas de Doutoramento em Media Digitais (PDMD): ”Hibridismo Urbano-Digital e Bem-Estar Social: Estratégias para Fortalecer a Conexão Social nas Cidades”

Candidato:
Acilon Himercírio Baptista Cavalcante

Data, Hora e Local:
26 de janeiro de 2026, 14:30, Sala Professor Joaquim Sarmento (G129) do DECG da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado c/ Agregação da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutora Isabel Alexandra Reis Gonçalves Ferreira, Investigadora do Centro de Estudos Sociais da Universidade de Coimbra;
Doutora Ivone Marília Carinhas Ferreira, Professora Auxiliar do Departamento de Ciências da Comunicação da Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa;
Doutora Ana Isabel Barreto Furtado Franco de Albuquerque Veloso, Professora Catedrática do Departamento de Comunicação e Arte da Universidade de Aveiro;
Doutor José Manuel Pereira Azevedo, Professor Catedrático do Departamento de Ciências da Comunicação e da Informação da Faculdade de Letras da Universidade do Porto (Orientador);
Doutora Maria Van Zeller de Macedo de Oliveira e Sousa, Professora Auxiliar Convidada do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto e Investigadora do Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência (INESC TEC).

Resumo:

Esta tese investiga a promoção do bem-estar social nas cidades a partir do conceito de hibridismo urbano-digital, o qual considera indissociáveis, no contexto urbano, as interações sociais e espaciais de natureza física e/ou digital. Partindo de uma revisão integrativa de literatura, foram identificados e categorizados indicadores capazes de avaliar, de forma mais abrangente, a eficácia de políticas públicas voltadas para a qualidade de vida em contextos urbanos mediados por tecnologia.
A revisão dos indicadores combinou metodologias tradicionais — como a utilizada no World Happiness Report, publicado pelas Nações Unidas — com métricas relacionadas à saúde física e mental, participação comunitária, perceção de segurança e vitalidade cultural, incorporando ainda variáveis emergentes derivadas do uso de meios digitais. A metodologia de investigação adaptou o mapeamento e a análise crítica desses indicadores à Cartografia da Felicidade de Marichela Sepe, aplicada a contextos de hibridismo urbano-digital, associada a experimentos empíricos de digital placemaking.
Foram conduzidos estudos de caso e experiências de digital placemaking nas cidades do Porto e da Póvoa de Varzim, envolvendo comunidades locais, instituições religiosas e escolas, explorando a mediação tecnológica como catalisadora de vínculos sociais e de ativação de espaços públicos. Mapas de calor das interações, combinados com dados qualitativos recolhidos no terreno, permitiram relacionar padrões de ativação urbana com a morfologia e a paisagem da cidade.
Como principal resultado, a investigação propõe três métricas centrais para a avaliação do bem-estar social em cidades híbridas: Sentimento de Pertencimento, Sentimento de Lugar e Sentimento de Comunidade, analisados nas suas dimensões urbanas, digitais e híbridas.
A principal contribuição consiste na formulação de um modelo integrado de avaliação do bem-estar social urbano, que combina métricas presenciais e digitais e oferece um referencial operativo para o planeamento urbano e para a formulação de políticas públicas, com o objetivo de promover cidades mais inclusivas, participativas e orientadas para o bem-estar coletivo.

Provas de Doutoramento em Engenharia Informática (ProDEI): ”Novel Computational Methodologies for Detailed Analysis of Human Motion from Image Sequences”

Candidato:
João Ferreira de Carvalho Castro Nunes

Data, Hora e Local:
12 de dezembro de 2025, às 14:00 na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutor Carlos Miguel Fernandes Quental, Professor Auxiliar do Departamento de Engenharia Mecânica do Instituto Superior Técnico, Universidade de Lisboa;
Doutor Hugo Pedro Martins Carriço Proença, Professor Catedrático do Departamento de Informática da Universidade da Beira Interior;
Doutor João Manuel Ribeiro da Silva Tavares, Professor Catedrático do Departamento de Engenharia Mecânica da Faculdade de Engenharia, Universidade do Porto (Orientador);
Doutor Luís Paulo Gonçalves dos Reis, Professor Associado com Agregação do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

A tese foi coorientada pelo Doutor Pedro Miguel do Vale Moreira, Professor Catedrático do Instituto Politécnico de Viana do Castelo.

Resumo:

A análise da marcha humana fornece informações essenciais sobre a função biomecânica, a avaliação clínica e o reconhecimento biométrico. No entanto, alcançar uma compreensão do movimento que seja precisa e reprodutível em condições reais continua a ser um desafio significativo. As técnicas tradicionais de captura de movimento dependem de infraestruturas dispendiosas e
de ambientes controlados, o que limita a sua escalabilidade e validade em contextos reais. Esta tese procura ultrapassar essas limitações através do desenvolvimento de metodologias computacionais que exploram simultaneamente informação RGB e de profundidade, de modo a permitir uma análise da marcha robusta, eficiente e totalmente automática, recorrendo a sensores de baixo custo. A investigação seguiu uma trajetória estruturada que integra a criação de um conjunto de dados, o desenho de novas representações e a inovação metodológica. Em primeiro lugar, foi realizada uma revisão e análise comparativa abrangente dos conjuntos de dados existentes baseados em visão e profundidade, identificando lacunas quanto à diversidade de modalidades, qualidade das anotações e acessibilidade. Para colmatar estas limitações, foi concebido, adquirido e disponibilizado publicamente o Gait Recognition Image and Depth Dataset (GRIDDS). O GRIDDS fornece dados sincronizados de RGB, profundidade, silhueta e esqueleto 3D de 35 participantes registados em condições controladas, constituindo um dos primeiros recursos multimodais normalizados para análise e reconhecimento da marcha. Com base neste fundamento, foram propostas duas novas representações computacionais da marcha que combinam informação bidimensional de aparência com estrutura esquelética tridimensional, aumentando a robustez face a variações de ponto de vista, vestuário e objetos transportados. Estas variantes da Gait Skeleton Image (GSI), baseadas em articulações e em segmentos lineares, foram integradas em arquiteturas de aprendizagem profunda e avaliadas extensivamente, demonstrando um desempenho competitivo, e algumas circunstâncias, por vezes superior, em comparação com métodos baseados em aparência, através de múltiplos conjuntos de dados e condições de variabilidade. Por fim, foram introduzidos novos métodos de interpolação de silhuetas de marcha, que combinam raciocínio geométrico determinístico (BRIEF) com aprendizagem profunda bidirecional (BiSINet), permitindo reconstruir frames em falta e melhorar a coerência temporal. As técnicas de interpolação propostas evidenciaram melhorias significativas na precisão do reconhecimento e forte capacidade de generalização entre diferentes conjuntos de dados e taxas de amostragem. Em conjunto, as contribuições deste trabalho, que abrangem a aquisição multimodal de dados, o desenvolvimento de representações robustas da marcha e a reconstrucção temporal, avançam as fronteiras científicas e tecnológicas da análise da marcha humana, promovendo a reprodutibilidade, acessibilidade e aplicabilidade tanto nos domínios clínico como na visão por computador.