Candidato:
João Ferreira de Carvalho Castro Nunes

Data, Hora e Local:
12 de dezembro de 2025, às 14:00 na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutor Carlos Miguel Fernandes Quental, Professor Auxiliar do Departamento de Engenharia Mecânica do Instituto Superior Técnico, Universidade de Lisboa;
Doutor Hugo Pedro Martins Carriço Proença, Professor Catedrático do Departamento de Informática da Universidade da Beira Interior;
Doutor João Manuel Ribeiro da Silva Tavares, Professor Catedrático do Departamento de Engenharia Mecânica da Faculdade de Engenharia, Universidade do Porto (Orientador);
Doutor Luís Paulo Gonçalves dos Reis, Professor Associado com Agregação do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

A tese foi coorientada pelo Doutor Pedro Miguel do Vale Moreira, Professor Catedrático do Instituto Politécnico de Viana do Castelo.

Resumo:

A análise da marcha humana fornece informações essenciais sobre a função biomecânica, a avaliação clínica e o reconhecimento biométrico. No entanto, alcançar uma compreensão do movimento que seja precisa e reprodutível em condições reais continua a ser um desafio significativo. As técnicas tradicionais de captura de movimento dependem de infraestruturas dispendiosas e
de ambientes controlados, o que limita a sua escalabilidade e validade em contextos reais. Esta tese procura ultrapassar essas limitações através do desenvolvimento de metodologias computacionais que exploram simultaneamente informação RGB e de profundidade, de modo a permitir uma análise da marcha robusta, eficiente e totalmente automática, recorrendo a sensores de baixo custo. A investigação seguiu uma trajetória estruturada que integra a criação de um conjunto de dados, o desenho de novas representações e a inovação metodológica. Em primeiro lugar, foi realizada uma revisão e análise comparativa abrangente dos conjuntos de dados existentes baseados em visão e profundidade, identificando lacunas quanto à diversidade de modalidades, qualidade das anotações e acessibilidade. Para colmatar estas limitações, foi concebido, adquirido e disponibilizado publicamente o Gait Recognition Image and Depth Dataset (GRIDDS). O GRIDDS fornece dados sincronizados de RGB, profundidade, silhueta e esqueleto 3D de 35 participantes registados em condições controladas, constituindo um dos primeiros recursos multimodais normalizados para análise e reconhecimento da marcha. Com base neste fundamento, foram propostas duas novas representações computacionais da marcha que combinam informação bidimensional de aparência com estrutura esquelética tridimensional, aumentando a robustez face a variações de ponto de vista, vestuário e objetos transportados. Estas variantes da Gait Skeleton Image (GSI), baseadas em articulações e em segmentos lineares, foram integradas em arquiteturas de aprendizagem profunda e avaliadas extensivamente, demonstrando um desempenho competitivo, e algumas circunstâncias, por vezes superior, em comparação com métodos baseados em aparência, através de múltiplos conjuntos de dados e condições de variabilidade. Por fim, foram introduzidos novos métodos de interpolação de silhuetas de marcha, que combinam raciocínio geométrico determinístico (BRIEF) com aprendizagem profunda bidirecional (BiSINet), permitindo reconstruir frames em falta e melhorar a coerência temporal. As técnicas de interpolação propostas evidenciaram melhorias significativas na precisão do reconhecimento e forte capacidade de generalização entre diferentes conjuntos de dados e taxas de amostragem. Em conjunto, as contribuições deste trabalho, que abrangem a aquisição multimodal de dados, o desenvolvimento de representações robustas da marcha e a reconstrucção temporal, avançam as fronteiras científicas e tecnológicas da análise da marcha humana, promovendo a reprodutibilidade, acessibilidade e aplicabilidade tanto nos domínios clínico como na visão por computador.

Candidato:
Bernardo José Coelho Leite

Data, Hora e Local:
17 de novembro de 2025, às 14:00 na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:

Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático da Faculdade de Engenharia da Universidade do Porto

Vogais:

Doutor Hugo Ricardo Gonçalo Oliveira, Professor Associado do Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologia da Universidade de Coimbra;

Doutora Maria Luísa Torres Ribeiro Marques da Silva Coheur, Professora Associada do Departamento de Engenharia Informática do Instituto Superior Técnico da Universidade de Lisboa;

Doutor Luís Paulo Gonçalves dos Reis, Professor Associado com Agregação do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto;

Doutor Henrique Daniel de Avelar Lopes Cardoso, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador).

Resumo:

Os seres humanos colocam questões com frequência e têm sido desenvolvidos esforços para criar sistemas de Inteligência Artifical (IA) que façam o mesmo. Esta tarefa, conhecida como Geração de Questões (GQ), é um subcampo da geração de linguagem natural que visa produzir automaticamente questões relevantes e gramaticalmente corretas a partir de um determinado texto de referência. Uma das principais motivações para a GQ é apoiar tarefas morosas, como a criação manual de questões por parte dos professores. Embora os sistemas de GQ tenham melhorado significativamente, a correção gramatical por si só não garante um valor educativo nas questões geradas. Consequentemente, a adoção de ferramentas de GQ em contextos educativos continua a ser limitada.

Esta tese é motivada por três desafios principais identificados na GQ: (1) a fiabilidade das questões geradas pela IA; (2) a capacidade limitada do controlo da geração; (3) a reduzida aplicabilidade em línguas com menos recursos. Para abordar estes desafios, o foco incide na geração de questões de compreensão de leitura, de resposta aberta e de escolha múltipla, a partir de textos narrativos dirigidos a alunos do ensino básico. Relativamente ao desafio 1, analisamos e avaliamos a qualidade das questões geradas, identificando casos de sucesso e de insucesso. No desafio 2, reforçamos os mecanismos de controlo da geração, incorporando múltiplos atributos nas questões geradas, como elementos narrativos, grau de explicitude e nível de dificuldade. O desafio 3 é abordado através de uma atenção especial na Língua Portuguesa, que é morfologicamente rica, mas sub representada na investigação em GQ.

A abrangência da nossa metodologia vai desde abordagens iniciais baseadas em regras linguísticas e redes neuronais até técnicas mais avançadas de GQ com controlo, incluindo refinamento de modelos e prompting com nenhum ou poucos exemplos, usando modelos de linguagem de pequena e grande escala. Isto permite uma visão abrangente da evolução e desempenho dos sistemas de GQ ao longo das diferentes etapas. As contribuições incluem a aplicação e a adaptação sistemáticas de técnicas atuais de GQ, incluindo a elaboração de estudos que exploram o grau de controlo e a relevância educativa. São fornecidas, por isso, análises completas da qualidade das questões e são disponibilizados novos modelos e conjuntos de dados de GQ adaptados a línguas com menos recursos, como é o caso da Língua Portuguesa. A avaliação combina métricas de cálculo automático e análises centradas no utilizador, envolvendo especialistas, professores e alunos, cujas opiniões fornecem informações cruciais sobre a utilidade e eficácia das questões geradas.

Os resultados demonstram que é possível gerar questões bem formuladas com existência de resposta objetiva e passíveis de controlo. Embora as questões geradas pelos modelos se aproximem da qualidade daquelas criadas por seres humanos, continuam a verificar-se alguns problemas semânticos. Além disso, a geração de questões de escolha múltipla, em que as opções de resposta sejam eficazes para os alunos, continua a ser um desafio. As descobertas subjacentes sublinham a necessidade contínua da investigação na área da GQ no contexto educativo, especialmente através do apoio a línguas com menos recursos e na melhoria da fiabilidade dos sistemas automáticos de geração.