Candidato:
Bernardo José Coelho Leite
Data, Hora e Local:
17 de novembro de 2025, às 14:00 na Sala de Atos da Faculdade de Engenharia da Universidade do Porto
Presidente do Júri:
Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático da Faculdade de Engenharia da Universidade do Porto
Vogais:
Doutor Hugo Ricardo Gonçalo Oliveira, Professor Associado do Departamento de Engenharia Informática da Faculdade de Ciências e Tecnologia da Universidade de Coimbra;
Doutora Maria Luísa Torres Ribeiro Marques da Silva Coheur, Professora Associada do Departamento de Engenharia Informática do Instituto Superior Técnico da Universidade de Lisboa;
Doutor Luís Paulo Gonçalves dos Reis, Professor Associado com Agregação do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto;
Doutor Henrique Daniel de Avelar Lopes Cardoso, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador).
Resumo:
Os seres humanos colocam questões com frequência e têm sido desenvolvidos esforços para criar sistemas de Inteligência Artifical (IA) que façam o mesmo. Esta tarefa, conhecida como Geração de Questões (GQ), é um subcampo da geração de linguagem natural que visa produzir automaticamente questões relevantes e gramaticalmente corretas a partir de um determinado texto de referência. Uma das principais motivações para a GQ é apoiar tarefas morosas, como a criação manual de questões por parte dos professores. Embora os sistemas de GQ tenham melhorado significativamente, a correção gramatical por si só não garante um valor educativo nas questões geradas. Consequentemente, a adoção de ferramentas de GQ em contextos educativos continua a ser limitada.
Esta tese é motivada por três desafios principais identificados na GQ: (1) a fiabilidade das questões geradas pela IA; (2) a capacidade limitada do controlo da geração; (3) a reduzida aplicabilidade em línguas com menos recursos. Para abordar estes desafios, o foco incide na geração de questões de compreensão de leitura, de resposta aberta e de escolha múltipla, a partir de textos narrativos dirigidos a alunos do ensino básico. Relativamente ao desafio 1, analisamos e avaliamos a qualidade das questões geradas, identificando casos de sucesso e de insucesso. No desafio 2, reforçamos os mecanismos de controlo da geração, incorporando múltiplos atributos nas questões geradas, como elementos narrativos, grau de explicitude e nível de dificuldade. O desafio 3 é abordado através de uma atenção especial na Língua Portuguesa, que é morfologicamente rica, mas sub representada na investigação em GQ.
A abrangência da nossa metodologia vai desde abordagens iniciais baseadas em regras linguísticas e redes neuronais até técnicas mais avançadas de GQ com controlo, incluindo refinamento de modelos e prompting com nenhum ou poucos exemplos, usando modelos de linguagem de pequena e grande escala. Isto permite uma visão abrangente da evolução e desempenho dos sistemas de GQ ao longo das diferentes etapas. As contribuições incluem a aplicação e a adaptação sistemáticas de técnicas atuais de GQ, incluindo a elaboração de estudos que exploram o grau de controlo e a relevância educativa. São fornecidas, por isso, análises completas da qualidade das questões e são disponibilizados novos modelos e conjuntos de dados de GQ adaptados a línguas com menos recursos, como é o caso da Língua Portuguesa. A avaliação combina métricas de cálculo automático e análises centradas no utilizador, envolvendo especialistas, professores e alunos, cujas opiniões fornecem informações cruciais sobre a utilidade e eficácia das questões geradas.
Os resultados demonstram que é possível gerar questões bem formuladas com existência de resposta objetiva e passíveis de controlo. Embora as questões geradas pelos modelos se aproximem da qualidade daquelas criadas por seres humanos, continuam a verificar-se alguns problemas semânticos. Além disso, a geração de questões de escolha múltipla, em que as opções de resposta sejam eficazes para os alunos, continua a ser um desafio. As descobertas subjacentes sublinham a necessidade contínua da investigação na área da GQ no contexto educativo, especialmente através do apoio a línguas com menos recursos e na melhoria da fiabilidade dos sistemas automáticos de geração.



