Provas de Doutoramento em Engenharia Informática: ”Uncertainty interpretations for the robustness of object detection in self-driving vehicles”

Candidata:
Filipa Marília Monteiro Ramos Ferreira

Data, Hora e Local:
23 de julho de 2025, 14:30, Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Carlos Miguel Ferraz Baquero-Moreno, Professor Catedrático do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutor Tiago Manuel Lourenço Azevedo, Investigador Associado do Department of Computer Science and Technology da Universidade de Cambridge, Reino Unido;
Doutor Marco António Morais Veloso, Professor Coordenador do Departamento de Ciências e Tecnologia da Escola Superior de Tecnologia e Gestão de Oliveira do Hospital do Instituto Politécnico de Coimbra;
Doutor Luís Filipe Pinto de Almeida Teixeira, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto;
Doutor Rosaldo José Fernandes Rossetti, Professor Catedrático do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador).

Resumo:

Assegurar a fiabilidade e robustez de deep learning continua a ser um desafio urgente, particularmente com a tração atual para utilizar redes neuronais em aplicações de segurança crítica. Apesar de existir investigação extensiva focada em melhorar a eficácia destes modelos em variados bancos de dados, a generalisação, interpretabilidade e robustez no domínio de aplicação continuam pouco entendidas. Em cenários do mundo real, é frequente modelos falharem ou terem eficácia subpar sem uma explicação aparente. Para endreçar estas preocupações, quantificação de incerteza emergiu recentemente como uma direção chave de investigação, oferecendo uma vista mais aprofundada de redes neuronais e melhorando a confiança, interpretabilidade e robustez destes sistemas. Dentro das aplicações de segurança crítica, condução autónoma destaca-se como uma área onde deteção de objetos consciente da sua incerteza pode significativamente melhorar a perceção e o processo de tomada de decisão destes veículos. Esta tese explora interpretações de incerteza especificamente desenhadas para o âmbito de deteção de objetos no contexto de condução autónoma. Neste sentido, dois novos métodos para estimar o componente aleatórico e uma abordagem para modelar a incerteza epistémica são propostos. Através do uso de distribuições de âncoras já disponíveis em qualquer detetor de objetos baseado neste mecanismo, a incerteza é estimada holisticamente evitando procedimentos custosos de geração de amostragens. Para além disto, o conceito de existência é introduzido, traduzindo-se numa medida probabilística que indica se um objeto realmente existe no mundo real, independentemente da sua classificação. Construindo a partir destas ideias, três aplicações de incerteza e existência são exploradas, em concreto o Existence Map, o Uncertainty Map e a Existence Probability. Enquanto que os mapas de existência e incerteza codificam a medida de existência e a incerteza aleatórica no espaço dos exemplos de entrada, a probabilidade de existência combina a informação disponibilizada pelo Existence Map com o retorno standardizado do modelo, culminando numa avaliação dos dados mais completa. A avaliação mostra a coerência das estimativas de incerteza e demonstra a utilidade dos mapas de existência e incerteza a suportarem o modelo standardizado, permitindo capacidades de open-set e atribuindo um grau de confiança a verdadeiros e falsos positivos e a falsos negativos. A estratégia de fusão da probabilidade de existência reporta uma melhoria considerável na performance do detetor de objetos tanto em validação como em dados de perturbação, enquanto deteta todos os tipos de objetos apesar de o modelo ter sido apenas treinado em carros, peões e ciclistas.
A segunda parte desta tese apresenta um estudo sobre a distribuição de underspecification e a sua conexão com a incerteza epistémica. Underspecification, demonstrada recentemente, gravemente ameaça a utilização eficaz de deep learning em sistemas de segurança crítica visto que descreve a variabilidade de predictors gerados por uma arquitetura com desempenhos divergentes no domínio de aplicação. A análise feita mostra que, se a estimativa de incerteza estiver corretamente calibrada, um único predictor é suficiente para prever a dispersão da distribuição de underspecification, evitando custosas e repetidas sessões de treino. Para além disto, todos os métodos propostos são desenhados para serem independentes de modelo, compatíveis com processamento em tempo-real e aplicável a modelos já em utilização sem requerir novo treino, reinforçando a sua relevância para deteção de objetos robusta e interpretável em veículos autónomos.

Posted in Destaque, Eventos, Notícias, Provas PhD.