Candidato
Tiago André Queiroz Soares da Costa

Data, Hora e Local:
16 de setembro, às 14:30, na Sala de Atos da Faculdade de Engenharia da Universidade do Porto

Presidente do Júri:
Doutor Carlos Miguel Ferraz Baquero-Moreno, Professor Catedrático da Faculdade de Engenharia da Universidade do Porto

Vogais:
Doutora Klara Nahrstedt, Full Professor do Department of Computer Science da University of Illinois at Urbana-Champaign, Estados Unidos da América;
Doutor Pedro António Amado de Assunção, Professor Coordenador Principal do Departamento de Engenharia Eletrotécnica da Escola Superior de Tecnologia e Gestão do Instituto Politécnico de Leiria;
Doutor Luís António Pereira de Meneses Corte-Real, Professor Associado do Departamento de Engenharia Eletrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto;
Doutora Maria Teresa Magalhães da Silva Pinto de Andrade, Professora Auxiliar do Departamento de Engenharia Eletrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto (Orientadora).

Resumo:
Esta tese propõe uma abordagem inovadora para a distribuição de experiências multimédia imersivas, baseadas em conteúdos multivista. Para que tal seja possível, modelos baseados em Inteligência Artificial são utilizados em conjunto com dados de comportamento visual, recolhidos a partir dos utilizadores durante a apresentação de conteúdos multimédia, de modo a que seja possível prever o seu foco de interesse no futuro próximo. O principal objectivo desta tese consiste em dar aos utilizadores a possibilidade de desfrutarem de uma experiência multimédia imersiva, sem o recurso a equipamentos dispendiosos e permitindo que ele/ela possam visualizar a cena a partir de qualquer ângulo, como se estivessem efectivamente no local onde essa cena foi filmada. Uma abordagem metodológica foi definida com base na revisão da literatura existente e na identificação de lacunas presentes na área de streaming imersivo, tendo resultado na conceptualização de uma nova arquitectura, denominada por Smooth Multiview (SmoothMV). Esta arquitectura é capaz de analisar os dados de comportamento visual dos utilizadores em tempo real e preparar preventivamente a entrega dos conteúdos, com base no interesse demonstrado ao longo da visualização de uma cena. A informação visual dos utilizadores é capturada e fornecida sem que haja necessidade de utilização de equipamentos intrusivos, sendo estes dados processados recorrendo a um novo conceito que esta tese descreve, a matriz Hot&Cold. Segundo este conceito, o ecrã encontra-se dividido em nove regiões distintas, estando cada uma delas ligada a uma vista adjacente que a plataforma SmoothMV poderá preparar e apresentar em qualquer instante. Filas individuais, alocadas para apresentação e preparação de futuros segmentos associados a cada uma das vistas seleccionada, foram também introduzidas nesta plataforma. A introdução destas filas permite que a experiência do utilizador não seja comprometida, fruto da entrega de conteúdos com o menor atraso possível. O número total de vistas disponíveis, bem como a abordagem utilizada para a análise do comportamento dos utilizadores durante a visualização dos conteúdos e posterior selecção da vista a ser processada, afecta o modo como essas filas são geridas. A plataforma elaborada no decurso desta tese evoluiu de uma abordagem puramente reativa para uma arquitectura bipartida baseada em Inteligência Artificial, capaz de identificar com elevado grau de precisão qual a vista que melhor se adaptará aos interesses visuais do utilizador. O desenvolvimento de um novo conjunto de dados tratou-se de uma necessidade, dado que a informação disponibilizada por opções alternativas não eram adequadas ao cenário proposto. Após 128 sessões experimentais, conduzidas para recolha de dados visuais a partir de 45 participantes durante a visualização de conteúdos multi-perspectiva, o conjunto de dados Data2MV foi criado e disponibilizado publicamente. Os conceitos fundamentais e resultados práticos desta tese são considerados de importância significativa para o corpo de conhecimento da área de investigação em causa e fornecem um conjunto de ferramentas relevantes para o aperfeiçoamento das arquitecturas de distribuição de conteúdos multimédia multivista.

Palavras-chave: Multimédia; Transmissão; Multivista; Foco de Atenção; Inteligência Artificial.

Candidato

Luís Alberto Teixeira Aly

Data, Hora e Local

22 de julho, às 14:00, na Sala de Atos da FEUP

Presidente do Júri

Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação da Faculdade de Engenharia da Universidade do Porto

Vogais

Doutor Javier Enrique Jaimovich Fernández, Professor Associado do Departamento de Sonido da Facultad de Artes da Universidad de Chile, Chile;
Doutor William Ruddock Primett, Postdoctoral Researcher da School of Digital Technologies da Tallinn University, Estónia;
Doutora Carla Maria de Jesus Montez Fernandes, Investigadora Principal do Instituto de Comunicação (ICNOVA) da Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa;
Doutor Rui Pedro Amaral Rodrigues, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto;
Doutor Gilberto Bernardes de Almeida, Professor Auxiliar do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador).

A tese foi coorientada pelo Professor Hugo Plácido da Silva, do Instituto Superior Técnico.

Resumo

Esta tese, intitulada ’Emotion-driven Physiological Actor Dynamics for Interactive Theatre Sound,’embarca numa jornada exploratória na integração de respostas emocionais expressas por sinais fisiológicos e design de som no teatro. Esta pesquisa investiga a complexa relação entre os estados emocionais dos atores e os respetivos sinais fisiológicos, explora o impacto do som gerado a partir de dados fisiológicos na expressão emocional e agência dos atores, e examina como esta integração pode redefinir narrativas teatrais tradicionais. O estudo examina as experiências e percepções dos atores recorrendo a metodologias qual itativas e quantitativas. Utiliza grupos de foco, estudos observacionais, sensores fisiológicos e inquéritos para capturar e analisar os sinais fisiológicos e o feedback dos atores. Esta abordagem permite uma compreensão matizada da interação entre os aspectos fisiológicos e emocionais da atuação, lançando luz sobre como os atores incorporam e transmitem emoções complexas através das suas performances. Uma contribuição empírica crucial desta pesquisa é o dataset DECEIVER, que compreende um extensivo arquivo de gravações fisiológicas. Estas gravações fornecem informações valiosas sobre a consistência e variabilidade da expressão emocional em ambientes de performance teatral. Este conjunto de dados é de interesse para investigadores e profissionais da área na compreensão da reação entre expressão emocional e respostas fisiológicas em teatro. Além disso, a tese apresenta uma análise histórica abrangente do uso de sensores fisiológicos em música interativa, abrangendo o período de 1965 a 2023. Esta visão histórica não apenas traça a evolução tecnológica neste domínio, mas também prepara o terreno para entender as tendências atuais e os desenvolvimentos futuros. Ela contextualiza a pesquisa na trajetória mais ampla dos avanços tecnológicos, destacando as mudanças incrementais e, por vezes, revolucionárias que moldaram o estado atual dos sistemas de música interativa. A tese introduz uma taxonomia empírica e funcional para Sistemas Musicais Interativos impulsionados por sinais fisiológicos. Esta taxonomia representa uma contribuição significativa para o design e aplicação de Sistemas Musicais Interativos, fornecendo um quadro estruturado que pode guiar desenvolvimentos futuros no campo. Ela categoriza diferentes abordagens e metodologias na integração de dados fisiológicos em design de som, oferecendo uma compreensão abrangente do potencial e das limitações destes sistemas. A pesquisa também envolve o desenvolvimento de um protocolo experimental projetado para analisar os correlatos fisiológicos de valência emocional e excitação na atuação. Um sofisticado conjunto de ferramentas de software para processamento de dados complementa este protocolo. O design do protocolo sublinha a eficácia da elicitação em despoletar estados emocionais específicos e destaca a complexidade da expressão emocional em atores de teatro. Este aspecto da pesquisa fornece um modelo metodológico para futuros estudos que visam explorar temas e questões semelhantes. Biosignal Processing Toolbox, uma ferramenta de software para operações em tempo real que integra sinais fisiológicos com som, é central para o desenvolvimento do estudo. A Biosignal Processing Toolbox possibilita a criação de som de forma dinâmica e responsiva que interage com os atores, potenciando a expressão emcional através do som, e a narrativa teatral. A Biosignal Processing Toolbox está equipada para lidar com vários sinais fisiológicos, como eletromiografia, eletrocardiografia e atividade eletrodérmica, cada um oferecendo oportunidades e desafios únicos para a sonificação. A versatilidade da A Biosignal Processing Toolbox reside na sua capacidade de se adaptar e responder a diferentes entradas fisiológicas, tornando-o uma ferramenta eficaz para designers de som no teatro. Uma parte significativa da pesquisa foi um projeto tecno-artístico colaborativo, que utilizou o teatro de Samuel Beckett como pano de fundo. Este projeto levou ao desenvolvimento de um protótipo para um Sistemas Musicais Interativos impulsionado por sensores fisiológicos. Este projeto explorou as possibilidades transformadoras da integração de sensores fisiológicos e tipologias de gestos no teatro, oferecendo novas perspectivas sobre o desenvolvimento de personagens e a construção narrativa. O projeto demonstrou o potencial desta tecnologia para trazer uma nova dimensão às performances teatrais, permitindo uma experiência mais imersiva e interativa tanto para atores quanto para diretores artísticos. Apesar da sua natureza inovadora, a pesquisa reconhece os desafios e limitações de tais integrações tecnológicas. Estes incluem questões como a necessidade de processamento de dados em tempo real, a necessidade de calibração do sistema específico para cada ator, restrições técnicas e financeiras, requisitos de treino para atores e equipes de produção, garantindo o conforto e discrição dos sensores durante as performances, considerações éticas relacionadas ao uso de dados fisiológicos e a interpretação subjetiva de tais dados em contextos artísticos. Em conclusão, esta tese contribui para os estudos teatrais e para a arte de mídia interativa e fornece novas perspectivas para o design de som e treinamento de atores e contribui para o discurso mais amplo sobre a interseção da tecnologia com a arte.

Candidata
Maria José Gomes Pedroto

Data, Hora e Local
22 de julho, às 10:00, na Sala de Atos da FEUP

Presidente do Júri
Doutor Carlos Miguel Ferraz Baquero-Moreno, Professor Catedrático da Faculdade de Engenharia da Universidade do Porto

Vogais
Doutora Myra Spiliopoulou, Full Professor of Business Information Systems da Faculty of Computer Science da Otto-von-Guericke-University Magdeburg, Alemanha;
Doutor Manuel Filipe Vieira Torres dos Santos, Professor Associado com Agregação do Departamento de Sistemas de Informação da Escola de Engenharia da Universidade do Minho;
Doutor Alípio Mário Guedes Jorge, Professor Catedrático do Departamento de Ciência de Computadores da Faculdade de Ciências da Universidade do Porto (Orientador);
Doutor Rui Carlos Camacho de Sousa Ferreira da Silva, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

A tese foi coorientada pelo Doutor João Pedro Carvalho Leal Mendes Moreira, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

Resumo

Este trabalho foca-se em modelar e prever episódios Time-to-Event (TTE), e tem dois propósitos. O primeiro propósito é explorar o potencial de recorrer a dados genealógicos para previsão time-to-event. Adicionalmente, visa melhorar o diagnóstico feito pelos profissionais que trabalham com pacientes portadores de Hereditary Transthyretin Amyloidosis (ATTRv amyloidosis). Esta é uma doença genética, hereditária, altamente debilitante, com um passado histórico que transporta para as aldeias piscatórias da Póvoa do Varzim, no norte de Portugal.

Para explorar o valor dos dados genealógicos para previsão time-to-event, este trabalho tem contribuições em feature engineering, nomeadamente na área de construção e seleção de features. Para este propósito, explora e compara uma abordagem de sumarização focada na extração manual de características significativas de árvores genealógicas, com uma abordagem mais automatizada que usa embeddings. Contribui para model construction criando uma abordagem multivariada, orientada a dados, para rastrear o risco de um paciente desenvolver o início de sintomas em diferentes idades. Ainda neste campo, explora o impacto da combinação de diferentes modelos focados em previsão de idades, usando janelas temporais próximas. Finalmente, contribui para model evaluation, abordando as questões de implementação de uma abordagem que indica o retorno expectável em alterar um conjunto de diretrizes clínicas, tomando

partido de capacidades de previsão. Ainda neste campo, apresenta esquemas de avaliação robustos que suportam a abordagem multivariada orientada a dados na seleção do melhor modelo. A aplicação é focada em pacientes com ATTRv Amyloidosis. Para caraterizar o trabalho realizado, esta tese está estruturada em quatro secções principais. Começa com uma introdução e uma apresentação de ATTRv Amyloidosis tendo por base uma perspetiva histórica. Em seguida, apresenta o contexto relevante, relacionando a ligação entre previsão time-to-event com feature engineering, model construction e model evaluation. Em seguida, ainda neste âmbito, apresenta conceitos-chave de estudos genealógicos. Em seguida, apresenta as principais contribuições, na forma das principais publicações que constituem este trabalho (um artigo por capítulo). Termina com um epílogo que resume o trabalho realizado, partilha as principais conclusões e, por fim, discute a tese numa perspetiva técnica e clínica.

Palavras-chave: Dados Time-to-Event; Modelação de Dados; Modelos de Regressão.