Provas de Doutoramento em Media Digitais: ”Computing by going back in time: Composing video sequences through multimodal generative coordination”

Candidato:
Luís Henrique Pinto Arandas

Data, Hora e Local:
03 de junho, às 14:30, na Sala de Atos da FEUP

Presidente do Júri:
Doutor António Fernando Vasconcelos Cunha Castro Coelho, Professor Associado com Agregação da Faculdade de Engenharia da Universidade do Porto.

Vogais:
Doutora Luísa Maria Lopes Ribas, Professora Auxiliar do Departamento de Design de Comunicação da Faculdade de Belas-Artes da Universidade de Lisboa;
Doutor David Fernandes Semedo, Professor Auxiliar do Departamento de Informática da Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa;
Doutor André Sier, Professor Auxiliar Convidado do Departamento de Artes Visuais e Design da Universidade de Évora;
Doutor José Miguel Santos Araújo Carvalhais Fonseca, Professor Catedrático da Faculdade de Belas Artes da Universidade do Porto (Orientador);
Doutor Gilberto Bernardes de Almeida, Professor Auxiliar do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto.

A tese foi coorientada pelo Professor Doutor Mick Grierson, Professor in Computing, and research leader at the Institute of Creative Computing at the University of the Arts, London.

Resumo
Este projeto propõe um conjunto de métodos, inspirados na experiência humana de visão e tempo, para desenvolver sequências de vídeo utilizando modelos generativos treinados. Os métodos destinam-se à produção de sequências de vídeo com padrões derivados de modelos treinados, encontrados na literatura sobre metacriação e nas artes. Este projeto define possíveis futuros onde os modelos generativos podem ser reutilizados como oráculos em simulações que se centram na experiência humana de vídeo e imagens mentais; modelos que, devido à forma como são treinados através de arquivos e registos que representam o humano e o mundo físico, podem capturar os próprios media e representar momentos específicos no tempo.

Os resultados da investigação são em filme e instalação audiovisual, propondo como a intervenção e prática pode beneficiar da autorreferência, utilizando modelos generativos como sintetizadores de vídeo, som e texto. Os métodos produzidos tomam partido da linguagem natural como guia e da modelação generativa em formas que podem ser entendidas como: amostragem, sequenciação e translação, a partir da literatura da computação e design de IA. Cada resultado pode ser entendido em domínios maiores, como: 1) curtas-metragens a partir de texto, no filme Irreplaceable Biography, 2) instalações discursivas a partir de datasets, na instalação Time as meaning; e 3) curtas-metragens a partir de vídeo, no filme Man lost in the convergence of time e na colaboração all YIN no YANG. Esta investigação expande a prática generativa seguindo uma construção da linguagem na mente humana, no comportamento e na experiência visual como inspiração para a experiência de vídeo. Estes projetos contribuem para uma compreensão da direccionalidade e a representação do passado, utilizando sistemas de memória em rede que aprendem, e que são produzidos de acordo com estrutura encontrada na natureza e experiência humana.

Palavras-chave: Composição de vídeo; Modelos generativos; Viagens no tempo; Experiência visual humana; Representações preditivas.

Provas de Doutoramento em Engenharia Informática: ”Enhancing Research Data Lifecycle: Solving Observation-centric and Reproducibility Challenge”

Candidato
Artur Jorge da Silva Rocha

Data, Hora e Local
17 de maio, às 14h30, na Sala de Atos da FEUP

Presidente do Júri
Doutor Pedro Nuno Ferreira da Rosa da Cruz Diniz, Professor Catedrático da Faculdade de Engenharia da Universidade do Porto

Vogais
Doutor José Luís Brinquete Borbinha, Professor Catedrático do Departamento de Engenharia Informática do Instituto Superior Técnico da Universidade de Lisboa;
Doutora Irene Pimenta Rodrigues, Professora Associada do Departamento de Informática da Universidade de Évora;
Doutor Rosaldo José Fernandes Rossetti, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto;
Doutor Ademar Manuel Teixeira de Aguiar, Professor Associado do Departamento de Engenharia Informática da Faculdade de Engenharia da Universidade do Porto (Orientador).

 Resumo
“A observação é central para qualquer método de investigação, independentemente dos paradigmas utilizados. Desde as raízes observacionais do positivismo até às experiências individuais subjetivas do interpretativismo, a grande maioria dos estudos científicos, requer a observação repetida de características ao longo do tempo. Documentar as observações e os processos utilizados para as obter, captar o contexto das observações e identificar relações entre características observadas de uma forma estruturada e com significado é extremamente importante para a interpretabilidade e reprodutibilidade dos resultados de investigação. Denota-se que o esforço que precede o processamento de dados, incluindo etapas como limpeza e estruturação de dados, ultrapasse em muito o tempo gasto na escrita e adaptação dos algoritmos de processamento e análise. Assim, a existência de uma estrutura concetual instanciada em modelos, métodos e ferramentas para registar observações de forma estruturada, independentemente de sua natureza, juntamente com características e contexto associados, contribui para reduzir o esforço de pré-processamento e potencialmente para melhorar a qualidade dos resultados. Analogamente, os recursos derivados do processamento das observações originais podem beneficiar de uma abordagem semelhante, tornando os fluxos de trabalho em dados de investigação mais explícitos e reproduzíveis. Este trabalho de investigação está focado nas fases de coleção de dados e análise do ciclo de vida dos dados de investigação. Foi realizado no contexto de diversos projetos de investigação, ao longo de vários anos, tendo contribuído para a estruturação de conhecimento em diversos domínios científicos. A investigação levada a cabo incluiu a identificação de novas necessidades, a conceção e prototipagem de soluções inovadoras e a sua aplicação em contextos muito concretos de elevada disponibilidade para testar, refinar e validar as soluções propostas, as quais são consolidadas coletivamente como uma abordagem refinada para o ciclo de vida dos dados de investigação. Como resultado, este trabalho produziu contributos de diferentes tipos, dos quais se destacam os observation templates e a observation framework. Estes contributos principais foram validados no contexto dos projetos de investigação e publicações científicas.”

Creativity Talks | “ ‘Design thinking’ and its relationship to other disciplinary approaches” pelo Prof. Nathan Crilly

Os esforços para promover a criatividade centram-se frequentemente em encorajar as pessoas a envolverem-se no “design thinking”. Embora este termo tenha muitos significados diferentes, muitos deles centram-se na ideia de que mesmo os não-designers devem comportar-se mais como designers. Ou seja, as pessoas devem tratar tudo o que influenciam como se fosse algo que estivessem a conceber, quer se trate de um serviço, de uma organização, de legislação, de uma política ou de qualquer outra coisa. A aplicação do design thinking a estes projetos pode incluir (entre outras coisas) uma ênfase no desenvolvimento de uma compreensão dos utilizadores, na visualização de ideias e no teste iterativo de protótipos de soluções. Embora o design thinking seja muitas vezes considerado isoladamente, pode ser facilmente ligado a abordagens como o “pensamento sistémico” e o “pensamento empresarial”, que também são relevantes para a forma como os problemas são identificados, enquadrados e resolvidos.

Nesta palestra, o Prof. Nathan Crilly considerará a forma como estas diferentes abordagens estão relacionadas entre si e como estão relacionadas com outras abordagens semelhantes de outras disciplinas que nos podem apoiar na realização de trabalho criativo.

‘Design thinking’ and its relationship to other disciplinary approaches” será apresentada dia 23 de abril, às 18:00, no canal YouTube das CTalks, com a moderação do Prof. António Lucas Soares, docente do DEI.

Toda a informação sobre a palestra poderá ser vista na página web das Creativity Talks.

Nathan Crilly is Professor of Design at the University of Cambridge, where he researches human behaviour as it relates to design. This includes studying the behaviour of the people doing design work (e.g. designers’ creativity), and the experiences of those people who interact with design outcomes (e.g. users’ experiences). Nathan teaches design, creativity and communication at the undergraduate and postgraduate levels. He also teaches design thinking at the executive level, promoting innovation across a broad range of business sectors. Nathan plans, manages and conducts commercial research to deliver user insights for design projects focused on various markets, including consumer health, digital devices and sporting equipment.”

SEMINÁRIO | “Artificial Intelligence and Cybersecurity: The (lack of) security of Machine Learning models” por João Vitorino

Existem vários desafios tecnológicos e éticos que comprometem a fiabilidade dos modelos de Machine Learning. Um dos principais desafios é a falta de robustez, que é uma propriedade essencial para garantir que os modelos de ML são utilizados de forma segura. Melhorar a robustez não é tarefa fácil porque os modelos são inerentemente suscetíveis a amostras adversariais: amostras de dados com perturbações subtis que causam comportamentos inesperados. Os engenheiros de ML e os profissionais de segurança ainda não possuem os conhecimentos e as ferramentas necessárias para evitar tais perturbações, pelo que as amostras adversariais representam uma grande ameaça para o ML e para os sistemas inteligentes que dele dependem.

“Artificial Intelligence and Cybersecurity: The (lack of) security of Machine Learning models” será apresentado por João Vitorino (doutorando ProDEI), dia 21 de março, às 14:00, na sala I -115.

Sobre o palestrante:

João Vitorino é investigador do GECAD, uma unidade de I&D do ISEP, e doutorando na FEUP, no Programa Doutoral em Engenharia informática. Tem um Mestrado em Engenharia de Inteligência Artificial, para além de várias certificações nas áreas de IA e redes de computadores. Tem colaborado com várias empresas e instituições em projetos internacionais de I&D, e tem sido responsável pela concetualização e desenvolvimento de soluções de IA para várias aplicações reais de cibe segurança.

O foco do seu trabalho tem sido a robustez adversarial em domínios de dados tabulares complexos. Desenvolveu um método inteligente que executa ataques adversariais realistas e mecanismos de formação que fornecem modelos de ML seguros para tarefas complexas como a classificação de ciberataques.

João recebeu o prémio “2023 Outstanding MSc Thesis Award”, atribuído pela IEEE Portugal Section, com a tese “Realistic Adversarial Machine Learning to improve Network Intrusion Detection”, uma análise à  robustez dos algoritmos de machine learning, tendo sido proposto o método “AP2M – Adaptative Perturbation Pattern Method”.

DEI TALKS | “A Survey of Tasks Derived from or Related to Natural Language Inference” pelo Prof. Martin Víta

“Natural language inference (recognizing textual entailment task in the past) belongs to the most prominent tasks in current NLP, it is a keystone of natural language understanding. NLI can be stated as a classification task whether a given hypothesis can be inferred from a  given premise. In this talk, we are going introduce a large variety of tasks accompanied by illustrative examples and review corresponding state-of-the-art results. This talk may serve as starting point for anyone who want to apply new approaches and models to investigate these not so much known tasks (as well as apply them in downstream applications).”

A Survey of Tasks Derived from or Related to Natural Language Inference” será apresentada dia 23 de fevereiro, às 17:00, na sala I 025, com a moderação do Prof. Carlos Soares (DEI).

Martin Víta graduated at the Faculty of Mathematics and Physics, Charles University in Prague in the field of discrete models and algorithms. Later, he obtained PhD degree at the Faculty of Informatics, Masaryk University in Brno in natural language processing. Currently, he serves as an assistant professor at the Faculty of Informatics and Statistics, Prague University of Economics and Business where he teaches mathematics and text analytics. He is also a researcher at Czech Academy of Sciences where he focuses in ML and text mining topics.”

Creativity Talks | “Shaping Technology with Moral Imagination: The Creative Act of Value Sensitive Design” por Batya Friedman

A 13ª Creativity Talk, a primeira de 2024, terá como convidada a Professora Batya Friedman (University of Washington), pioneira em Value Sensitive Design (VSD), uma abordagem que tem em conta os valores humanos na conceção de sistemas técnicos. Demonstrará de que forma o seu trabalho nesta área resultou em construções teóricas robustas, dezenas de métodos inovadores e conjuntos de ferramentas práticas, como os Envisioning Cards. A conceção sensível aos valores foi amplamente adotada, sendo atualmente utilizada em arquitetura, informática biomédica, engenharia civil, segurança informática, energia, saúde global, interação homem-computador, interação homem-robótica, gestão da informação, teoria jurídica, filosofia moral, política tecnológica, transportes e planeamento urbano, entre outras áreas.

“Shaping Technology with Moral Imagination: The Creative Act of Value Sensitive Design” será apresentada dia 22 de fevereiro, às 18:00, no canal YouTube das C Talks, com a moderação da Prof. Eliana Santiago, Professora Auxiliar da Faculdade de Belas Artes da Universidade do Porto.

Toda a Informação sobre a palestra poderá ser vista na página web das Creativity Talks.

Batya Friedman is a Professor in the Information School and holds adjunct appointments in the Paul G. Allen School of Computer Science & Engineering, the School of Law, and the Department of Human Centered Design and Engineering at the University of Washington where she co-founded the Value Sensitive Design Lab and the UW Tech Policy Lab. At the heart of Dr. Friedman’s work lies a fascination with cultivating moral and technical imagination. Dr. Friedman pioneered value sensitive design (VSD), an approach to account for human values in the design of technical systems. Over the course of three decades, her work in value sensitive design has resulted in robust theoretical constructs, dozens of innovative methods, and practical toolkits such as the Envisioning Cards. Value sensitive design has had wide appeal globally where it has been used in architecture, biomedical health informatics, civil engineering, computer security, energy, global health, human-computer interaction, human-robotic interaction, information management, legal theory, moral philosophy, tech policy, transportation, and urban planning, among other fields. Additionally, value sensitive design is emerging in higher education, government, and industry as a key approach to address computing ethics and responsible innovation. Today, Dr. Friedman is working on open questions in value sensitive design including multi-lifespan design, and designing for and with non-human stakeholders – questions critical for the wellbeing of human societies and the planet.”

Apresentação dos Mestrados do DEI

Com o objetivo de dar a conhecer a oferta formativa do Departamento de Engenharia Informática ao nível dos Segundos Ciclos de Estudos, será promovida uma sessão de apresentação de todos os mestrados do DEI na tarde de quarta feira, dia 14 de fevereiro, no Auditório da FEUP.
Será uma oportunidade para os estudantes de licenciatura conhecerem com mais detalhe o funcionamento dos cursos, das suas áreas de estudo, empregabilidade e perspetivas associadas à frequência dos mestrados.
Esta sessão pretende orientar e esclarecer, facilitando assim um pouco mais a escolha na hora de submeter a candidatura.

Programa
14:45 | Abertura do Auditório
15:00 | Abertura da Sessão
15:15 | Apresentação M.EIC – Mestrado em Engenharia Informática e Computação (Prof. Rui Rodrigues)
15:30 | Apresentação M.IA – Mestrado em Inteligência Artificial (Prof. João Cardoso/ Prof. João Pedro Pedroso)
15:45 | Apresentação MM – Mestrado em Multimédia (Prof. Jorge Barbosa)
16:00 | Apresentação MCI – Mestrado em Ciência da Informação (Prof. Carla Teixeira Lopes)
16:15 | Apresentação MESW – Mestrado em Engenharia de Software (Prof. João Pascoal Faria)
16:30 | Apresentação MECD – Mestrado em Engenharia e Ciência de Dados (Prof. José Luís Borges)
16:45 | Esclarecimento de dúvidas (com intervenção do secretariado)

A sessão é livre, não necessita de inscrição. Estão todos convidados!

DEI TALKS | “Architectures for building Extraordinary Software” com Joseph Yoder, Graziela Simone Tonin, Neil Harrison e Filipe Correia

Quando se constroem sistemas complexos, poderá ser demasiado fácil focarmo-nos principalmente nas funcionalidades em detrimento das qualidades do software, especificamente as relacionadas com a arquitetura. A pressão para se adaptar e moldar o mercado exige que as organizações adicionem novas funcionalidades, acomodem novas interações e tenham novas equipas a trabalhar na adaptação do software. Alguns acreditam que, simplesmente seguindo as práticas Agile – começando o mais rápido possível, mantendo o código limpo e fazendo muitos testes – uma boa arquitetura surgirá por magia. Embora surja uma arquitetura, se não for prestada atenção suficiente à arquitetura e ao código, a dívida técnica e os problemas de design irão surgir até se tornarem confusos, dificultando a entrega de novas funcionalidades de forma rápida e fiável. Por vezes, uma arquitetura de software simples, que começa por ser pequena quando a comunicação é fácil, pode suportar alterações arquitetónicas guiadas e incrementais e pode evoluir gradualmente com o seu ambiente, mantendo-se adequada aos seus objetivos. Outras vezes não é assim tão simples: a arquitetura de software inicial pode ser pouco adequada para suportar as alterações necessárias ou a acumulação de decisões arquitetónicas não otimizadas (também conhecidas como dívida técnica arquitetónica) pode ser demasiado grave. É essencial ter uma arquitetura sustentável que possa evoluir ao longo do ciclo de vida do projeto. A arquitetura sustentável exige uma atenção permanente, especialmente quando há prioridades em evolução, muitos riscos técnicos e muitas dependências.

Esta será uma mesa redonda em que os participantes e os membros do painel convidados discutirão considerações arquitetónicas para a conceção de sistemas, especificamente sobre arquiteturas para a criação de software de excelência.

 “Architectures for building Extraordinary Software” será apresentada dia 7 de fevereiro, das 15:00 às 16:15, na sala B033 e será moderada por Carlos Duarte (DEI).

 

Short Bios:

 Joseph (Joe) Yoder is a research collaborator at IME/USP, president and a fellow of the Hillside Group (www.hillside.net), a group dedicated to improving the quality of software development, and is a founder and principal of the Refactory (www.refactory.com), a company focused on software architecture, design, implementation, consulting, and mentoring on all facets of software development. He is best known as an author of the “Big Ball of Mud” pattern, illuminating fallacies in software architecture. Joe is also a co-author of “A Scrum Book: The Spirit of the Game”; which includes 94 patterns and 2 pattern languages about getting the most out of Scrum. Joe teaches and mentors developers on agile and lean practices, architecture, flexible systems, clean design, patterns, refactoring, and testing. Joe has presented many tutorials and talks, arranged workshops, given keynotes, and helped organize leading international agile and technical conferences. Joe believes software is still too hard to change and wants to do something about this. Recently, the ACM recognized Joe as a Distinguished Member in the category of “Outstanding Engineering Contributions to Computing” and the Hillside Group awarded Joe as a Hillside Fellow.”

Graziela Simone Tonin has worked in the technology market for over 19 years in Brazil and abroad. Ph.D. in Computer Science. She received the US IBM World Award and the Women of Value Award. Graziela mentors and worked in several national entrepreneurship and innovation programs, such as Innovativa Brasil. Ambassador of Clube Bora Fazer, an entrepreneurship community. She works as a professor at Insper Institution, a Teacher of Executive Education and customized programs for C-Levels, and also is a professor in the Computer Science and Engineering program. She led the Women In Tech Project and co-leader in the Gender Front of the Diversity Committee at Insper. Graziela leads volunteer projects throughout Brazil through the Grupo Mulheres do Brasil. In addition, she is part of a worldwide research project that analyzes initiatives aimed at women in software engineering.”

Neil Harrison is a professor and former head of the Department of Computer Science at Utah Valley University, USA. He led the department for seven years, in which he directed the creation of three new baccalaureate programs and two new emphases within the BS in Computer Science program. He oversaw the rollout of a graduate program. He led the accreditation of the software engineering program, and the re-accreditation of the computer science program.
Dr. Harrison is the author of over twenty-five widely cited articles in the areas of software patterns, software architecture, and software engineering and organizations. He is the co-author of the book, “Organizational Patterns of Agile Software Development.” He has been a leader in the software patterns movement and is the namesake of the “Neil Harrison Shepherding Award”, which is awarded annually at patterns conferences. He has been an invited speaker and keynote speaker at conferences, including Agile Portugal. Dr. Harrison holds a PhD from the University of Groningen (the Netherlands), an MS from Purdue University and a BS from Brigham Young University, all in computer science.”

Filipe Correia is a professor of Software Engineering at the University of Porto / FEUP and a researcher at INESC TEC. In the past, he played other roles, from software architect to coach, to developer. His research interests tend to revolve around software design, architecture, agility, and DevOps. In the last few years, his work has been focusing on microservice-based architectures and the highly maintainable and flexible systems they allow to create, and on strategies to improve the Developer Experience across the software development lifecycle. You can find more information on Filipe’s website.”

Carlos Duarte (Moderador) is a software engineer and researcher at INESC TEC. He is also a PhD student at FEUP’s ProDEI, and an invited assistant lecturer at FEUP (software engineering course). He previously worked at DevScope. His research interests revolve around software architecture, more specifically architectural erosion and evolution. Currently, he is researching the relationship between architectural erosion and technical debt, and how software visualization techniques can help identify and prevent erosion from affecting software systems. His Master thesis focused on improving the refactoring experience in IDEs, allowing the creation of custom refactoring tools by describing detection and transformation patterns using a DSL. The thesis won the 2022 Vestas award for best Master thesis in informatics engineering at FEUP.”

DEI TALKS | “Let’s discuss about Models and Languages for embedded systems in Industry 4.0” pelo Prof. Julio Medina

“This talk proposes to have a conversation about the trends in conceptual modelling languages used for the design and analysis of real-time and embedded systems in the context of the ever changing industrial environments but never changing business demands”.

“Let’s discuss about Models and Languages for embedded systems in Industry 4.0” será apresentada dia 01 de fevereiro, às 11:00, na sala I-105, com a moderação do Prof. Gil Gonçalves (DEI).

Short Bio:
“Julio Medina is Associate Professor at Universidad de Cantabria, Spain. His main research areas include the modeling of real-time distributed systems for schedulability analysis and dependability, standards and languages for the representation of such models, and their usage for modular and component-based development software engineering strategies. He contributes to the OMG in the standardization of languages like SysML, MARTE, UCM, UTP, among others.”

Talk a Bit de volta para a sua 12ª edição

*Talk a Bit está de volta ao palco do Auditório da FEUP já no próximo sábado, dia 3 de fevereiro.

O tema desta 12ª edição, “Today’s Choices, Tomorrow’s World”, destacará o impacto profundo das decisões tecnológicas contemporâneas no futuro.

O programa contará com palestras e discussões esclarecedoras sobre Inteligência Artificial (IA) e o seu papel na saúde, cidades inteligentes e indústrias sustentáveis. Serão vários os especialistas que partilharão com o público o seu conhecimento sobre os mais recentes avanços tecnológicos e as suas implicações futuras, promovendo um ambiente propicio à aprendizagem e socialização.

Hugo Neves (MOG), Filipe Portela (IOTECH), Luís Valente (ILOF) e Tiago Reis (DIGESTAID) são presenças confirmadas na lista de oradores convidados, num programa em atualização que pode ser visto aqui.

As inscrições são gratuitas mas devem ser submetidas aqui.

*Talk a Bit é uma conferência tecnológica organizada pelos estudantes do Mestrado em Engenharia Informática e Computação da Faculdade de Engenharia da Universidade do Porto.