PAINTER

PAINTER

Procedurally Assisted INTErchangeable Reality

POCI-01-0145-FEDER-030740 –  PTDC/CCI-COM/30740/2017

With the democratization of the use of virtual and augmented reality devices a totally new way of creating and visualizing 3D environments has emerged. This presents a challenge for media content providers, to game developers, to technology mediated industry and multimedia consumers in general.

This project will design and implement a framework for the assisted creation and edition of virtual environments to be used collaboratively in Virtual Reality (VR) and Augmented Reality (AR). The objective is to explore new interaction paradigms for editing content inside VR with the assistance of AR markers and procedural content generated algorithms.

The main solution will be based in a central virtual simulation system capable of accepting connections with several AR-VR headsets, smartphones and interaction devices. This framework will be divided in three modules: 1) Content edition in VR, 2) Interaction VR-AR and 3) Procedural content generation.

The content edition in VR (1) will allow to invert the 3D creation process by bringing the user to the virtual world and allowing him to retouch in-loco the virtual objects.

The interaction between VR and AR (2) will allow additional users to collaborate in the creation process and to map real world objects to virtual world actions.

The procedural generation (3) of automatic content from external free sources will speed up the creation process of 3D scenes in VR.

The development of this framework will be important for the creation process of virtual environments and for the interaction in AR between real and virtual scenarios.

To evaluate the framework a Demonstrator will be created in the laboratory. Additionally, two use cases, one in an industrial environment, and other in a tourism location will showcase its features.

 

Sumário

Com a crescente popularidade dos dispositivos de realidade virtual (VR) e aumentada (AR) surgem novas formas de criar e visualizar ambientes 3D. Isto torna-se num novo desafio para os criadores e consumidores de conteúdo multimédia, programadores na área dos videojogos e para ramos da indústria que podem beneficiar destas tecnologias.

Este projeto irá conceber e implementar uma frameworkpara a criação e edição assistida e colaborativa de ambientes virtuais em realidade virtual e aumentada. O objetivo é explorar novos paradigmas de interação para a edição de conteúdo em realidade virtual com o suporte de realidade aumentada e geração procedimental de conteúdos.

A solução principal irá ser baseada num sistema centralizado de simulação virtual, capaz de aceitar conexões de múltiplos dispositivos de realidade aumentada ou virtual, smartphonese dispositivos de interação. Esta framework irá dividir se em três módulos: 1) Edição de conteúdo em VR; 2) Interação entre VR e AR; 3) Geração procedimental de conteúdos.

A edição de conteúdo em VR (1) permitirá inverter o processo de criação de conteúdos 3D ao trazer o utilizador para o mundo virtual em que se irá inserir o conteúdo, permitindo lhe retocar e explorar as criações.

A interação entre VR e AR (2) irá permitir colaboração simultânea entre utilizadores com vista à criação e mapeamento entre objetos e ações reais e as suas representações virtuais.

A geração procedimental de conteúdo (3) a partir de múltiplas fontes de dados e informação permitirá a criação e incorporação rápida e em grande escala de conteúdo para cenas 3D para ambientes virtuais.

O desenvolvimento desta framework será importante para o processo de criação de ambientes virtuais, bem como para a interação em AR entre ambientes reais e virtuais.

 

Coordinators

Rui Nóbrega
António Coelho

Collaborators

Rui Rodrigues
Luís Teixeira
Teresa Matos
A. Augusto Sousa
Maximino Bessa
Miguel Melo
Teresa Limpo
João Jacob
Carlos Campos

Acknowledgements

“Este trabalho é financiado por Fundos FEDER através do Programa Operacional Competitividade e Internacionalização – COMPETE 2020 e por Fundos Nacionais através da FCT – Fundação para a Ciência e a Tecnologia no âmbito do projeto POCI-01-0145-FEDER-030740 –  PTDC/CCI-COM/30740/2017

“This work is financed by the ERDF – European Regional Development Fund through the Operational Programme for Competitiveness and Internationalisation – COMPETE 2020 Programme and by National Funds through the Portuguese funding agency, FCT – Fundação para a Ciência e a Tecnologia within project  POCI-01-0145-FEDER-030740 –  PTDC/CCI-COM/30740/2017