Intelligence artificielle pour la médiation de visites virtuelles 3D

Updated: 12 days ago
Location: Montbeliard, FRANCHE COMTE
Job Type: FullTime
Deadline: 16 May 2024

6 May 2024
Job Information
Organisation/Company

Université de Bourgogne-Franche-Comté
Research Field

Computer science » Informatics
Communication sciences » Media studies
Engineering
Researcher Profile

Recognised Researcher (R2)
Leading Researcher (R4)
First Stage Researcher (R1)
Established Researcher (R3)
Country

France
Application Deadline

16 May 2024 - 22:00 (UTC)
Type of Contract

Temporary
Job Status

Full-time
Offer Starting Date

2 Sep 2024
Is the job funded through the EU Research Framework Programme?

Not funded by an EU programme
Is the Job related to staff position within a Research Infrastructure?

No

Offer Description

(English version below)

Ce projet de thèse intéressera particulièrement les candidats aux doctorat ayant des compétences de développement informatique, un master 2 avec un rapport M2 à soutenir en juin 2024 max et note => 14, et ouverts à la création d'entreprise à l'issu du doctorat.

Résumé:

Ce projet consiste à poursuivre le développement d'un outil de visite virtuelle à distance, en utilisant les avancées en intelligence artificielle (IA), en 3D et réalité virtuelle (RV). Ce projet pluridisciplinaire se situe à l'intersection de l'informatique, des sciences de l'information et de la communication, des sciences cognitives, du design et de l'ingénierie.

L'objectif principal est de créer un assistant intelligent basé sur l'IA générative, permettant de personnaliser et d'enrichir les visites virtuelles en rendant l'expérience interactive et ludique. Contrairement aux outils actuels qui se limitent à la création de jumeaux numériques, puis à la mise à disposition d'un simple outil d'exploration libre, cet outil vise à scénariser les visites virtuelles en tirant partie des avancées de l'intelligence artificielle générative.

Cette thèse offre l'opportunité de tester cette innovation sur différents terrains, en particulier le site UNESCO  de la Colline-Notre-Dame-Du-Haut (Le Corbusier), partenaire avec lequel ce projet est né.

En plus de développer cet outil, le doctorant ou la doctorante devra étudier la potentialité de créer une entreprise pour valoriser cette innovation dans divers secteurs : tourisme culturel, éducation à distance, visite d'entreprise, ecommerce, patrimoine immobilier, etc.

Ainsi, cette recherche pourrait conduire à la création d'une start-up innovante qui exploitera ce nouvel outil sur un marché en croissance, avec des perspectives d'expansion régionale, nationale et internationale dans le domaine de la réalité virtuelle.

1. Domaine Scientifique et Technique :

Le travail de thèse est pluridisiplinaire. Il prend naissance dans les sciences de l'information et de la communication, à l'intersection de l'informatique, des sciences cognitives, des sciences du design et de l'ingénieur, autour des technologies de l'intelligence artificielle (IA), de la réalité virtuelle (RV) et de la médiation des savoirs et de la culture. Il explore les avancées technologiques actuelles permettant le développement d'un outil novateur de visite virtuelle à distance en intégrant une IA générative en direction de larges publics. Les domaines spécifiques incluent le traitement du langage naturel, la vision par ordinateur, la modélisation 3D, et l'interaction homme-machine.

2. Sujet de Thèse et Originalité :

La thèse se concentre sur le développement, l'implémentation et l'optimisation d'un assistant intelligent basé sur l'IA générative pour soutenir la création et l'expérience de visites virtuelles à distance personnalisées. Alors que les outils de visites virtuelles se contentent de créer des jumaux numériques, il n'existe pas d'outil permettant de générer une visite de qualité, de la rendre interactive voire ludique, ni de répondre à des questions à partir de documents internes ou d'archives numériques. Tous ces aspects sont rendus possibles grâce au projet EXPLORE (Hulin, 2023) (1) effectué avec notre partenaire UNESCO la Colline-Notre-Dame-Du-Haut (Ronchamp, Hauts-de-Saône), avec laquelle nous avons créé un outil de création de visites virtuelles pour les guides-conférenciers. Les guides peuvent créer et scénariser une visite en direciton de publics empêchés, notamment les personnes à mobilité réduite (PMR), internationaux ou scolaires, avec différentes fonctionnalités innovantes comme la scénarisation des évènements de la visite, l'insertion d'éléments multimédias et interactifs, des déplacements automatisés, le passage du 3D au 360°, le changement de temporalité, etc.

La thèse permettra, d'une part, de tester la transposition de l'innovation vers de nouveaux terrains publics et privés et d'en évaluer la qualité de l'expérience utilisateur ainsi que l'apport cognitif ; d'autre part, d'enrichir l'outil par l'ajout de services intelligents capables de discuter avec le créateur de visite, de générer automatiquement une visite, et d'animer la visite. L'IA sera nourrie à partir de documents internes propres à la structure utilisant le système de visite virtuelle, ce qui lui permettra de répondre à des questions en lien avec la visite, durant l'édition ou l'animation.

L'originalité de ce projet réside donc dans le développement d'un service innovant pouvant aider des acteurs souhaitant proposer des visites de lieux patrimoniaux, de sites naturels ou d'entreprises.

3. Applications Potentielles des Travaux :

Les travaux de thèse permettront de commercialiser le produit final dans le cadre de la création d'une start-up. En effet, un outil de guidage intelligent permet de générer des visites virtuelles autonomes ou accompagnées dans de multiples secteurs, notamment ceux du tourisme culturel, du sport, de la médiation patrimoniale, de l'éducation et de la formation à distance, mais aussi de la valorisation du patrimoine immobilier, pour mieux vendre un logement ou pour effectuer une visite d'entreprise, des portes ouvertes, etc.

D'autre applications peuvent concerner la recherche scientifique comme en témoigne la visite virtuelle de Notre-Dame-de-Paris et les recherches effectuées sur ce projet avec l'aide de l'université de Franche-Comté (cf. le rôle du laboratoire Chrono-Environnement via Clara Penagos, CNRS, UFC).

4. Type d’Entreprise Valorisable :

Le type d'entreprise visé est de type entreprise innovante, une start-up qui aura besoin d'effectuer une levée de fonds afin de s'imposer sur un marché considéré comme étant en croissance avec peu d'acteurs occupant le terrain. La structure juridique visée est une Société Anonyme.

5. Ouverture à un Nouveau Marché ou Activité pour une Start-up Régionale :

La région Bourgogne-Franche-Comté offre de nombreuses opportunités pour valoriser son patrimoine culturel et naturel et attirer des touristes distants notamment internationaux grâce à la réalité virtuelle. De nombreuses entreprises seront intéressées pour organiser des visites à distance, mais aussi des formations à distance.

A l'échelle nationale et internationale, la start-up pourra aussi trouver de nouveaux clients. En effet, la taille du marché de la réalité virtuelle est estimée à 67,66 milliards USD en 2024 et devrait atteindre 204,35 milliards USD dici 2029, avec une croissance de 24,74 % au cours de la période de prévision (2024-2029) (3)

La thèse offre une opportunité exceptionnelle pour créer une start-up régionale axée sur l'innovation pour répondre aux besoins locaux en matière de valorisation du patrimoine, mais aussi étendre son impact à l'échelle nationale voire internationale, en développant des partenariats avec d'autres sites culturels et touristiques. L'entreprise pourrait également explorer des marchés connexes tels que la formation virtuelle, le marché B2B et la promotion immobilière.


(1) EXPLORE : EXPeriences & virtuaL tOuR for hEritage, 2023.


(2) Source : https://www.lemonde.fr/sciences/video/2024/03/04/comment-les-chercheurs-travaillent-sur-le-double-virtuel-de-notre-dame-de-paris_6220025_1650684.html


(3) Source: https://www.mordorintelligence.com/fr/industry-reports/virtual-reality-…

 

Connaissances et compétences requises

Développement informatique, master avec 14 de moyenne et/ou 14 au rapport de master 2 soumis juin 2024, avec de préférence une expérience en C#, modélisation 3D et expérience avec Unreal Engine ou Unity 3D. Une appétence pour la création d'entreprise de type start-up, une capacité à comprendre un marché et un environnement économique serait apprécié.
 

ENGLISH VERSION

This thesis project will be of particular interest to doctoral candidates with IT development skills, a master 2 with an M2 report to be defended in June 2024 max and score => 14, and open to business creation at the end of the doctorate .

Summary:

This project consists of continuing the development of a remote virtual tour tool, using advances in artificial intelligence (AI), 3D and virtual reality (VR). This multidisciplinary project is located at the intersection of computer science, information and communication sciences, cognitive sciences, design and engineering.

The main objective is to create an intelligent assistant based on generative AI, allowing you to personalize and enrich virtual tours by making the experience interactive and fun. Unlike current tools which are limited to the creation of digital twins, then the provision of a simple free exploration tool, this tool aims to script virtual tours by taking advantage of advances in generative artificial intelligence.

This thesis offers the opportunity to test this innovation on different sites, in particular the UNESCO site of Colline-Notre-Dame-Du-Haut (Le Corbusier), a partner with whom this project was born.

In addition to developing this tool, the doctoral student will have to study the potential of creating a business to promote this innovation in various sectors: cultural tourism, distance education, company visits, e-commerce, real estate, etc.

Thus, this research could lead to the creation of an innovative start-up which will exploit this new tool in a growing market, with prospects for regional, national and international expansion in the field of virtual reality.

1. Scientific and Technical Field:

The thesis work is multidisciplinary. It originates in information and communication sciences, at the intersection of computer science, cognitive sciences, design and engineering sciences, around artificial intelligence (AI) technologies, virtual reality (VR) and the mediation of knowledge and culture. It explores current technological advances allowing the development of an innovative remote virtual tour tool by integrating generative AI aimed at large audiences. Specific areas include natural language processing, computer vision, 3D modeling, and human-computer interaction.

2. Thesis Subject and Originality:

The thesis focuses on the development, implementation and optimization of a generative AI-based intelligent assistant to support the creation and experience of personalized remote virtual tours. While virtual tour tools simply create digital twins, there is no tool to generate a quality tour, to make it interactive or even fun, nor to answer questions from internal documents or digital archives. All these aspects are made possible thanks to the EXPLORE project (Hulin, 2023) (1) carried out with our UNESCO partner Colline-Notre-Dame-Du-Haut (Ronchamp, Hauts-de-Saône), with which we have created a tool creating virtual tours for guide-lecturers. Guides can create and script a visit for disabled audiences, notably people with reduced mobility (PRM), international or schoolchildren, with various innovative features such as scripting the events of the visit, insertion of multimedia and interactive elements , automated movements, the transition from 3D to 360°, the change in temporality, etc.

The thesis will, on the one hand, test the transposition of innovation to new public and private areas and evaluate the quality of the user experience as well as the cognitive contribution; on the other hand, to enrich the tool by adding intelligent services capable of chatting with the tour creator, automatically generating a tour, and animating the tour. The AI will be fed from internal documents specific to the structure using the virtual tour system, which will allow it to answer questions related to the visit, during editing or animation.

The originality of this project therefore lies in the development of an innovative service that can help stakeholders wishing to offer visits to heritage places, natural sites or businesses.

3. Potential Applications of the Work:

The thesis work will make it possible to commercialize the final product as part of the creation of a start-up. Indeed, an intelligent guiding tool makes it possible to generate autonomous or accompanied virtual tours in multiple sectors, notably those of cultural tourism, sport, heritage mediation, education and distance training, but also the enhancement of real estate assets, to better sell housing or to carry out a company visit, open days, etc.

Other applications may concern scientific research as evidenced by the virtual tour of Notre-Dame-de-Paris and the research carried out on this project with the help of the University of Franche-Comté (see the role of the Chrono laboratory -Environment via Clara Penagos, CNRS, UFC).

4. Type of Valuable Business:

The type of company targeted is an innovative company, a start-up which will need to raise funds in order to establish itself in a market considered to be growing with few players occupying the field. The legal structure targeted is a Limited Company.

5. Opening to a New Market or Activity for a Regional Start-up:

The Burgundy-Franche-Comté region offers numerous opportunities to promote its cultural and natural heritage and attract distant tourists, particularly international ones, thanks to virtual reality. Many companies will be interested in organizing remote visits, but also remote training.

On a national and international scale, the start-up will also be able to find new customers. Indeed, the virtual reality market size is estimated to reach USD 67.66 billion in 2024 and is expected to reach USD 204.35 billion by 2029, growing at 24.74% during the forecast period (2024- 2029) (3)

The thesis offers an exceptional opportunity to create a regional start-up focused on innovation to meet local needs in terms of heritage development, but also to extend its impact on a national or even international scale, by developing partnerships with other cultural and tourist sites. The company could also explore related markets such as virtual training, B2B market and real estate development.

(1) EXPLORE: EXPERIENCES & VIRTUAL TOUR FOR HERITAGE, 2023.

(2) Source: https://www.lemonde.fr/sciences/video/2024/03/04/comment-les-chercheurs… .html

(3) Source: https://www.mordorintelligence.com/fr/industry-reports/virtual-reality-…

Required knowledge and skills

IT development, master with 14 average and/or 14 in master 2 report submitted June 2024, with preferably experience in C#, 3D modeling and experience with Unreal Engine or Unity 3D. An appetite


Funding category: Autre financement public
Région Bourgogne-Franche-Comté DISPOSITIF « ITINERAIRE CHERCHEURS ENTREPRENEURS - ICE »
PHD title: Doctorat en sciences de l'information et de la communication
PHD Country: France


Requirements
Specific Requirements

Niveau attendu : Master 2, en informatique ou pouvant démontrer de très bonnes capacités en développement informatique, en particulier 3D et/ou IA ; résultats universitaires de qualité (moy. master =>14), soutenance du mémoire effectuée ou prévue dans un délai proche avec 14/20 au minimum. Formation en commerce/étude de marché/création d'entreprise ou fort intérêt pour la création d'une start-up.

Disciplines concernées : informatique ; sciences de l'ingénieur ; sciences de l'information et de la communication.

Langues maîtrisées : français, anglais.

 

Requirements: Master 2, in computer science or able to demonstrate very good skills in computer development, in particular 3D and/or AI; quality academic results (average master =>14), dissertation defense completed or planned within a short time frame with a minimum of 14/20. Training in business/market research/business creation or strong interest in creating a start-up.

Disciplines concerned: computer science; engineering Sciences ; information and communication sciences.

Languages mastered: French, English.

 


Additional Information
Work Location(s)
Number of offers available
1
Company/Institute
Université de Bourgogne-Franche-Comté
Country
France
City
Montbéliard
Geofield


Where to apply
Website

https://www.abg.asso.fr/fr/candidatOffres/show/id_offre/123670

Contact
Website

http://elliadd.univ-fcomte.fr/

STATUS: EXPIRED