La vue étant probablement le sens le plus
utilisé (en tout cas par l'informatique), les technologies permettant de
réaliser des images de synthèse sont très importantes en
ce qui concerne la réalité virtuelle.
La réalisation d'images de synthèse obéit
à 3 étapes :
- La modélisation :
L'élaboration d'une image commence par la constitution
d'un modèle de l'objet, appelé maquette numérique, qui est
la représentation informatique de cet objet à partir
d'informations géométriques. La méthode la plus classique
consiste à raisonner en termes de surfaces. Chaque objet peut être
décomposé en « facettes », ou polygones, qui,
mis bout à bout, permettent de rendre compte de l'enveloppe
extérieure d'un solide. Plus une maquette comporte de polygones, plus
l'image qui en résulte est précise.
Au moment de l'affichage, l'objet ainsi reproduit se
présente sous la forme d'une juxtaposition de facettes, dite
« structure en fil de fer ». Il s'agit d'une
représentation purement géométrique qui ne prend pas en
compte les caractéristiques optiques de l'objet. Pour prendre un
exemple, un dé comporte six faces, dont trois seulement au maximum sont
visibles en même temps, puisque chaque face masque plusieurs autres. Dans
la maquette numérique, en fil de fer, les six faces sont
représentées.
Une fois les objets modelés, ils peuvent être
animés.
- L'animation
Pour chaque objet, on indique comment il va évoluer
dans le temps et dans l'espace, avec des algorithmes qui
reproduisent des mouvements ou des lois de comportement (dynamique,
cinématique, déformation, vieillissement...). Lorsqu'un
comportement humain n'obéit à aucune « loi »
déterminée (la marche, la danse, par exemple), l'animation peut
être réalisée en partant des mouvements analysés sur
une personne déterminée. Ce procédé, dit de
« motion capture », consiste à placer sur une
personnes un certain nombres de capteurs qui vont rendre compte avec
précision des mouvements réalisés. Il est ainsi possible,
par exemple, de capturer le mouvement d'un joueur de football pour pouvoir
ensuite le reproduire sous la forme d'image de synthèses.
- Le rendu
C'est le calcul du rendu qui fabrique véritablement
l'image de synthèse. Le calcul varie selon l'utilisation de l'image,
selon le degré de réalisme que l'on cherche et la puissance de la
machine utilisée.
Le rendu se décompose en plusieurs phases :
Le texturage : Chaque objet a
un aspect, une texture, qui permet de déceler en un instant s'il s'agit
de pierre, de bois, de tissus... Le texturage consiste à appliquer sur
une surface un motif qui respecte les caractéristiques d'une
matière, pour suggérer visuellement la nature de cette surface,
comme par exemple le revêtement d'un mur ou une peau sur un squelette (en
l'espèce, le modèle géométrique). Le texturage est
l'une des principales composantes du rendu réaliste de l'image.
Une fois texturée, l'image doit faire l'objet du traitement des
ombres et des intensités de lumière (lorsque le passage de
l'ombre à la lumière se fait de manière continue : chaque
point est affecté d'une luminosité différente,
créant un dégradé de couleur qui permet de rendre compte
des éclairages). Les propriétés de réflexion des
objets rentrent aussi en jeu : chaque matériau, en effet absorbe ou
renvoie la lumière. Cette propriété va jouer sur l'objet
lui-même (les reflets, le scintillement) mais aussi sur les objets
à proximité, puisque la lumière est envoyée sur les
objets voisins.
Il existe divers techniques de rendu. Le « lancer de
rayons » ou ray tracing, permet d'obtenir un
« réalisme rutilant », par une simulation de
l'optique géométrique, les rayons se reflètent ou se
réfractent selon les matériaux. La radiosité permet
d'obtenir un « réalisme feutré »
calculé à partir des propriétés de
réflectivité des matériaux. La lumière est
analysée comme échange d'énergie entre surfaces, ce qui
permet d'obtenir des lumières tamisées et des pénombres.
- Le « temps réel »
La caractéristique qui différencie la
représentation en 3D utilisée pour la réalité
virtuelle de celle utilisée dans les films d'animations est le temps de
calcul. En effet, pour une bonne fluidité d'image, les opérations
d'animations, de texturage, d'ombrage...doivent être effectuées au
minimum 30 fois par seconde, et avec un temps de réponse aux commandes
de l'utilisateur très bref.
Il faut donc des machines suffisamment puissantes.