Soute­nance de Thèse : Recons­truc­tion de scène dyna­mique à partir de plusieurs vidéos mono et multi­sco­piques par hybri­da­tion de méthodes « silhouettes » et « multi-stéréo­vi­sion »

Aujourd’­hui a eu lieu la soute­nance de thèse de Muhan­nad ISMAEL qui a ainsi obtenu son grade de docteur. Nous lui adres­sons toutes nos féli­ci­ta­tions.

Compo­si­tion du jury :

• Mme Raphaëlle CHAINE, Profes­seur de l’Uni­ver­sité Claude Bernard Lyon 1 – Rappor­teur
• M. Jacques VERLY, Profes­seur de l’Uni­ver­sité de Liège – Rappor­teur
• M. Mathieu DESBRUN, Profes­seur de la Cali­for­nia Insti­tute of Tech­no­logy (Caltech) – Exami­na­teur
• M. El Musta­pha MOUADDIB, Profes­seur de l’Uni­ver­sité de Picar­die Jules Verne – Président
• M. Philippe SOUCHET, Ingé­nieur R&D de XD Produc­tions – Invité
• M. Yannick REMION, Profes­seur de l’ Univer­sité de Reims Cham­pagne-Ardenne – Direc­teur de thèse
• Mme Céline LOSCOS-DUGUET, Profes­seur de l’Uni­ver­sité de Reims Cham­pagne-Ardenne – Co-direc­trise de thèse
• Mme Stépha­nie PREVOST, Maître de Confé­rences de l’Uni­ver­sité de Reims Cham­pagne-Ardenne – Co-enca­drante de thèse

Résumé :
La recons­truc­tion précise d’une scène 3D à partir de plusieurs camé­ras offre un contenu synthé­tique 3D à desti­na­tion de nombreuses appli­ca­tions telles que le diver­tis­se­ment, la télé­vi­sion et la produc­tion ciné­ma­to­gra­phique. Cette thèse propose une nouvelle approche pour la recons­truc­tion 3D multi-vues basée sur l’en­ve­loppe visuelle et la stéréo­vi­sion multi-oculaire. Cette approche néces­site en entré l’en­ve­loppe visuelle et plusieurs jeux d’images recti­fiées issues de diffé­rents unités multi­sco­piques consti­tuées chacune de plusieurs camé­ras aux centres optiques alignés et équi­dis­tants. Nos contri­bu­tions se situent à diffé­rents niveaux. Le premier est notre méthode de stéréo­vi­sion multi-oculaire qui est fondé sur un nouvel échan­tillon­nage de l’es­pace scénique et four­nit une carte de maté­ria­lité expri­mant la proba­bi­lité pour chaque point d’échan­tillon­nage 3D d’ap­par­te­nir à la surface visible par l’unité multi­sco­pique. Le second est l’hy­bri­da­tion de cette méthode avec les infor­ma­tions issues de l’en­ve­loppe visuelle et le troi­sième est la chaîne de recons­truc­tion basée sur la fusion des diffé­rentes enve­loppes creu­sées tout en gérant les infor­ma­tions contra­dic­toires qui peuvent exis­ter. Les résul­tats confirment : i) l’ef­fi­ca­cité de l’uti­li­sa­tion de la carte de maté­ria­lité pour trai­ter les problèmes qui se produisent souvent dans la stéréo­vi­sion, en parti­cu­lier pour les régions partiel­le­ment occul­tées ; ii) l’avan­tage de la fusion des méthodes de l’en­ve­loppe visuelle et de la stéréo­vi­sion multi-oculaire pour géné­rer un modèle 3D précis de la scène.

Abstract:
Accu­rate recons­truc­tion of a 3D scene from multiple came­ras offers 3D synthe­tic content to be used in many appli­ca­tions such as enter­tain­ment, TV, and cinema produc­tion. This thesis is placed in the context of the RECOVER3D colla­bo­ra­tive project, which aims is to provide effi­cient and quality inno­va­tive solu­tions to 3D acqui­si­tion of actors. The RECOVER3D acqui­si­tion system is compo­sed of seve­ral tens of synchro­ni­zed came­ras scat­te­red around the obser­ved scene within a chro­ma­key studio in order to build the visual hull, with seve­ral groups laid as multi­sco­pic units dedi­ca­ted to multi-base­line stereo­vi­sion. A multi­sco­pic unit is defi­ned as a set of aligned and evenly distri­bu­ted came­ras. This thesis proposes a novel frame­work for multi-view 3D recons­truc­tion relying on both multi-base­line stereo­vi­sion and visual hull. This method’s inputs are a visual hull and seve­ral sets of multi-base­line views. For each such view set, a multi-base­line stereo­vi­sion method yields a surface which is used to carve the visual hull. Carved visual hulls from different view sets are then fused itera­ti­vely to deli­ver the inten­ded 3D model. Further­more, we propose a frame­work for multi-base­line stereo-vision which provides upon the Dispa­rity Space (DS), a mate­ria­lity map expres­sing the proba­bi­lity for 3D sample points to lie on a visible surface. The results confirm i) the effi­cient of using the mate­ria­lity map to deal with commonly occur­ring problems in multi­ba­se­line stereo­vi­sion in parti­cu­lar for semi or partially occlu­ded regions, ii) the bene­fit of merging visual hull and multi-base­line stereo­vi­sion methods to produce 3D objects models with high preci­sion.