Rendu basé image avec contraintes sur les gradients

Grégoire Nieto (1) , Frédéric Devernay (1) , James L. Crowley (2)

1 IMAGINE - Intuitive Modeling and Animation for Interactive Graphics & Narrative Environments
2 PERVASIVE - Interaction située avec les objets et environnements intelligents

Multi-view image-based rendering consists in generating a novel view of a scene from a set of source views. In general, this works by first doing a coarse 3D reconstruction of the scene, and then using this reconstruction to establish correspondences between source and target views, followed by blending the warped views to get the final image. Unfortunately, discontinuities in the blending weights, due to scene geometry or camera placement, result in artifacts in the target view. In this paper, we show how to avoid these artifacts by imposing additional constraints on the image gradients of the novel view. We propose a variational framework in which an energy functional is derived and optimized by iteratively solving a linear system. We demonstrate this method on several structured and unstructured multi-view datasets, and show that it numerically outperforms state-of-the-art methods, and eliminates artifacts that result from visibility discontinuities

Le rendu basé image consiste à générer un nouveau point de vue à partir d'un ensemble de photos d'une scène. On commence en général par effectuer une reconstruction 3D approximative de la scène, utilisée par la suite pour synthétiser l'image cherchée à partir des images sources. Malheureusement, les discontinuités dans les poids des images sources, dues à la géométrie de la scène ou au placement des caméras, causent des artefacts visuels dans la vue résultante. Dans cet article nous montrons qu'une façon d'éviter ces artefacts est d'imposer des contraintes supplémentaires sur le gradient de l'image synthétisée. Nous proposons une approche variationnelle suivant laquelle l'image cherchée est solution d'un système linéaire résolu de façon itérative. Nous testons la méthode sur plusieurs jeux de données multi-vues structurés et non-structurés, et nous montrons que non seulement elle est plus performante que les méthodes de l'état de l'art, mais elle élimine aussi les artefacts créés par les discontinuités de visibilité.

Domaines: Vision par ordinateur et reconnaissance de formes [cs.CV]; Synthèse d'image et réalité virtuelle [cs.GR]; Traitement des images [eess.IV]

Grégoire Nieto, Frédéric Devernay, James L. Crowley. Rendu basé image avec contraintes sur les gradients. Traitement du Signal, 2019, pp.1-26. ⟨10.3166/HSP.x.1-26⟩. ⟨hal-01900200⟩