En décembre dernier, Google Photos a ajouté une nouvelle fonctionnalité intéressante: les photos cinématiques. Ils peuvent être générés automatiquement à partir de l’application, en cliquant sur la section des faits saillants récents.
Comment les photos cinématiques fonctionnent-elles dans Google Photos?
Du Blog de Google ils voulaient expliquer comment ils parviennent à donner du mouvement aux photos, leur donnant un effet 3D si accrocheur. Comme toujours, ils utilisent leurs réseaux de neurones et leur expertise informatique.
Selon Google, les photos cinématiques veulent essayer de faire revivre à l’utilisateur «la sensation immersive du moment où il a pris la photo» en simulant à la fois le mouvement de la caméra et la parallaxe 3D. Comment transforment-ils une image 2D en une image 3D?
Google utilise ses réseaux de neurones formés sur des photos prises avec les Pixel 4 pour estimer la profondeur de champ avec une seule image RVB
Google explique que, tout comme ils le font avec le mode portrait ou la réalité augmentée, les photographies cinématiques nécessitent une carte de profondeur pour donner des informations sur la structure 3D. Pour obtenir cet effet sur n’importe quel téléphone portable qui ne possède pas de double caméra, ils ont formé un réseau neuronal convolutif pour prédire une carte de profondeur à partir d’une seule image RVB.
Avec un seul point de vue (le plan de la photo), il peut estimer la profondeur de la photographie avec des repères monoculaires tels que les tailles relatives des objets, la perspective de la photographie, le flou, etc. Pour rendre ces informations plus complètes, ils utilisent les données collectées avec l’appareil photo du Pixel 4, à combiner avec d’autres photographies prises avec des appareils photo professionnels par l’équipe de Google.
La technique est similaire à celle du mode portrait Pixel: l’image est analysée, segmentée et une fois l’arrière-plan isolé avec succès, le mouvement est simulé en décalant l’arrière-plan. C’est bien plus complexe, car cela nécessite plusieurs corrections et analyses sur la photo car, quelques pixels mal interprétés, pourraient ruiner le résultat final.
