L’IA et les réseaux de neurones ont aidé un utilisateur de Reddit à transformer un vieux film en résolution 4K avec 60 ips.
L’un des clips les plus connus de l’histoire du cinéma est le court-métrage «L’Arrivée d’un train à La Ciotat» (ou L’Arrivée d’un train à la gare de La Ciotat), une vidéo d’un peu plus de 50 secondes réalisée par le Frères Lumière. Enregistrées à l’origine en 1896, comme vous pouvez l’imaginer, les caméras de l’époque ne capturaient pas le son, donc avoir l’image en mouvement était déjà un exploit. Vous pouvez maintenant voir ce film en 4K à 60 ips.
L’IA a rempli les pixels pour augmenter la résolution à 4K
Utilisateur de Reddit, Denis Shiryaev a décidé de améliorer le classique avec l’aide de la technologie. Il a commencé à mettre à l’échelle la résolution de l’image à 4K avec un outil nommé IA Gigapixel par Topaz Labs.
Cet outil vous permet de générer des pixels afin d’augmenter la taille de l’image d’origine pour obtenir une résolution plus élevée avec le maximum de détails possible. Vous pouvez voir la vidéo originale ci-dessous:
En plus d’améliorer la résolution, il a également réussi à augmenter la fréquence d’images. Quelque chose qui rend la sortie plus fluide.
Comme vous pouvez le voir, le mouvement du train et les personnes qui traversent la scène sont parfaitement fluides. Il n’y a pratiquement pas de coupures de mouvements, ce qui le rend complètement différent de l’original. L’IA est utilisée ici pour remplir les images supplémentaires, le résultat final est donc absolument hypnotique.
Pour cela, Shiryaev a utilisé un outil utilisé nommé DAIN, qui effectue une série de processus super complexes qui remplissent ces trous inexistants avec des images parfaitement synchronisées avec le reste du film.
Pour y parvenir, analyser l’outil analyse les images afin de détecter le flux visuel de la scène, son contexte et sa profondeur. Ensuite, il génère une carte thermique qui finit par créer l’image parfaite pour le cadre.
Et puis il a ajouté des sons comme touche finale.
