Des chercheurs de l’Université de Washington ont créé une IA appelée Audeo qui peut reproduire une musique réaliste simplement en analysant des vidéos de piano silencieux.
Désormais, même l’intelligence artificielle est capable de reproduire numériquement n’importe quel son de piano de manière réaliste, simplement en analysant une vidéo silencieuse.
Une équipe de chercheurs de l’Université de Washington a créé l’intelligence artificielle appelée Audeo qui intègre une sorte de logiciel intelligent préalablement formé avec 172 000 images de vidéo du pianiste Paul Barton jouant de la musique de compositeurs classiques comme Mozart ou Bach.
Audeo AI est capable de jouer du piano virtuellement
En analysant simplement une vidéo silencieuse, Audeo AI est capable d’apprendre soigneusement quelles touches sont enfoncées et quel est leur ordre. De cette façon, il détermine les notes individuelles et leur arrangement. Il est également capable de sentir à quel point chacune des touches est jouée et combien de temps elles sont maintenues enfoncées, cela lui permet de calculer l’intensité de chaque note et combien de temps elle persiste sous le son des notes jouées ultérieurement. Comme si cela ne suffisait pas, l’IA est également capable de comprendre les caractéristiques acoustiques distinctives des pianos.
Ces données sont converties dans un format qui peut être compris par un synthétiseur numérique, et lorsque ce synthétiseur lit le fichier musical, il est très proche du son de piano original.
Dans l’un de ses tests étonnants, l’Audeo AI a pu apprendre une chanson à travers des vidéos silencieuses du compositeur Barton alors qu’il jouait des morceaux de musique distinctifs.
Ensuite, des applications de reconnaissance musicale telles que SoundHound ont analysé ces productions réalisées par l’intelligence artificielle, pouvant reconnaître le morceau de musique avec une précision d’environ 86%. À titre de comparaison, lorsque cette application a analysé l’audio du piano d’origine, sa précision de reconnaissance est passée à 93%.
