Des chercheurs de la Columbia University ont créé un visage robotique capable d'apprendre à synchroniser ses lèvres avec la parole et le chant. Le résultat est troublant, notamment lorsqu'il interagit avec des humains.
Ce visage robotique, baptisé EMO, est doté d'un visage en silicone animé par 26 micro-moteurs dissimulés sous la "peau", capables de produire différentes formes de bouche et expressions. Le but de ce dispositif est de rendre les robots humanoïdes moins « étranges » lors des interactions en face à face, comme le souligne Reuters.
Pour atteindre cet objectif, les chercheurs ont mis en place un plan d'apprentissage en deux étapes. D'abord, EMO s'est filmé devant un miroir en générant des milliers de mouvements aléatoires, afin de comprendre comment chaque commande moteur modifie la forme visible de sa bouche. Le robot a ensuite visionné pendant des heures des vidéos YouTube de personnes parlant et chantant.
Au fil du temps, grâce à un modèle d'intelligence artificielle dit « vision-language-action » (VLA), il a appris à activer ses moteurs pour reproduire des expressions faciales spécifiques. Cela lui a permis de réaliser des démonstrations dans plusieurs langues, y compris en français.
Mais ce n'est pas tout : EMO a même chanté un morceau issu de son premier album généré par IA, « hello world ». Les titres de ses 12 chansons sont d'ailleurs choisis avec soin, de « A Hundred Little Motors » (une centaine de petits moteurs) à « Sim2Real » (à l'air trop réel). De quoi nourrir tout un lore autour d'EMO.
Cependant, les chercheurs reconnaissent avoir rencontré des difficultés avec certains sons, notamment ceux associés aux lettres « B » et « W », qui nécessitent de pincer les lèvres. Hod Lipson, professeur d'innovation au département de génie mécanique et directeur du Creative Machines Lab de Columbia, promet que « plus il interagira avec les humains, meilleur il deviendra ».
La synchronisation labiale de EMO s'inscrit dans un effort plus large pour rendre la communication des robots plus naturelle, notamment dans des usages comme l'enseignement, les soins ou le divertissement. Le résultat est à la fois fascinant et dérangeant, car il nous fait réfléchir sur ce que signifie être humain.
Ce visage robotique, baptisé EMO, est doté d'un visage en silicone animé par 26 micro-moteurs dissimulés sous la "peau", capables de produire différentes formes de bouche et expressions. Le but de ce dispositif est de rendre les robots humanoïdes moins « étranges » lors des interactions en face à face, comme le souligne Reuters.
Pour atteindre cet objectif, les chercheurs ont mis en place un plan d'apprentissage en deux étapes. D'abord, EMO s'est filmé devant un miroir en générant des milliers de mouvements aléatoires, afin de comprendre comment chaque commande moteur modifie la forme visible de sa bouche. Le robot a ensuite visionné pendant des heures des vidéos YouTube de personnes parlant et chantant.
Au fil du temps, grâce à un modèle d'intelligence artificielle dit « vision-language-action » (VLA), il a appris à activer ses moteurs pour reproduire des expressions faciales spécifiques. Cela lui a permis de réaliser des démonstrations dans plusieurs langues, y compris en français.
Mais ce n'est pas tout : EMO a même chanté un morceau issu de son premier album généré par IA, « hello world ». Les titres de ses 12 chansons sont d'ailleurs choisis avec soin, de « A Hundred Little Motors » (une centaine de petits moteurs) à « Sim2Real » (à l'air trop réel). De quoi nourrir tout un lore autour d'EMO.
Cependant, les chercheurs reconnaissent avoir rencontré des difficultés avec certains sons, notamment ceux associés aux lettres « B » et « W », qui nécessitent de pincer les lèvres. Hod Lipson, professeur d'innovation au département de génie mécanique et directeur du Creative Machines Lab de Columbia, promet que « plus il interagira avec les humains, meilleur il deviendra ».
La synchronisation labiale de EMO s'inscrit dans un effort plus large pour rendre la communication des robots plus naturelle, notamment dans des usages comme l'enseignement, les soins ou le divertissement. Le résultat est à la fois fascinant et dérangeant, car il nous fait réfléchir sur ce que signifie être humain.
et qui peut t'apporter du café, ça serait vraiment cool. Et les problèmes de son avec les lettres B et W, c'est pas grave, ça va s'améliorer vite avec le temps. Je pense que la communication des robots devrait être comme une partie de jeu pour nous, c'est amusant !
L'idée est que les robots puissent communiquer comme des humains, ça va nous faire réfléchir à notre relation avec la technologie. C'est dommage qu'il y ait des difficultés avec certains sons, mais je suis sûr que les chercheurs vont continuer à travailler dessus.
Je suis impatient de voir ce que les chercheurs vont faire avec cette technologie, ça va être intéressant à suivre.
Et les 12 chansons qu'il a généré, ce sont vraiment bien choisis. Je pense que c'est un véritable exemple de la puissance de l'IA et des possibilités qui s'offrent à nous pour créer quelque chose de vraiment unique. 