Pourquoi les vidéos générées par l'IA se trompent sur les mains et les visages

Les erreurs dans la représentation des mains et des visages par l'IA s'expliquent par le fait qu'un modèle doit assurer la cohérence de l'anatomie, de l'identité, de l'éclairage, de la pose et du mouvement sur de nombreuses images, et non pas simplement produire une seule image convaincante. Une main qui semble correcte à l'image 20 peut traverser le visage à l'image 24, modifier l'espacement entre les doigts à l'image 26 et se fondre dans les cheveux à l'image 28. Le modèle doit alors corriger plusieurs zones incertaines en même temps.

Nous avons testé une instruction « friendly-wave » courte par rapport à une instruction « open-palm » beaucoup plus contraignante via l’interface CLI de GlobalGPT. La version contrainte a produit un mouvement plus fluide et une posture de la main plus lisible. Elle n’a toutefois pas conservé l’identité de la personne source, ni ses vêtements, ni son micro, ni la pièce. Ce résultat mitigé est plus utile qu’une démonstration parfaite, car il montre ce que les contraintes d’une consigne peuvent et ne peuvent pas contrôler.

2 courtes séquences vidéo
Amélioration de la lisibilité des poses
Identité non conservée
Découvrez dès maintenant les meilleurs modèles vidéo

Pourquoi les mains perdent-elles de leur fonctionnalité au fil du temps ?

Les mains sont des objets articulés composés de nombreuses petites parties, qui présentent souvent des phénomènes d’auto-occlusion et dont la silhouette évolue rapidement. Une main qui fait signe effectue des rotations, les doigts se chevauchent, le flou de mouvement adoucit les contours et la paume se déplace par rapport au visage. Le générateur doit déduire une structure 3D cohérente à partir de chaque nouvelle vue tout en conservant l’image précédente.

Les problèmes se manifestent par l'apparition de doigts supplémentaires, la fusion de doigts, une modification de la position des ongles, des poignets souples ou une main qui change de côté. Plus largement, Diagnostic des pannes vidéo par IA permet de distinguer les erreurs d'anatomie des erreurs liées à la caméra, à la physique et à la continuité.

Pourquoi les visages semblent déformer même lorsqu'une image est nette ?

Le visage est sensible aux moindres variations concernant l'écartement des yeux, la forme des paupières, les coins de la bouche, la largeur du nez et la ligne des cheveux. La parole et les expressions font varier ces repères en permanence. Si le visage parait plus petit, se détourne, est masqué par une ombre ou partiellement recouvert par une main, le modèle dispose de moins d'indices et peut redéfinir l'identité.

C'est pourquoi Flux de travail pour assurer la cohérence des vidéos générées par l'IA considère la stabilité du personnage comme un problème de séquence. Une première image solide est utile, mais le prompt, la caméra, la durée et le mouvement doivent également préserver le signal d’identité.

Nos tests de référence et nos tests sous contraintes

Les deux essais ont utilisé la même image source et le parcours « Grok Imagine » en résolution 1280×720 pendant environ cinq secondes. Dans le scénario de référence, on demandait à la femme de se tourner vers la caméra et de faire un signe de la main. La consigne contraignante spécifiait la main droite, exigeait que les cinq doigts soient écartés, imposait de garder la main près de l’épaule, interdisait l’occlusion du visage, limitait les mouvements de la tête et verrouillait la caméra.

Chaque tâche coûtait 500 crédits. Il s'agit d'une observation de type A/B avec un essai par consigne, et non d'une expérience statistiquement contrôlée. Nous avons prélevé des extraits de durée fixe et visionné les vidéos à vitesse normale.

Une exécution de référence. L'onde est dynamique, mais le personnage et la pièce générés diffèrent considérablement de l'image source.
Une exécution avec contraintes. Les mouvements sont plus fluides et la posture de la main est plus lisible, mais la préservation de l'identité a de nouveau échoué.
Images échantillonnées comparant une onde de référence à un geste de paume ouverte contrainte
Deux observations réalisées en une seule série. Le mouvement immédiat et la composition ont été contraints, mais cette paire d'observations ne permet pas d'établir un effet causal universel.

Résultat de référence : mouvement vif, dérive importante de l'identité

La séquence de référence a généré un signe de la main amical et plein d'énergie. La main ouverte restait identifiable dans les images échantillonnées, mais le résultat final a remplacé l'hébergeuse d'origine par une femme d'apparence différente, se trouvant dans une autre pièce et portant une tenue différente. La composition a changé avant même que le signe de la main ne devienne l'action principale.

Ce résultat montre pourquoi une présentation visuellement attrayante ne suffit pas. Si le poste nécessite un intervenant régulier, l’identité et l’environnement constituent des critères d’acceptation stricts. Le Créer un personnage cohérent à partir d'une seule photo aborde les choix relatifs à l'image source susceptibles d'améliorer la référence de départ, mais nos résultats montrent qu'une image source à elle seule ne garantit pas la continuité.

Résultat sous contraintes : meilleure pose, mais identité toujours perdue

Le mouvement restreint était plus lent, la main restait près de la tête et adoptait une posture plus nette, paume ouverte. La main ne balayait pas le visage. Ces différences rendaient le geste plus facile à analyser et simplifiaient le montage.

Pourtant, la personne, les vêtements, le micro et la pièce ont tout de même subi des changements substantiels. La consigne demandait une reproduction fidèle, ce que le modèle n’a pas réussi à faire. On peut dire que l’exécution contrainte a amélioré la lisibilité des mouvements dans ce cas précis. On ne peut toutefois pas affirmer qu’elle ait corrigé l’anatomie de manière générale ni préservé l’identité.

Propositions d'écriture sur les thèmes de la visibilité et du mouvement

Une consigne gestuelle utile désigne un membre, une action, une position et une durée. “ Levez la main droite, montrez la paume ouverte près de l’épaule, maintenez la position pendant une seconde, puis abaissez-la ” est une consigne vérifiable. “ Faites des gestes naturellement tout en parlant avec enthousiasme ” laisse de nombreuses articulations, vitesses et occlusions non précisées.

Le langage visuel a également son importance. Stabilisez la caméra, veillez à ce que la main entière reste dans le cadre et évitez les zooms brusques pendant le geste. Le commandes de la caméra et des indications de mouvement offre un vocabulaire plus riche pour le contrôle de la caméra et des mouvements, tandis que Techniques de suggestion par mouvement Veo ajoute des techniques d'invite spécifiques à Veo.

Protéger le visage avant d'améliorer les performances

Veillez à ce que le visage soit suffisamment visible pour être reconnaissable. Limitez les mouvements de tête, les expressions exagérées et le fait de croiser les mains lors des moments décisifs pour l'identification du personnage. Privilégiez les clignements de paupières discrets et les légers mouvements de la bouche avant d'associer des répliques, un accessoire et un mouvement de caméra. N'ajoutez de la complexité qu'une fois que le plan le plus simple a été validé.

Pour les longues séquences, divisez la séquence en plans dont les images de début et de fin sont stables. Le Cohérence des personnages dans les vidéos longues explique pourquoi il devient plus difficile d'assurer la cohérence des personnages à mesure que les séquences s'accumulent, et comment les repères facilitent le montage.

Améliorer le cadre source

Utilisez une image nette et uniformément éclairée, sur laquelle les deux yeux sont visibles, la silhouette des cheveux est nette et les mains sont soit entièrement visibles, soit complètement hors du cadre. Évitez que les doigts soient coupés par le bord du cadre, les filtres de beauté trop prononcés, les flous de mouvement importants et les arrière-plans à motifs qui coupent le corps.

Le plan de référence doit également correspondre à la composition vidéo souhaitée. Transformer un portrait en gros plan en un plan de la taille à la tête oblige le modèle à inventer d'un seul coup les bras, les mains, les vêtements et les détails de la pièce. Créez ou photographiez le cadrage nécessaire avant de lancer l'animation.

Remédier aux problèmes de triage plutôt que de tout réécrire

  • Si les doigts se chevauchent, ralentissez le mouvement et éloignez la main du visage ou du corps.
  • Si l'identité s'estompe, réduisez la rotation de la tête, l'amplitude des expressions et la durée du clip.
  • Si le poignet se plie de manière inhabituelle, simplifiez la trajectoire de la main et supprimez l'interaction avec les accessoires.
  • Si l'arrière-plan change, verrouillez la caméra et décrivez les points de repère fixes de la scène.
  • Si plusieurs erreurs apparaissent simultanément, revenez à une image source plus propre.

erreurs courantes dans les vidéos sur l'IA énumère les erreurs courantes de planification qui sont souvent à l'origine de ces échecs en cascade.

Consignes de base et contraintes pouvant être copiées

Commencez par exécuter la base de référence courte afin de voir ce que le modèle choisit sans intervention. Modifiez ensuite uniquement les contraintes de mouvement. Conservez le modèle, la source, la durée et le format d'image. Cela facilite l'interprétation de la comparaison, même si deux échantillons isolés ne permettent pas d'établir un lien de causalité.

Invite de mouvement de référence
Consigne restreinte concernant les mains et le visage

Regarder image par image, puis à vitesse normale

Une lecture à vitesse normale permet de déterminer si le mouvement semble naturel. L'analyse image par image permet de repérer les moments où l'anatomie ou l'identité du personnage commencent à s'altérer. Vérifiez le début du mouvement, le point culminant du geste, le point d'occlusion et la pose de retour. Observez les deux mains, et pas seulement celle qui fait signe, puis comparez la forme des yeux et les coins de la bouche à ceux de la source.

Notez la première image qui pose problème. Cela vous permettra de savoir s’il faut changer la source, raccourcir le plan ou limiter une transition particulière. Une remarque vague du type “ ça fait bizarre ” est difficile à transformer en une consigne plus précise.

Considérer l'occlusion comme un risque lié à la production

L'occlusion se produit lorsqu'un objet en cache un autre : des doigts passent devant le visage, des cheveux recouvrent un œil, un accessoire cache le poignet ou le corps se détourne de la caméra. La structure cachée doit tout de même être déduite, et le modèle peut la restituer avec une forme différente. Les mouvements rapides compliquent cette déduction, car les images adjacentes fournissent des indices moins fiables.

Mettez en scène l'action de manière à ce que les éléments anatomiques importants restent visibles. Placez la main à côté du visage plutôt que devant celui-ci. Éloignez les accessoires des articulations des doigts. Si un contact est indispensable, divisez l'action en plans d'approche, de contact et de relâchement, puis assemblez-les au montage. Cela réduit le nombre de transitions brutales que le système de génération doit gérer.

Répétez le test avant de tirer une conclusion hâtive

Nos deux extraits constituent des observations utiles, mais une seule valeur de départ peut soit mettre en valeur, soit pénaliser une consigne. Pour choisir un modèle, répétez chaque consigne plusieurs fois avec la même source et les mêmes paramètres. Évaluez séparément la lisibilité manuelle, l’identité, l’arrière-plan, la caméra et la réalisation de l’action. Consignez les résultats rejetés dans le journal.

Un test répété permet de déterminer si la consigne contraignante augmente la probabilité d'obtenir une pose exploitable ou si elle n'a donné lieu qu'à un seul échantillon chanceux. Il peut également mettre en évidence un compromis : un contrôle plus strict des mouvements peut réduire l'expressivité ou rendre le jeu plus rigide. Privilégiez l'équilibre qui convient le mieux à la prise plutôt que de rechercher à tout prix une image parfaite.

Savoir quand modifier et quand régénérer

Effectuez un montage pour contourner un petit défaut lorsque l'identité du personnage, l'action et le travail de caméra sont par ailleurs convaincants. Un bref plan de coupe peut masquer un effondrement du doigt sur deux images ; un montage plus serré peut supprimer une mauvaise pose de retour. Régénérez la séquence lorsque le visage change tout au long de celle-ci, que la mauvaise main effectue l'action, que l'arrière-plan se transforme ou que l'anatomie présente des incohérences sur plusieurs images.

Ne passez pas une heure à corriger un extrait qui ne respecte pas les consignes essentielles. À l'inverse, ne rejetez pas une excellente prestation à cause d'un petit problème qu'un montage classique permettrait de masquer. La liste de contrôle d'acceptation doit permettre de distinguer les défauts rédhibitoires des imperfections pouvant être corrigées avant le début de la révision.

Utilisez une liste de contrôle pour la validation des mouvements humains

Pour chaque prise, évaluez cinq critères de manière indépendante : l'identité, l'anatomie, l'action, la prise de vue et la scène. L'identité concerne les proportions du visage, la coiffure et les vêtements. L'anatomie porte sur les doigts, les poignets, les coudes, les dents et les mouvements des yeux. L'action permet de vérifier si le mouvement demandé commence, atteint son apogée et se termine correctement. La prise de vue concerne le cadrage et les mouvements indésirables. La scène porte sur la continuité des accessoires, de l'arrière-plan et de l'éclairage.

Indiquez pour chaque séquence si elle est « acceptée », « réparable » ou « rejetée ». Un résultat « réparable » peut comporter une brève image défectueuse pouvant être coupée sans en altérer le sens. Un résultat « rejeté » présente une dérive persistante de l’identité, des mains qui s’effondrent de manière répétée ou une action manquante. Cette classification permet d’éviter qu’un clip visuellement agréable ne passe entre les mailles du filet alors qu’il comporte une erreur de continuité irrémédiable.

Vérifiez le son séparément, même lorsque l’article porte principalement sur les visages et les mains. Un bruit inattendu, des artefacts sonores ou une piste manquante peuvent rendre inutilisable une prise visuellement acceptable. Le fichier retenu est celui qui respecte l’ensemble des spécifications de livraison, et non l’image fixe qui semble la plus réussie sur une planche contact.

Le verdict pratique

Notre prompt contraint a généré un geste de la main plus serein et plus lisible que celui de la version de référence, mais les deux résultats ont radicalement modifié l'identité du personnage. L'ingénierie des prompts a permis d'améliorer un aspect sans pour autant résoudre l'ensemble du problème de continuité.

Une méthode prête à être mise en œuvre en production combine une source bien cadrée, une action maîtrisée, une caméra stable, des prises de vue répétées et une liste de contrôle écrite pour la validation. Lorsque le sujet doit parler ou manipuler un accessoire, testez ces comportements dans de courts plans séparés avant de les combiner. La complexité doit être acquise au fur et à mesure de tests réussis.

Ne jugez pas les mains uniquement à partir de l'image finale. Observez tout le parcours du geste, de son début à sa fin, puis comparez le visage à la source. Une paume bien positionnée ne peut pas compenser le fait qu'il s'agisse d'une autre personne, et un visage stable ne peut pas compenser un poignet qui s'affaisse pendant le mouvement.

Comparer les itinéraires vidéo dans GlobalGPT lorsqu'une image ne donne pas satisfaction, modifiez une variable à la fois et conservez la source, les paramètres et le motif du rejet. Pour obtenir de meilleures mains et de meilleurs visages, il faut réduire l'incertitude tout au long de la séquence, et non pas ajouter une “ anatomie parfaite ” à une consigne déjà surchargée.

Pour le test suivant, répétez les deux consignes plusieurs fois avec la même source et notez séparément l’identité, l’anatomie, l’action, la caméra et la scène. Ce petit échantillon permettra de déterminer si la consigne restreinte améliore le taux de réussite ou si elle n’a produit qu’un seul résultat fortuit. Veillez à ce que le mouvement reste court et visible jusqu’à ce que le geste principal soit stable. Ajoutez ensuite la parole, les accessoires ou les mouvements de caméra un par un, en conservant une version « propre » de chaque étape ayant passé l’examen.

Questions fréquemment posées

Pourquoi les mains des personnages vidéo générés par l'IA ont-elles des doigts en plus ?

La rapidité des articulations, l'auto-occlusion, le flou de mouvement et les changements de point de vue rendent la structure des doigts incertaine d'une image à l'autre. Le modèle peut redessiner la main différemment au fur et à mesure qu'elle bouge.

Pourquoi le visage change-t-il au cours d'une vidéo générée par l'IA ?

Les petits visages, les mouvements de tête, les expressions, les ombres et les occlusions affaiblissent les indices d'identité. Le générateur reconstruit alors les points de repère faciaux au lieu de les conserver à l'identique.

Une meilleure consigne pourrait-elle améliorer les performances de l'IA ?

Une consigne restreinte peut réduire les mouvements et les occlusions, ce qui a amélioré la lisibilité lors de notre seul test. Elle ne peut toutefois pas garantir une anatomie correcte pour tous les modèles ou toutes les exécutions.

Une image de référence garantit-elle la cohérence de l'identité ?

Non. Une source lumineuse puissante est utile, mais le modèle vidéo peut tout de même modifier la personne, les vêtements, la pièce ou la composition de la prise de vue pendant le mouvement.

Quel mouvement de caméra est le plus sûr pour filmer les visages et les mains ?

Une caméra fixe avec un cadrage moyen ou à partir de la taille constitue le point de départ le plus sûr. N'ajoutez des panoramiques, des zooms ou des mouvements orbitaux qu'une fois ce geste simple terminé.

Puis-je changer de modèle lorsqu'une prise ne réussit pas ?

Oui. GlobalGPT vous permet de comparer les itinéraires vidéo disponibles. Maintenez la source et les critères d'acceptation constants afin de pouvoir déterminer si le changement de modèle apporte réellement une amélioration.

Partager l'article :

Articles connexes