On termine le robot [Construisons un animatronic #3]

Maintenant qu’on a une première version de l’Intelligence Artificielle de Spino, on va lui donner vie ! Aujourd’hui on s’attaque à la partie physique du robot et on termine le traitement audio.

Pour mettre en forme notre robot, on doit donc s’attaquer à deux parties bien différentes :

  • La partie animation 👀
  • La partie audio🔊

Et on ajoutera quelques API pour enrichir les réponses.

👋Commençons par la partie animation ! 👀

Avant toute chose, je récupère et j’imprime un modèle 3D 3 servo pour les yeux de Spino. Cela me donne une base pour pouvoir animer. J’en profite également pour créer une bouche ainsi qu’une structure globale du robot dans Blender (permettant de contenir tous les modules) que j’imprime ensuite.

On branche maintenant les Servo. Point important, le voltage de l’ESP32 est situé autour de 3.3V. Puisqu’on a besoin de 4 Servo (j’ai finalement abandonné les articulations du cou, c’était trop pour un premier projet), on va utiliser une alimentation externe.

🪛On commence donc les branchements en reliant l’alimentation aux servo et à l’ESP32. J’ai finalement opté pour un chargeur 5V 5A plutôt que la batterie car elle se déchargeait trop vite. Maintenant c’est top, je peux le laisser allumer des heures et il fonctionne.

À la fin du branchement, on se retrouve avec un rail positif sur lequel on branche les positifs des Servo, celui de l’ESP32 à la puce 5V ainsi qu’un rail négatif sur lequel on retrouve les GND du régulateur, des Servo et de l’ESP32. Je branche les fils oranges des Servo (qui permettent de transiter le signal) sur des broches de l’ESP32.

🔗Quelques ressources qui m’ont aidée pour gérer le branchement :

🖥️Une fois que tout est branché, il est temps d’animer. Pour ça, j’installe les bibliothèques ESP32 sur l’IDE Arduino. Je teste le fonctionnement de mes Servo. J’ai commandé des Servo 360° « juste au cas où » mais finalement, je me rends assez vite compte que ce ne sont pas des Servo officiels à proprement parler. Sur des 360°, on ne peut donc pas contrôler un angle exact au degré près mais seulement régler la vitesse marche avant / marche arrière, ce qui résulte en de petits incréments à chaque mouvement. Pas top donc quand l’impression 3D contraint la rotation. Finalement je rachète de vrais Servo précis 180°, et là, c’est beaucoup mieux ! Je teste les angles minimum / maximum de chaque Servo et en fonction de l’humeur, je gère les paupières, la bouche… différemment.

Maintenant, on reprend le code Python pour extraire une humeur générale dans chaque réponse du robot. Puisque je lui demande de placer des emojis dans ses réponses, je vais les extraire individuellement pour calculer un score global d’humeur (neutre, joyeux, surpris, suspicieux -les 2 derniers sont essentiellement pour l’aspect prédiction-).

Obtenir l’humeur va permettre de mapper les animations en envoyant le code python au code Arduino par l’intermédiaire d’une bibliothèque pysériale.

Fozzie (The Muppet Show)
Uncle Deadly (The Muppet Show)

Revenons à la structure physique de Spino. Les modules correctement insérés dans le contenant imprimé, il est temps de le recouvrir de tissu. Dans un précédent post, j’ai mentionné que mon inspiration visuelle principale était l’univers de Jim Henson. Spino sera donc largement calqué sur le Muppet Show ! Je colle un tissu en peluche (style Fozzie) sur la structure et m’inspire d’Uncle Deadly pour le reste. Je couds bras et jambes dans la foulée et lui rajoute une nageoire dorsale en papier maché ainsi qu’une sur la tête. Je récupère des bouts de tissus pour lui faire une veste en velours ainsi qu’une chemise et un veston.

🗣️Passons à l’audio maintenant !

🗣️➡️✏️Sur mon projet Python, j’installe le module faster-whisper d’OpenAI. Open source, ce modèle speech to text va permettre de retranscrire l’audio en texte, de manière relativement rapide et surtout, qui consomme assez peu de ressources de mon PC portable 🥲. Après l’avoir intégré dans mon code principal, je fais quelques modifications pour le faire fonctionner (choix du micro, taille du buffer, seuil…) afin de faire des tests depuis mon pc et vérifier que je peux couper la réponse du robot si je parle en même temps.

Après avoir testé plusieurs modèles, j’opte pour le modèle « small » qui certes, est plus long que le « tiny » mais assez précis. La majorité des noms propres sont assimilés et les connaissances internes sont assez précises.

✏️➡️🗣️Maintenant, il est temps d’installer un modèle de text-to-speech pour faire parler Spino. Après quelques comparaisons, je me tourne vers Piper Voice qui me propose un plus large choix de voix françaises que d’autres modules. Je récupère la réponse écrite de mon routeur ainsi que le modèle de voix choisi et je les transmets dans une fonction speak() qui traduit la réponse texte en un fichier audio .wav. Le fichier se joue puis est instantanément supprimé, et ce à chaque réponse.

Une fois le code écrit, je branche mes composants audio : le haut parleur, le potentiomètre PAM8403 (pour ajuster le volume) et l’ESP32. Tous les composés sont glissés à l’intérieur du robot. Pour ce qui est du micro, après plusieurs tests, je décide finalement de garder le micro du pc qui a une meilleure qualité que les composants testés. À terme, il serait envisageable de récupérer un petit micro de meilleure qualité et le placer dans la main de l’assistant (pour éviter de récupérer un bruit sourd causé par la séparation des parois du robot).

Comme le haut parleur fonctionne en Bluetooth, pas besoin de se prendre la tête, je prends le signal depuis le pc. Là encore, à terme il pourrait être indépendant mais ce n’est pas une caractéristique prioritaire pour le moment.

✨Quelques ajouts pour pimper Spino

Le robot étant globalement finalisé, j’en profite pour rajouter une API Duck Duck Go Search à la suite du visionnage de cette vidéo que j’active avec le mot « Recherche….. » en début de phrase. De ce fait, le robot traite bien mieux les actualités en réduisant les hallucinations. Je le teste avec des connaissances plus ou moins niches et d’actualité, et suis assez surprise de la qualité !

Devinez ma lecture du moment…

Je relie également l’API Spotify pour lancer un morceau vocalement. Après quelques tests, j’opte pour que le robot se base sur le nom de l’artiste en un premier temps avant de trouver le morceau associé. Cette logique évite qu’il assimile directement le nom d’un morceau en se butant sur l’orthographe et hallucine. j’ajouter également des contrôles pour gérer le volume et mettre en pause ou stopper.

Enfin, pour le fun, je teste un mode « Voyance » en récupérant un fichier .txt de prédictions provenant de cookies de la fortune et l’intègre dans le projet. Comme c’est hyper facile à modifier, je peux en rajouter à tout moment et me faire ma propre base de plusieurs centaines de prédictions. Une petite formule aléatoire permet de sortir un numéro de ligne et récupérer la prédiction associée sans passer par l’IA (donc très peu de latence !).

Au fur et à mesure des usages, je pourrai aussi rajouter d’autres API comme du contrôle d’appareils connectés, un suivi pour connaître le statut de tel site Internet…mais il faut aussi savoir s’arrêter au bon moment.

🔍Résultat final et conclusion

Et voilà ! Après un an de travail, l’assistant animé prend vie.

Quelques réflexions à propos du robot et du processus :

  • D’abord, trouver un projet aussi ambitieux, c’est aussi enrichissant que prise de tête. Heureusement que je ne savais pas ce dans quoi je m’embarquais car je ne serais jamais allée au bout ! Mais cette longue expérience a permis d’apprendre de nouvelles compétences (notamment la partie électronique car j’étais vraiment novice) et d’aller à mon rythme sans m’en dégoûter en adaptant le projet au fil des mois.
  • Il faut savoir s’arrêter. C’est assez facile quand on sait que l’on peut tout faire de vouloir tout faire parfaitement, mais garder son objectif de base est primordial. Aussi, accepter les limites des modules que j’intègre a été un challenge (latence, petit risque d’hallucination, limites dans les animations des servo…mais c’est le jeu !)

Bref, en attendant un autre gros projet, je retourne à de petits projets plus artisanaux ! Peut-être qu’une scénographie et un costume sont en préparation 👀.

Commentaires

2 réponses à « On termine le robot [Construisons un animatronic #3] »

  1. Avatar de Trimoreau Christine
    Trimoreau Christine

    Je suis vraiment abasourdie et impressionnée ! Spino est un robot fantastique…et quel travail ! Bravo Emeline, mille fois bravo !

    1. Adorable ce message, merci Christine ! ❤️❤️

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *