Reconnaissance des mouvements de la main : 5 étapes

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:06

Aperçu

Dans ce projet, nous allons fabriquer un gant capable de reconnaître certains mouvements de base de la main, à l'aide d'un MicroBit et de quelques capteurs. Nous utiliserons les capacités Bluetooth du MicroBit, en conjonction avec une application Android et un serveur Web pour former un modèle d'apprentissage automatique afin d'identifier les mouvements de la main.

Commencer

La majorité de l'effort impliqué dans ce projet est du côté logiciel, et tout le code nécessaire pour exécuter ce projet est disponible sur GitHub. La base de code comprend 3 composants, le code pour générer un fichier HEX pour le MicroBit, la base de code de l'application Android qui est fortement basée sur l'application MicroBit Blue de la Fondation MicroBit, avec des modifications apportées pour ce cas d'utilisation spécifique, et un serveur Web avec du code pour formation d'un modèle basé sur Tensorflow pour identifier les mouvements de la main.

Nous verrons ensuite comment construire le gant et l'accrocher à l'application et au serveur Web.

Fournitures

• 1 microbit BBC
• 1 support de piles avec 2 piles AAA
• 1 gant
• Un ensemble de cavaliers, pinces crocodiles
• Un capteur flexible
• Un capteur de force
• Velcro
• Ruban électrique
• Un téléphone Android
• Un PC/ordinateur portable

Étape 1: Étape 1: Configuration du MicroBit et de la batterie

• Commencez par attacher le support de batterie à un morceau de velcro comme indiqué sur la première image. Utilisez du ruban électrique pour attacher fermement le support de batterie à la sangle velcro.
• Ensuite, faites une boucle avec du ruban électrique de manière à ce qu'il soit collant des deux côtés et collez-le sur le dessus de la batterie.
• Collez le MicroBit sur la boucle de ruban adhésif pour attacher fermement le MicroBit au support de batterie, comme indiqué sur la deuxième image.

Étape 2: Branchez les capteurs

• Suivez le schéma de circuit montré dans l'image pour connecter votre capteur flexible à la broche 1 du MicroBit et forcez le capteur à la broche 0 du MicroBit.
• Fixez les capteurs sur le gant à l'aide de ruban électrique comme indiqué sur les images.

Étape 3: Finition du matériel

• Utilisez les extrémités des bandes velcro pour former une boucle et faites glisser la boucle sur les doigts du gant, comme indiqué sur l'image.
• Vous pouvez utiliser des attaches métalliques pour fixer les fils sur le gant pour les empêcher de trop bouger.

Dans la section suivante, nous verrons comment configurer le logiciel.

Étape 4: Configuration du logiciel

Couplage de votre téléphone à votre MicroBit

1. Pour jumeler votre téléphone, assurez-vous d'abord que le Bluetooth est activé sur votre téléphone.
2. Allumez votre MicroBit et maintenez enfoncés les boutons A et B. En même temps, appuyez et relâchez le bouton de réinitialisation tout en maintenant les boutons A et B enfoncés. Le microbit devrait maintenant entrer en mode d'appairage.
3. Sur votre téléphone, recherchez votre MicroBit dans la liste des appareils Bluetooth où vous ajoutez généralement un nouvel appareil Bluetooth, et commencez l'appairage. Sur votre MicroBit, vous verrez une flèche pointant vers le bouton A. Lorsque vous appuyez dessus, le MicroBit affichera une série de chiffres qui est le code d'appariement que vous devez entrer sur votre téléphone. Une fois que vous avez entré le code sur votre téléphone et sélectionné l'association, une coche devrait s'afficher sur le MicroBit.
4. Appuyez sur le bouton de réinitialisation de votre MicroBit.

Paramétrage du logiciel

Suivez les guides ReadMe dans chaque sous-dossier du référentiel GitHub pour configurer le projet d'application Android dans Android Studio, pour créer et flasher le fichier HEX sur votre MicroBit et exécuter le serveur Web pour exécuter les modèles d'apprentissage automatique.

Étape 5: Utilisation

Serveur Web

Ouvrez un terminal dans le répertoire du projet du serveur Web et exécutez `python server.py` pour démarrer le serveur après avoir suivi les instructions du fichier Lisez-moi pour installer les dépendances

Application Android

1. Construisez et créez un APK pour l'application Android à partir d'Android Studio. Exécutez l'application après avoir couplé votre téléphone avec le MicroBit (voir étape précédente).
2. Dans la page de l'accéléromètre, vous pouvez définir l'URL du serveur Web à l'aide du menu des paramètres dans le coin supérieur droit. Assurez-vous de changer cela en IP de votre serveur Web.
3. Attendez que les lectures de l'accéléromètre commencent à être remplies à partir du MicroBit. Vous verrez les lectures changer avec une fréquence différente. Pour changer la fréquence, appuyez sur B sur le MicroBit. Idéalement, vous pouvez utiliser une valeur de fréquence de 10 (qui échantillonne les lectures toutes les 10 ms)
4. Une fois les lectures remplies, nommez votre geste à l'aide de la zone de texte intitulée « Geste: » et appuyez sur le bouton d'enregistrement. Dès que vous appuyez sur le bouton d'enregistrement, faites bouger votre main à plusieurs reprises jusqu'à ce que le bouton soit à nouveau activé.
5. Répétez l'étape 3 pour enregistrer plusieurs gestes.
6. Appuyez sur le bouton d'entraînement pour lancer l'entraînement du modèle sur le serveur. Une fois l'entraînement terminé (environ 15 secondes), vous pouvez procéder à des prédictions.
7. Appuyez sur le bouton de prédiction et effectuez votre mouvement/geste. L'application essaiera de le faire correspondre le mieux possible à l'un des mouvements entraînés.