Gant de conversion de geste en parole/texte : 5 étapes

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:06

L'idée/l'impulsion derrière la mise en œuvre de ce projet était d'aider les personnes qui ont des difficultés à communiquer en utilisant la parole et en utilisant les gestes de la main ou plus communément connue sous le nom de langue des signes américaine (ASL). Ce projet peut être une étape vers l'offre à ces personnes d'une opportunité de travailler avec d'autres personnes, qui ne peuvent pas comprendre la langue des signes, dans un environnement collaboratif. De plus, ce projet leur permettra de prononcer des discours publics sans avoir recours à un véritable traducteur humain. Pour commencer, j'essayais seulement de détecter certains des gestes les plus faciles tels que les alphabets A, B, I, etc.

Étape 1: Assemblage du circuit

Étape 2: Détails du projet

Ce projet comprend un gant portable avec 4 capteurs de flexion collés / intégrés dans le gant - un pour le petit, le majeur, l'index et le pouce. Le capteur Flex n'a pas été utilisé pour l'annulaire en raison des limitations de la disponibilité des broches d'entrée analogique sur Arduino Uno R3 et en général en raison du manque de mouvement indépendant affiché par le doigt dans les langues des signes. Un accéléromètre MMA8452Q est également utilisé qui est collé à l'arrière de la paume pour mesurer l'orientation de la main. L'entrée de ces capteurs est analysée et utilisée pour détecter le geste. Une fois le geste détecté, le caractère/message correspondant est enregistré dans une variable. Ces caractères et messages continuent de s'enchaîner jusqu'à ce qu'un certain geste prédéterminé soit fait qui indique la fin de la phrase. Une fois ce geste spécial détecté, la chaîne de phrases enregistrée est envoyée au Raspberry Pi via un câble USB par Arduino. Raspberry Pi envoie ensuite la chaîne reçue au service cloud Amazon nommé Polly pour convertir la phrase reçue au format texte en format vocal, puis diffuse la parole reçue sur le haut-parleur connecté au Raspberry Pi via le câble AUX.

Ce projet était juste une preuve de concept et avec de meilleurs équipements et une meilleure planification et mieux calibré pour détecter beaucoup d'autres gestes et mouvements de la main. Actuellement, seules des fonctionnalités limitées sont programmées dans ce projet, telles que la détection de gestes de base et la sortie texte-parole.

Étape 3: Coder

Étape 4: Étapes

1. Connectez les capteurs flexibles et l'accéléromètre MMA8452Q à l'Arduino selon le schéma de circuit fourni.

2. Videz le programme Final_Project.ino (trouvé dans le fichier Arduino_code.zip) sur l'Arduino.

3. Connectez Arduino au Raspberry Pi via un câble USB. (Câble type A/B).

4. Mettez le Raspberry Pi sous tension, copiez le fichier Raspberry_pi_code.zip dans le Raspberry Pi et extrayez-le. Connectez le haut-parleur au Raspberry Pi.

5. Copiez les informations d'identification de votre compte AWS, c'est-à-dire aws_access_key_id, aws_secret_access_key et aws_session_token dans le fichier ~/.aws/credentials. Cette étape est nécessaire pour communiquer avec le cloud AWS et utiliser les services AWS.

6. Exécutez le programme seria_test.py trouvé dans le dossier extrait à l'étape 4.

7. Maintenant, faites les gestes pour former une phrase, puis faites le geste spécial (Gardez vos doigts et votre paume droits et alignés avec la paume tournée vers vous, puis faites pivoter le poignet en le tournant vers le bas de sorte que maintenant votre paume fait face à vous et le bout de vos doigts pointe vers le bas vers vos pieds.) pour signaler la fin de la phrase.

8. Continuez à vérifier le terminal pour obtenir des informations utiles.

9. Et écoutez le discours converti diffusé sur le haut-parleur.

Étape 5: Références

1.

2.

3.

4.