IoT : contrôler l'HoloLens à l'aide de vos sourcils (EMG) : 5 étapes

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:07

Ce projet faisait partie du projet NASA SUITS de l'Université du Colorado Boulder qui a été présenté et testé au NASA JSC en avril 2019. Pour le projet de cette année-là, j'étais le chef de projet du développement matériel et c'était l'une de mes contributions. En savoir plus sur le défi NASA SUITS ici.

Avec ce projet, je voulais permettre à quiconque (dans ce cas, les astronautes EVA) de s'interfacer avec un affichage tête haute (HUD) déployé dans le Microsoft HoloLens sans utiliser les gestes de la main ou les entrées vocales intégrés. J'ai abordé cet objectif du point de vue de l'accessibilité, je voulais développer un périphérique/portable qui permettrait aux astronautes EVA de s'interfacer avec leur écran sans occuper les communications avec le contrôle au sol, et en raison de leurs gants hautement pressurisés, l'interfaçage des gestes est déraisonnable. Bien qu'il s'agisse d'un domaine que je ne connais pas bien, je peux également voir que ce périphérique est utile pour les personnes handicapées, leur permettant d'utiliser HoloLens ou d'autres appareils AR/VR et de renoncer aux entrées d'interfaçage qui sont exclusives ou intimidantes.

Bien que la liste des articles de ce projet soit elle-même exclusive (l'HoloLens est très cher !), le périphérique peut être utilisé avec d'autres appareils AR/VR.

Si vous avez des questions, souhaitez suivre mon travail ou simplement lancer des idées, veuillez le faire sur mon Twitter: @4Eyes6Senses.

Fournitures

Microsoft HoloLens (ou autre appareil AR/VR)

Photon de particule

Capteur musculaire MyoWare - Le capteur MyoWare peut être remplacé par d'autres cartes de dérivation EMG. Si vous n'êtes pas sûr de ce qu'est EMG, je vous suggère de lire plus à ce sujet ici

Coussinets de capteurs biomédicaux

Unité (gratuit)

Une certaine expérience de la création de projets dans Unity

Câble

Étape 1: Connecter le MyoWare avec le photon de particule

La connexion du photon de particules à la carte MyoWare est assez simple. Pour cette étape, vous devrez souder les connexions entre le Particle Photon et la carte MyoWare. Assurez-vous d'avoir des connexions solides afin que les câbles ne se cassent pas lorsque vous portez l'appareil. Pour éviter les casses, je recommande de tresser les câbles avant de les souder dans le Photon.

- Soudez un fil dans le port "+" de la carte MyoWare, puis soudez l'autre extrémité du câble dans la broche "3v3" du Photon.

- Soudez un fil dans le port "-" de la carte MyoWare, puis soudez l'autre extrémité du câble dans la broche "GND" du Photon.

- Soudez un fil dans le port "SIG" de la carte MyoWare, puis soudez l'autre extrémité du câble dans la broche "A0" du Photon.

Étape 2: Téléchargement du code sur le photon de particule

À l'aide de l'IDE de Particle Photon, téléchargez le fichier.ino. Placez la carte MyoWare sur un groupe musculaire et vérifiez les valeurs pour vous assurer que votre appareil fonctionne. En regardant le code, vous remarquerez qu'une variable "seuil" est déjà définie, cette variable est la valeur minimale que MyoWare lit dans mon muscle lorsque je lève complètement le sourcil. J'ai également défini la variable sur "600" car cela m'a permis d'avoir des conversations normales tout en portant le MyoWare sans créer de faux positifs (déclenchement accidentel), vous voudrez peut-être jouer avec les valeurs jusqu'à ce que vous trouviez le seuil souhaité pour vos utilisations.

Étape 3: Placement du MyoWare

Pour notre projet NASA SUITS, j'ai choisi de placer le MyoWare Board au-dessus du sourcil. J'ai été inspiré pour y placer le MyoWare après avoir regardé le projet "'Sup Brows" réalisé par Adafruit. Après quelques tests, il est devenu clair que les sourcils sont un excellent emplacement pour ce projet spécifique. C'est un excellent emplacement car les capteurs ne seraient pas affectés par les mouvements musculaires constants des bras, des jambes et du torse que les astronautes EVA font pendant les sorties dans l'espace.

Étape 4: Connecter MyoWare à Unity

Il est maintenant temps de passer à l'étape finale, connectons MyoWare à Unity ! Inclus dans ce Instructable est le script que vous devrez inclure dans votre projet Unity. Mais d'abord, vous devrez changer quelques éléments dans le code. Tout d'abord, vous devez ajouter le plug-in JSON Object Unity à votre projet. Ensuite, vous devrez ajouter votre propre identifiant d'appareil et votre jeton d'accès à la ligne 19: particuleURI = "https://api.particle.io/v1/devices/[Insert your device id]/Next?access_token=[Insérez votre jeton d'accès]". Vous pouvez obtenir l'identifiant de votre appareil à partir de l'IDE de particules, à la suite de la figure 2, cliquez sur l'onglet de vos appareils (boîte rouge) et regardez sous le nom de votre appareil pour trouver votre identifiant (boîte bleue). Ensuite, pour trouver votre jeton d'accès, cliquez sur l'onglet Paramètres dans l'IDE.

Étape 5: terminé

Après avoir terminé votre projet Unity, vous aurez un HoloLens contrôlé par EMG !

Si vous avez des questions approfondies, souhaitez en savoir plus sur l'augmentation humaine, souhaitez suivre mon travail ou simplement lancer des idées, veuillez le faire sur mon Twitter:

Si vous souhaitez travailler avec notre équipe pour le défi 2019 - 2020 NASA SUITS, veuillez m'envoyer un e-mail à l'adresse:

Un merci spécial au modèle de la première photo, Darren, qui a également testé le design à la NASA. Un autre merci à mon partenaire de programmation pour le projet AJ, qui a rendu beaucoup de choses possibles.