AI avec Grove Zero et Codecraft (Scratch 3.0): 5 étapes (avec photos)

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:06

Dans cet article, nous allons créer trois projets utilisant les fonctions d'IA de Codecraft, un environnement de programmation graphique basé sur Scratch 3.0. Codecraft est développé et maintenu par TinkerGen Education et son utilisation est gratuite.

L'IA et son sous-ensemble, l'apprentissage automatique, sont devenus une partie intégrante de nos vies au cours des 10 dernières années. Les programmes scolaires de nombreux pays incluent des connaissances en IA et en apprentissage automatique, mais il peut être difficile pour un enseignant moyen de créer du matériel de cours pour enseigner ce sujet sans les bons outils. L'utilisation de bibliothèques d'apprentissage automatique, même les plus conviviales, telles que Keras, pour créer une application avec laquelle les étudiants peuvent interagir, peut être une tâche longue et intimidante. C'est là que Codecraft peut aider - il dispose d'un riche ensemble d'applications basées sur l'apprentissage automatique que l'enseignant peut utiliser pour expliquer et démontrer les concepts liés à l'intelligence artificielle. Regardons-les !

Étape 1: présentation des extensions d'IA

Ouvrez l'éditeur en ligne Codecraft à l'adresse

Cliquez sur Mode scène puis sur Ajouter un bouton d'extension en bas de l'onglet de navigation des blocs.

Vous verrez qu'il y a trois extensions AI disponibles:

- Services cognitifs --- modèles d'apprentissage automatique pour le traitement du flux vidéo et du son en direct

- Machine enseignable --- peut être utilisée pour former un modèle de classification avec des photos prises avec votre appareil photo

- Traduire --- utilise l'apprentissage automatique pour la traduction

Dans cet article, nous nous concentrerons sur les services cognitifs et l'utilisation de ces fonctions pour contrôler le matériel Grove Zero. La communication sans fil entre l'ordinateur et Grove Zero est toujours en cours et je mettrai à jour l'article dès qu'il sera disponible. Pour l'instant, nous utiliserons une connexion filaire pour transmettre les messages entre le module Grove Zero et l'ordinateur.

Étape 2: Jouez à Space Invaders avec votre nez

Pour la première tâche, nous n'utiliserons que le mode scène sans aucun matériel. Codecraft regorge d'exemples pour commencer à programmer - l'un de ces exemples est la programmation du jeu classique de Space Invaders en mode Codecraft Stage. Nous allons développer cet exemple et ajouter la possibilité de contrôler le combattant du jeu avec votre nez en utilisant les services cognitifs.

Cliquez sur le bouton Exemples. Ouvrir l'exemple SpaceInvaders. Il suffit de changer la partie relative au mouvement. Pour cela, nous obtiendrons la position x du nez sur le visage détectée dans le flux vidéo en direct, enregistrez-la en position variable. Ensuite, si la valeur de pos est supérieure à 50, nous déplaçons notre chasseur spatial vers la droite, s'il est inférieur à -50, nous déplaçons notre chasseur spatial vers la gauche. Ça y est. Essaye le! Si vous pensez que la vitesse de déplacement du combattant est trop rapide, vous pouvez changer le x de … bloc en un nombre plus petit.

Ensuite, nous développerons cette fonctionnalité pour contrôler la voiture Grove Zero et la faire avancer/reculer/gauche/droite.

Étape 3: Contrôlez Grove Zero Car avec Codecraft AI

Commençons par écrire du code en mode scène - c'est la partie qui est responsable de l'analyse du flux vidéo et de la sortie des commandes vers Grove Zero.

1) Nous exécutons le code dans la première capture d'écran jusqu'à ce que le bouton espace soit enfoncé. Après cela, nous envoyons une commande d'arrêt.

2) À l'intérieur de la répétition jusqu'au bloc, nous vérifions les positions x et y du nez d'un visage détecté et les sauvegardons dans les variables correspondantes.

3) Si la valeur absolue de x-pos est inférieure à 21 (ce qui signifie qu'elle est comprise entre -20 et 20, donc près du centre de l'image), alors nous vérifions y-pos pour déterminer si la voiture doit avancer ou reculer

4) Sinon, nous vérifions si la voiture doit aller à gauche ou à droite

Passons maintenant à l'onglet Périphérique et écrivons un code court pour la voiture Grove Zero. Nous utiliserons le bloc Lorsque je reçois, qui est responsable de la réception des commandes de diffusion internes. À ne pas confondre avec Lorsque la radio reçoit, qui est utilisé pour la communication Bluetooth. Consultez la capture d'écran pour plus de détails, le code est assez simple.

Connectez votre voiture Grove Zero assemblée à l'ordinateur et appuyez sur le bouton Connect dans Codecraft. Passez en mode de débogage en ligne - cela permettra à Grove Mainboard de recevoir des commandes de diffusion sur le fil. Passez ensuite en mode scène et appuyez sur le drapeau. La voiture devrait bouger maintenant, essayez de la contrôler avec votre nez:)

Étape 4: suivi de ligne avec commande vocale

Il y a une carte dans le kit de voiture Grove Zero, qui est à l'origine pour jouer au mini-jeu Collect the Coins. Nous pouvons le réutiliser pour utiliser la reconnaissance vocale dans Codecraft pour donner des commandes à la voiture dans quel sens tourner au carrefour.

La partie du mode scène est ici moins compliquée que dans l'exemple précédent. Ce que nous faisons c'est:

1) Lors de la réception du message de diffusion choose_direction, reconnaître le fragment de parole et l'enregistrer dans la variable de résultat.

2) Continuez à reconnaître jusqu'à ce que le résultat ne soit PAS inconnu.

3) Comparez le résultat avec deux chaînes - "left" et "right". Diffusez le message correspondant à la voiture Grove Zero.

Le code exécuté dans la voiture Grove Zero est un peu plus compliqué cette fois, mais il suit essentiellement cette logique:

1) Au démarrage, diffuser le message de transfert

2) À la réception du message de transfert, commencez à suivre la ligne. Si la ligne est perdue, arrêtez les moteurs et diffusez

choisir_direction. Ici, le code en mode Stage commence est exécuté.

3) Si le message est resté reçu, commencez à tourner à gauche, puis revenez au mode de suivi de ligne.

Si le message est reçu à droite, commencez à tourner à droite, puis revenez au mode de suivi de ligne.

Étape 5: Dans les coulisses

Les modèles de réseau neuronal utilisés dans l'application ci-dessus sont tous exécutés localement dans votre navigateur, ce qui présente quelques avantages distincts par rapport à l'envoi des données vers le cloud pour traitement: une latence plus faible et une meilleure confidentialité. Un certain nombre de réseaux de neurones sont utilisés dans les services cognitifs - Classification du son pour les commandes vocales (détection des repères du visage, reconnaissance de l'expression du visage et estimation de l'âge.

Dans cet article, nous avons exploré les fonctionnalités de base de l'une des extensions Codecraft AI - les services cognitifs. Il existe de nombreuses façons de s'appuyer sur ces exemples pour créer des applications encore plus amusantes et passionnantes !

Si vous décidez d'essayer, que ce soit avec Grove Zero ou simplement en utilisant le mode Stage, partagez les commentaires ci-dessous. Pour plus d'informations sur la série Grove Zero, Codecraft et d'autres matériels pour les fabricants et les éducateurs STEM, visitez notre site Web, TinkerGen a créé une campagne Kickstarter pour MARK (Make A Robot Kit), un kit de robot pour enseigner le codage, la robotique, l'IA !