Visualiser les données de Magicbit dans AWS : 5 étapes

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:05

Les données collectées à partir des capteurs connectés à Magicbit seront publiées sur le noyau AWS IOT via MQTT pour être visualisées graphiquement en temps réel. Nous utilisons magicbit comme carte de développement dans ce projet basé sur ESP32. Par conséquent, n'importe quelle carte de développement ESP32 peut être utilisée dans ce projet.

Fournitures:

Bit magique

Étape 1: Histoire

Ce projet concerne la connexion de votre appareil Magicbit au cloud AWS via MQTT. Les données envoyées via MQTT sont analysées et visualisées dans le cloud à l'aide des services AWS. Alors, commençons

Vous devez d'abord accéder à la console AWS et vous connecter. À des fins d'apprentissage, vous pouvez utiliser l'option de niveau gratuit offerte par AWS. Ce sera suffisant pour ce projet.

Pour simplifier, je vais diviser le projet en deux sections.

Ce sera la première étape de notre projet. À la fin de la première étape, les données seront stockées dans les compartiments S3.

Les services AWS qui seront utilisés dans la première section,

• Tuyau d'incendie Kinesis
• Colle AWS
• AWS S3

Accédez d'abord au service AWS Kinesis.

Choisissez Kinesis Data Firehose comme indiqué ci-dessous et cliquez sur Créer

Ensuite, vous serez dirigé vers l'étape 1 de création d'un service Firehose. Saisissez un nom de flux de diffusion et choisissez Direct Put ou Other Sources. Cliquez sur Suivant.

Dans la fenêtre de l'étape 2, laissez tout par défaut et cliquez sur Suivant. Après avoir créé le service AWS Glue, nous reviendrons pour modifier cette étape.

À l'étape 3, choisissez un compartiment S3 si vous l'avez déjà créé. Sinon, cliquez sur créer et créez un bucket. Dans la section du préfixe S3, utilisez dest/ et dans le préfixe d'erreur, saisissez error/. Vous pouvez entrer n'importe quel nom pour les deux ci-dessus. Mais pour plus de facilité, nous continuerons avec un nom commun. Assurez-vous de créer un dossier nommé dest dans le compartiment que vous avez choisi. Cliquez sur Suivant.

À l'étape 4, choisissez la taille de mémoire tampon minimale et l'intervalle de mémoire tampon pour le transfert de données en temps réel. Dans la section Autorisation, choisissez Créer ou mettre à jour le rôle IAMKinesisFirehoseServiceRole. Gardez tout par défaut. Cliquez sur Suivant.

Dans la section suivante, un examen des modifications que vous avez apportées sera affiché. Cliquez sur OK. Ensuite, vous aurez un Kinesis Firehose fonctionnel.

Si vous avez réussi à créer le service Firehose, vous obtiendrez quelque chose comme ceci.

Étape 2: Tester le Firehose et le compartiment S3

Pour tester que le firehose et le compartiment S3 fonctionnent correctement, sélectionnez IOT core dans la console. Vous serez dirigé vers une page comme celle-ci. Choisissez Règle et créez une règle.

Qu'est-ce que la règle AWS IOT ?

Il est utilisé pour transmettre toutes les données reçues de MQTT à un service particulier. Dans cet exemple, nous allons transmettre à Kinesis Firehose.

Choisissez un nom pour la règle. Laissez la règle et l'instruction de requête telles quelles. Cela nous indique que tout ce qui est publié dans le sujet iot/topic sera transmis à kinesis Firehose via cette règle.

Sous la section Définir une ou plusieurs actions, cliquez sur Ajouter une action. Choisissez Envoyer un message à Amazon Kinesis Firehose Stream. Choisissez configurer. Sélectionnez ensuite le nom du flux Firehose créé précédemment. Cliquez ensuite sur Créer un rôle et créez un rôle. Vous avez maintenant créé avec succès un rôle dans AWS.

Tout message que vous publiez sera transféré via les compartiments Kinesis Firehose vers S3.

Gardez à l'esprit que Firehose envoie des données lorsque sa mémoire tampon est remplie ou lorsque l'intervalle de mémoire tampon est atteint. L'intervalle de mémoire tampon minimum est de 60 secondes.

Nous pouvons maintenant passer à la deuxième partie du projet. Ce sera notre diagramme de flux de données.

Étape 3: configuration d'AWS Glue

Pourquoi avons-nous besoin d'AWS Glue et d'AWS Athena ?

Les données stockées dans les compartiments S3 ne peuvent pas être directement utilisées comme entrée dans AWS Quicksight. Nous devons d'abord organiser les données sous forme de tableaux. Pour cela, nous utilisons les deux services ci-dessus.

Accédez à AWS Glue. Sélectionnez Crawler dans la barre d'outils latérale. Sélectionnez ensuite Ajouter un robot d'exploration.

Dans la première étape, entrez un nom pour votre robot d'exploration. Cliquez sur Suivant. À l'étape suivante, laissez-le par défaut. Dans la troisième étape, entrez le chemin d'accès au compartiment S3 que vous avez choisi. Laissez la fenêtre suivante par défaut. Dans la cinquième fenêtre, saisissez n'importe quel rôle IAM. À l'étape suivante, choisissez la fréquence d'exécution du service.

Il est conseillé de sélectionner personnalisé dans la liste déroulante et de choisir un temps minimum.

À l'étape suivante, cliquez sur Ajouter une base de données, puis sur Suivant. Cliquez sur Terminer.

Nous devons maintenant intégrer notre Kinesis Firehose avec la colle AWS que nous avons créée.

Accédez à AWS Kinesis firehose que nous avons créé et cliquez sur modifier.

Faites défiler jusqu'à la section Convertir le format d'enregistrement et choisissez Activé.

Choisissez le format de sortie comme Apache Parquet. Pour le reste des détails, remplissez les détails de la base de données Glue que vous avez créée. Une table doit être créée dans la base de données et le nom doit être ajouté dans cette section. Cliquez sur Enregistrer.

Étape 4: configuration d'AWS Athena

Choisissez la base de données et la table de données que vous avez créées. Dans la section de requête, ce code doit être ajouté.

table-name doit être remplacé par le nom réel de la table Glue que vous avez créée.

Cliquez sur Exécuter la requête. Si cela fonctionne, les données stockées dans le compartiment AWS S3 doivent être affichées sous forme de table de données.

Nous sommes maintenant prêts à visualiser les données que nous avons obtenues.

Étape 5: Configuration de QuickSight

Accédez à AWS Quicksight

Cliquez sur Nouvelle analyse dans le coin supérieur droit, puis sur Nouveau jeu de données.

Choisissez Athéna dans la liste. Entrez n'importe quel nom de source de données sur la carte contextuelle.

Sélectionnez la base de données Glue dans la liste déroulante et la table appropriée. Cela vous mènera à cette page.

Faites glisser et déposez n'importe quel champ de la liste des champs et sélectionnez n'importe quel type de visuel.

Vous pouvez maintenant visualiser toutes les données envoyées depuis votre MagicBit en utilisant les services AWS !!!

N'oubliez pas d'autoriser l'accès pour quicksight pour les compartiments S3 respectifs afin de visualiser les données qu'ils contiennent.