Drone autonome avec caméra infrarouge pour assister les premiers intervenants : 7 étapes

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:07

Selon un rapport de l'Organisation mondiale de la santé, chaque année, les catastrophes naturelles tuent environ 90 000 personnes et touchent près de 160 millions de personnes dans le monde. Les catastrophes naturelles comprennent les tremblements de terre, les tsunamis, les éruptions volcaniques, les glissements de terrain, les ouragans, les inondations, les incendies de forêt, les vagues de chaleur et les sécheresses. Le temps est essentiel car les chances de survie commencent à diminuer à chaque minute qui passe. Les premiers intervenants peuvent avoir du mal à localiser les survivants dans des maisons endommagées et mettre leur vie en danger en les recherchant. Disposer d'un système capable de localiser les personnes à distance augmenterait considérablement la vitesse à laquelle les premiers intervenants pourront les évacuer des bâtiments. Après avoir fait des recherches sur d'autres systèmes, j'ai découvert que certaines entreprises avaient créé des robots terrestres ou des drones capables de suivre les personnes mais ne fonctionnant qu'à l'extérieur des bâtiments. La combinaison de caméras de profondeur et de caméras infrarouges spéciales peut permettre un suivi précis de la zone intérieure et la détection des changements de température représentant le feu, les personnes et les animaux. En mettant en œuvre des capteurs avec un algorithme personnalisé sur un véhicule aérien sans pilote (UAV), il sera possible d'inspecter de manière autonome les maisons et d'identifier l'emplacement des personnes et des animaux pour les secourir le plus rapidement possible.

Merci de voter pour moi au concours Optique !

Étape 1: Exigences de conception

Après avoir recherché les technologies disponibles, j'ai discuté des solutions possibles avec des experts en vision industrielle et un premier intervenant pour trouver la meilleure méthode pour détecter les survivants dans les zones dangereuses. Les informations ci-dessous répertorient les caractéristiques les plus importantes requises et les éléments de conception du système.

• Traitement de la vision - Le système doit fournir une vitesse de traitement rapide pour les informations échangées entre les capteurs et la réponse de l'intelligence artificielle (IA). Par exemple, le système doit être capable de détecter les murs et les obstacles pour les éviter tout en trouvant les personnes en danger.
• Autonome - Le système doit pouvoir fonctionner sans l'intervention d'un utilisateur ou d'un opérateur. Le personnel ayant un minimum d'expérience avec la technologie UAV doit être capable d'appuyer sur un ou plusieurs boutons pour que le système commence à numériser par lui-même.
• Portée - La portée est la distance entre le système et tous les autres objets à proximité. Le système doit être capable de détecter les couloirs et les entrées à une distance d'au moins 5 mètres. La portée minimale idéale est de 0,25 m pour que les objets proches puissent être détectés. Plus la plage de détection est grande, plus le temps de détection pour les survivants est court.
• Précision de la navigation et de la détection - Le système doit être capable de trouver avec précision toutes les entrées et de ne heurter aucun objet tout en détectant l'apparition soudaine d'objets. Le système doit être capable de trouver la différence entre les personnes et les objets non vivants grâce à divers capteurs.
• Durée de fonctionnement - Le système devrait pouvoir durer 10 minutes ou plus selon le nombre de pièces qu'il doit analyser.
• Vitesse - Il devrait être capable de scanner l'ensemble du bâtiment en moins de 10 minutes.

Étape 2: Sélection de l'équipement: Méthode de mobilité

Le quadricoptère a été préféré à une voiture télécommandée car bien que le quadricoptère soit fragile, il est plus facile à contrôler et à changer de hauteur pour éviter les obstacles. Le quadricoptère peut contenir tous les capteurs et les stabiliser afin qu'ils soient plus précis tout en se déplaçant dans différentes pièces. Les hélices sont en fibre de carbone résistantes à la chaleur. Les capteurs s'éloignent des murs pour éviter les accidents.

• Véhicule terrestre télécommandé

  • Avantages - Peut se déplacer rapidement sans tomber et n'est pas affecté par la température
  • Inconvénients - Le véhicule mettrait les capteurs bas au sol couvrant moins de surface à la fois et peut être bloqué par des obstacles

• Quadricoptère

  • Avantages - Élève les capteurs dans les airs pour obtenir une vue à 360 degrés de l'environnement
  • Inconvénients - S'il heurte un mur, il peut tomber et ne pas récupérer

Étape 3: Sélection de l'équipement: Microcontrôleurs

Les deux principales exigences pour les microcontrôleurs sont la petite taille pour réduire la charge utile sur le quadricoptère et la vitesse pour traiter rapidement les informations saisies. La combinaison du Rock64 et du DJI Naza est la combinaison parfaite de microcontrôleurs car le Rock64 a une puissance de traitement suffisante pour détecter rapidement les personnes et empêcher le quadricoptère de heurter les murs et les obstacles. Le DJI Naza le complimente bien en faisant toute la stabilisation et le contrôle moteur que le Rock64 ne peut pas faire. Les microcontrôleurs communiquent via un port série et permettent un contrôle par l'utilisateur si nécessaire. Le Raspberry Pi aurait été une bonne alternative mais comme le Rock64 avait un meilleur processeur et une meilleure connectivité aux capteurs listés dans le tableau suivant, le Pi n'a pas été sélectionné. Les Intel Edison et Pixhawk n'ont pas été sélectionnés en raison du manque de support et de connectivité.

• Tarte aux framboises

  • Avantages - Peut détecter les murs et les objets fixes
  • Inconvénients - Il a du mal à suivre les données de tous les capteurs et ne peut donc pas voir les entrées assez rapidement. Ne peut pas émettre de signaux de moteur et n'a pas de capteurs de stabilisation pour le quadricoptère

• Roche64

  • Avantages - Capable de détecter les murs et les entrées avec peu de latence.
  • Inconvénients - Également capable de guider le système dans toute la maison sans heurter quoi que ce soit en utilisant tous les capteurs. Incapable d'envoyer des signaux assez rapidement pour contrôler la vitesse du moteur et n'a pas de capteurs de stabilisation pour le quadricoptère

• Intel Edison

  • Avantages - Capable de détecter les murs et les entrées avec un certain décalage
  • Inconvénients - Technologie plus ancienne, de nombreux capteurs auraient besoin de nouvelles bibliothèques, ce qui prend beaucoup de temps à créer
• DJI Naza
  • Avantages - A un gyroscope, un accéléromètre et un magnétomètre intégrés, pour permettre au quadricoptère d'être stable dans l'air avec des micro-ajustements de la vitesse du moteur
  • Inconvénients - Impossible de faire n'importe quel type de traitement de la vision

• Pixhawk

  • Avantages - Compact et compatible avec les capteurs utilisés dans le projet en utilisant la sortie d'entrée à usage général (GPIO)
  • Inconvénients - Impossible de faire n'importe quel type de traitement de la vision

Étape 4: Sélection de l'équipement: Capteurs

Une combinaison de plusieurs capteurs est utilisée afin d'obtenir toutes les informations nécessaires pour trouver des personnes dans des zones dangereuses. Les deux principaux capteurs sélectionnés incluent la caméra infrarouge stéréo aux côtés du Sound Navigation And Ranging (SONAR). Après quelques tests, j'ai décidé d'utiliser la caméra Realsense D435 car elle est petite et est capable de suivre avec précision des distances allant jusqu'à 20 mètres. Il fonctionne à 90 images par seconde, ce qui permet de prendre de nombreuses mesures avant de décider où se trouvent les objets et dans quelle direction pointer le quadricoptère. Des capteurs SONAR sont placés en haut et en bas du système pour permettre au quadricoptère de savoir jusqu'où il peut descendre avant d'entrer en contact avec une surface. Il y en a également un placé vers l'avant pour permettre au système de détecter des objets comme le verre que le capteur de la caméra infrarouge stéréo ne peut pas détecter. Les personnes et les animaux sont détectés à l'aide d'algorithmes de reconnaissance de mouvement et d'objet. La caméra FLIR sera mise en œuvre pour aider la caméra infrarouge stéréo à suivre ce qui est vivant et ce qui ne l'est pas pour augmenter l'efficacité de la numérisation dans des conditions défavorables.

• Kinect V1

  • Avantages - Peut suivre facilement des objets 3D jusqu'à 6 mètres de distance
  • Inconvénients -N'a qu'un seul capteur infrarouge et est trop lourd pour un quadricoptère

• Sens réel D435

  • Avantages - Dispose de 2 caméras infrarouges et d'une caméra rouge, verte, bleue, profondeur (RVB-D) pour une détection d'objets 3D de haute précision jusqu'à 25 mètres. Il mesure 6 cm de large, ce qui permet un ajustement facile dans un quadricoptère
  • Inconvénients - Peut chauffer et peut nécessiter un ventilateur de refroidissement

• LIDAR

  • Avantages - Faisceau qui peut suivre des emplacements jusqu'à 40 mètres dans sa ligne de mire
  • Inconvénients - La chaleur dans l'environnement peut affecter la précision de la mesure

• SONAR

  • Avantages - Faisceau qui peut suivre une distance de 15 m mais est capable de détecter des objets transparents comme le verre et l'acrylique
  • Inconvénients - Seuls les points dans une ligne de vue mais peuvent être déplacés par le quadricoptère pour scanner la zone

• Ultrasonique

  • Avantages - A une portée allant jusqu'à 3 m et est très bon marché
  • Inconvénients - Seuls les points dans une ligne de mire et peuvent être hors de portée de détection de distance très facilement

• Caméra FLIR

  • Avantages - Capable de prendre des photos de profondeur à travers la fumée sans interférence et peut détecter les personnes vivantes grâce à des signatures thermiques
  • Inconvénients - Si quelque chose interfère avec les capteurs, les calculs de distance peuvent être mal calculés

• Capteur PIR

  • Avantages - Capable de détecter les changements de température
  • Inconvénients - Impossible de déterminer où se situe la différence de température

Étape 5: Sélection de l'équipement: Logiciel

J'ai utilisé le SDK Realsense avec le système d'exploitation du robot (ROS) pour créer une intégration transparente entre tous les capteurs avec le microcontrôleur. Le SDK a fourni un flux constant de données de nuages de points, ce qui était idéal pour suivre tous les objets et les limites du quadricoptère. ROS m'a aidé à envoyer toutes les données des capteurs au programme que j'ai créé et qui implémente l'intelligence artificielle. L'IA se compose d'algorithmes de détection d'objets et d'algorithmes de détection de mouvement qui permettent au quadricoptère de trouver un mouvement dans son environnement. Le contrôleur utilise la modulation de largeur d'impulsion (PWM) pour contrôler la position du quadricoptère.

• Freenect

  • Avantages - A un niveau d'accès inférieur pour tout contrôler
  • Inconvénients - Ne prend en charge que le Kinect V1

• SDK Realsense

  • Avantages - Peut facilement créer les données de nuage de points à partir du flux d'informations de la caméra Realsense
  • Inconvénients - Ne prend en charge que la caméra Realsense D435

• Pilote FLIR Linux

  • Avantages - Peut récupérer le flux de données de la caméra FLIR
  • Inconvénients - La documentation est très limitée

• Système d'exploitation de robot (ROS)

  • Avantages - Système d'exploitation idéal pour programmer les fonctions de la caméra
  • Inconvénients - Doit être installé sur une carte SD rapide pour une collecte de données efficace

Étape 6: Développement du système

Les « yeux » de l'appareil sont le capteur infrarouge stéréo Realsense D435, qui est un capteur standard principalement utilisé pour les applications robotiques telles que la cartographie 3D (Figure 1). Lorsque ce capteur est installé sur le quadricoptère, la caméra infrarouge peut guider et permettre au quadricoptère de se déplacer de manière autonome. Les données générées par la caméra sont appelées un nuage de points qui consiste en une série de points dans un espace qui contiennent des informations sur la position d'un certain objet dans la vision de la caméra. Ce nuage de points peut être converti en une carte de profondeur qui affiche les couleurs à différentes profondeurs (Figure 2). Le rouge est plus loin, tandis que le bleu est plus proche à quelques mètres.

Pour garantir que ce système est transparent, un système d'exploitation open source appelé ROS, qui est généralement utilisé sur les robots, a été utilisé. Il permet d'effectuer un contrôle de périphérique de bas niveau, d'accéder à tous les capteurs et de compiler des données à utiliser par d'autres programmes. ROS communiquera avec le SDK Realsense qui permet d'allumer et d'éteindre différentes caméras pour suivre la distance entre les objets et le système. Le lien entre les deux me permet d'accéder au flux de données de la caméra qui crée un nuage de points. Les informations du nuage de points peuvent déterminer où se trouvent les limites et les objets à moins de 30 mètres et une précision de 2 cm. Les autres capteurs tels que les capteurs SONAR et les capteurs intégrés dans le contrôleur DJI Naza permettent un positionnement plus précis du quadcopter. Mon logiciel utilise des algorithmes d'IA pour accéder au nuage de points et, grâce à la localisation, créer une carte de tout l'espace entourant l'appareil. Une fois que le système est lancé et commence à numériser, il parcourra les couloirs et trouvera les entrées d'autres pièces où il pourra ensuite balayer la pièce à la recherche de personnes spécifiquement. Le système répète ce processus jusqu'à ce que toutes les pièces aient été scannées. Actuellement, le quadricoptère peut voler pendant environ 10 minutes, ce qui est suffisant pour effectuer un balayage complet, mais peut être amélioré avec différents arrangements de batterie. Les premiers intervenants recevront des notifications lorsque des personnes seront repérées afin qu'elles puissent concentrer leurs efforts sur certains bâtiments.

Étape 7: Discussion et conclusion

Après de nombreux essais, j'avais créé un prototype fonctionnel qui répondait aux exigences énumérées dans le tableau 1. En utilisant la caméra infrarouge stéréo Realsense D435 avec le SDK Realsense, une carte de profondeur haute résolution de l'avant du quadricoptère a été créée. Au début, j'ai eu quelques problèmes avec la caméra infrarouge qui ne pouvait pas détecter certains objets comme le verre. En ajoutant un capteur SONAR, j'ai pu surmonter ce problème. La combinaison du Rock64 et du DJI Naza a été un succès car le système a pu stabiliser le quadricoptère tout en étant capable de détecter des objets et des murs grâce à des algorithmes de vision par ordinateur créés sur mesure à l'aide d'OpenCV. Bien que le système actuel soit fonctionnel et remplisse les exigences, il pourrait bénéficier de quelques futurs prototypes.

Ce système pourrait être amélioré en utilisant des caméras de meilleure qualité pour pouvoir détecter plus précisément les personnes. Certaines des caméras FLIR les plus chères ont la capacité de détecter des signatures thermiques, ce qui permet une détection plus précise. Le système pourrait également fonctionner dans différents environnements tels que des pièces poussiéreuses et remplies de fumée. Avec les nouvelles technologies et l'ignifugation, ce système pourrait être envoyé dans les maisons en feu et détecter rapidement où se trouvent les personnes afin que les premiers intervenants puissent récupérer les survivants du danger.

Merci d'avoir lu! N'oubliez pas de voter pour moi au concours Optique !