Utiliser la photogrammétrie pour créer des modèles : 9 étapes

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:06

Qui suis je?

Je suis Samuel Conklin et je suis en deuxième année à E. L. Lycée Meyers. J'ai expérimenté la photogrammétrie au cours des deux derniers mois et j'espère vous aider si vous choisissez de recréer ce produit. Je suis intéressé de voir comment d'autres personnes peuvent utiliser cette nouvelle technologie en constante évolution.

Qu'est-ce que la réalité virtuelle et SteamVR ?

La réalité virtuelle est une nouvelle forme d'expression et d'expérience artistique. C'est toujours une nouvelle frontière de la technologie alors que d'innombrables entreprises et personnes travaillent pour améliorer le support. Vous ne vous rendez pas service si vous n'avez jamais essayé la réalité virtuelle, car elle encapsule totalement le sens de la vue et du son de son utilisateur. L'une des principales plates-formes pour la réalité virtuelle est SteamVR de Valve. SteamVR permet aux utilisateurs de partager librement des environnements et de se mettre en place sans frais. Il est principalement open source et permet une myriade de casques. Ceux-ci incluent, mais ne sont pas limités à la série HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality, etc. SteamVR est la plate-forme que nous utilisons pour créer notre environnement.

Qu'est-ce que la photogrammétrie et comment peut-elle être utilisée ?

La photogrammétrie est le processus consistant à prendre des photos ou des vidéos et à transformer les images en un modèle 3D. L'exemple le plus célèbre de l'utilisation de cette technologie est Google Earth. Google utilise des images satellite et des vues de rue pour reconstituer des paysages et des bâtiments. En regardant Google Earth, il est clair qu'ils avaient peu d'images à partir desquelles travailler, donc certains bâtiments auront l'air déformés. Lorsqu'elle est utilisée correctement, la photogrammétrie est un moyen extrêmement convaincant de créer des modèles 3D. Ce projet utilise cette technologie pour préserver les monuments historiques. L'érosion et l'exposition aux éléments signifient que les monuments historiques finiront par tomber en ruine et que les gens les oublieront. Grâce à la photogrammétrie, nous sommes en mesure de tout préserver numériquement, afin que les générations futures puissent découvrir et apprécier ces structures. Cela signifie également que davantage de personnes dans le monde pourraient découvrir d'autres cultures sans le coût ou le risque de voyager.

De quelles fournitures ai-je besoin ?

Pour ce projet, j'ai utilisé Reality Capture, SteamVR et Krita. Il existe des programmes Autodesk, Agisoft et Zephyr qui peuvent être utilisés à la place de Reality Capture si vous ne disposez pas du GPU Nvidia requis pour l'exécuter. Photoshop ou d'autres programmes de retouche photo peuvent être utilisés à la place de Krita, mais comme son utilisation est gratuite et publique, j'ai choisi de l'utiliser pour ce projet. Vous aurez également besoin d'un casque VR de bureau qui peut se brancher directement sur votre ordinateur. Enfin, un appareil photo de haute qualité est nécessaire. Un appareil photo mobile est correct, mais j'ai utilisé un Nikon D7000 car Reality Capture peut détecter automatiquement l'ouverture de l'appareil photo, ce qui conduit à des modèles de meilleure qualité.

Étape 1: Prendre des photos

C'est la partie la plus importante de ce projet car vous devez le corriger en un seul coup. Si vous ne le faites pas, vous devrez retourner à l'emplacement et tout reprendre.

Tout d'abord, vous devrez trouver un emplacement et une structure appropriés. La structure doit être grande et facilement identifiable. Cela signifie que le logiciel de photogrammétrie sera capable de détecter les différences entre la structure et le fond.

En règle générale, prendre des photos par temps couvert est la meilleure façon de procéder. En effet, une journée ensoleillée a la possibilité de surexposer certaines photos et de sous-exposer d'autres. Cela pourrait également créer des ombres indésirables. Un modèle avec peu ou pas d'ombres facilitera l'éclairage dans la section de développement de niveau. De plus, le logiciel a besoin que la balance des couleurs reste la même avec chaque photo, car il utilise des couleurs pour calculer la taille de l'objet. Cependant, prendre des photos par temps couvert améliorera la qualité de la structure. Les nuages dans le ciel agiront comme un diffuseur naturel pour la caméra. Cela répartira la lumière plus uniformément et signifie que le modèle deviendra précis pendant le processus de rendu.

Le dernier conseil est de prendre autant de photos que possible. La plupart des programmes choisiront les photos qu'ils utiliseront pour le produit final. En prenant plus de photos, tout sera plus précis et donnera un peu de répit au programme. J'avais environ 150-300 photos pour chaque modèle.

Étape 2: Premiers pas avec le logiciel de photogrammétrie

Maintenant, nous allons importer les photos dans le logiciel. Notez que Reality Capture nécessite une carte graphique Nvidia. Vous ne pouvez pas dépasser la section Aligner les images sans elle.

Si vous avez un dossier avec toutes les images que vous souhaitez utiliser, choisissez l'option Dossier dans le coin supérieur gauche. Cela vous mènera au Gestionnaire de fichiers et vous pourrez choisir le dossier. Les entrées vous permettront de choisir des photos individuelles avec le gestionnaire de fichiers.

Ensuite, nous allons commencer le processus de construction du modèle. En haut de l'écran, sous Workflow, il y a une section Processus. Nous voulons appuyer sur le plus gros bouton Démarrer. Cela va commencer à aligner les images. La quatrième photo montre brièvement ce qui se passe pendant ce processus. Il reconnaîtra l'œil gauche du cerf et comparera la distance avec d'autres photos. Il continuera à comparer différentes photos jusqu'à ce qu'il ait parcouru toutes les combinaisons possibles. Cette étape est terminée si vous pouvez voir des petits points qui ressemblent à la structure.

Étape 3: Calculer et simplifier

L'étape suivante consiste à calculer le modèle. Pour ce faire, nous cliquons sur Calculate Model dans la section Process. Cela traduira directement tout ce qu'il trouvera dans les photos sous forme 3D. Les résultats sont assez proches de ce à quoi nous voulons que le modèle ressemble, mais il y a trois problèmes avec cette version du modèle. Premièrement, il y a des trous dans le modèle qui ne sont pas dans la structure réelle. Deuxièmement, la surface est beaucoup trop bosselée. Puisque le programme se rapproche de ses calculs, il rendra à tort certaines surfaces lisses bosselées. Troisièmement, il y a trop de triangles. Chaque modèle de Reality Capture est créé avec de petits triangles. Chaque triangle représente une petite surface du modèle. Nous voulons le moins de triangles possible pour optimiser le modèle. S'il y a trop de triangles, cela peut entraîner des problèmes de performances.

Ces problèmes peuvent être résolus avec l'outil Simplifier. Tous les modèles auront 3 000 000 triangles après l'étape de calcul du modèle, et nous pouvons choisir d'augmenter ou de diminuer ce nombre. Pour tous les modèles comme ceux trouvés dans ce projet, j'ai abaissé le nombre de triangles à 1 000 000. Le résultat se trouve dans la deuxième image, où toutes les surfaces bosselées sont plus lisses et il y a moins de trous. De plus, avec moins de triangles à rendre, les performances seront meilleures lorsque nous passerons à la VR.

Étape 4: Couleur et texture

Maintenant, le modèle aura besoin de couleur et de texture pour le rendre encore plus réaliste. Ces deux parties sont similaires dans ce qu'elles réalisent mais sont différentes dans la façon dont elles fonctionnent. En utilisant Color, qui se trouve dans la section Process, le programme coloriera le modèle. L'outil prendra les photos qu'il a utilisées pour créer le modèle et enroulera vos images autour des différentes surfaces de votre modèle. La texture, en revanche, colorera les parties simplifiées du modèle. En regardant la première image, on voit clairement comment le programme a enroulé les images autour du modèle, mais dans la deuxième image après le processus de Texture, les côtés nets des images sont maintenant lissés.

Étape 5: Exportation et SteamVR

Dans Reality Capture, nous allons transférer les modèles vers SteamVR. En haut de l'écran, sous Exporter, sélectionnez Maillage, situé à côté de la section Processus. Vous devriez voir cette pop-up qui vous permet de modifier les réglages et les paramètres du modèle. Il est préférable de conserver tous les paramètres par défaut, sauf pour modifier le format de texture JPEG. Le programme va maintenant exporter un fichier au format OBJ, qui est le fichier de maillage, et un JPEG, qui est le fichier de texture pour le modèle. À des fins de référence, le JPEG doit ressembler à la deuxième image de cette étape.

Maintenant, nous devons importer nos modèles dans SteamVR. Tout d'abord, ouvrez SteamVR, puis accédez à Créer/Modifier un environnement, qui se trouve sous l'onglet Atelier. Les outils de l'atelier SteamVR vont maintenant s'ouvrir. Choisissez Créer un module complémentaire vide et cliquez sur Lancer les outils.

Le navigateur d'actifs s'ouvrira maintenant avec différents matériaux et modèles déjà inclus. En haut à gauche, il y a une icône avec un symbole de marteau. Il s'agit de l'éditeur SteamVR Hammer intégré, qui vous permet de créer des cartes. Les cartes sont l'environnement dans lequel l'utilisateur VR habitera pendant le jeu.

Étape 6: Création de votre carte SteamVR

Avec l'éditeur Hammer ouvert dans SteamVR, nous pouvons maintenant créer un cube. Nous voulons créer un cube afin de commencer à construire l'environnement. Le programme vous permet de modifier la taille du cube avant qu'il ne soit fixé en place. À l'heure actuelle, seules les surfaces extérieures du cube sont visibles. En appuyant sur CTRL+F, les surfaces seront toutes inversées et transformeront le cube en pièce. De plus, vous devrez ajouter un objet appelé info_player_start, qui indiquera à Hammer où générer l'utilisateur lors du chargement du programme.

Pour rendre la pièce plus réaliste, nous devons également ajouter des textures. Nous pouvons ajouter des images personnalisées via l'éditeur de matériaux. Il s'agit de l'icône circulaire à droite du bouton Marteau dans le navigateur de ressources. La sélection de l'éditeur de matériaux vous amènera à une nouvelle fenêtre qui vous permettra d'importer une image à transformer en texture. Vous pouvez utiliser vos propres images ou obtenir des images à partir de sites Web de textures tels que textures.com. Cliquez sur le bouton Fichier sous la sélection de couleurs pour sélectionner l'image que vous souhaitez utiliser. Après avoir sélectionné votre image, assurez-vous de l'enregistrer en appuyant sur l'icône de la disquette en haut à gauche de la fenêtre de l'éditeur de matériaux. Maintenant, fermez l'éditeur de matériaux et revenez au navigateur de ressources. Ici, recherchez le fichier de texture que vous souhaitez utiliser, puis cliquez et faites-le glisser dans l'éditeur Hammer. Dans cette fenêtre, vous pouvez appliquer votre texture sur les différentes faces du cube.

Nous devons également ajouter de l'éclairage à la pièce. Pour ce faire, nous mettons un light_omni ou un light_spot sur notre carte, qui se trouve dans la section Entity à gauche de la vue cartographique. Un light_omni éclairera dans toutes les directions tandis qu'un light_spot éclairera dans une direction spécifique. Pour ce projet, j'ai utilisé au moins deux light_spots pour chaque objet et un light_omni pour éclairer la pièce.

Étape 7: ajouter nos objets à la carte

Maintenant, il est temps de commencer à déplacer nos objets dans notre carte. Dans le navigateur de ressources, à droite de l'icône de l'éditeur de matériaux se trouve l'éditeur de modèle qui ressemble à une icône humanoïde. Lors de l'ouverture de l'éditeur de modèle, vous aurez la possibilité de parcourir ou de créer un nouveau VDML, qui est la version de l'éditeur Hammer d'un fichier OBJ. Sélectionnez l'option pour créer un nouveau VDML et il vous faudra créer un dossier. Ce dossier stockera le fichier VDML. Assurez-vous qu'il se trouve dans le dossier Add On et appuyez sur continuer.

Cela vous amènera à un écran avec votre modèle, qui a une texture blanche. Pour ajouter la texture de ce modèle, sélectionnez Matériaux dans la barre d'outils à gauche. Cela vous mènera à l'éditeur de matériaux et vous pourrez sélectionner le JPEG à partir de l'exportation Reality Capture. Assurez-vous d'enregistrer la texture et le modèle en cliquant sur l'icône Floppy Disk. Retournez à l'éditeur de marteau.

Dans Hammer, vous pouvez faire glisser et déposer le modèle du navigateur d'actifs vers la carte. Le modèle sera probablement minuscule et vous devrez le redimensionner. En appuyant sur le T de votre clavier, vous pouvez modifier sa position sur la carte. Appuyer sur E changera les proportions du modèle tandis que R le fera pivoter.

Étape 8: Création des étiquettes d'objet

Les étiquettes d'objet vues à côté de chaque point de repère fournissent un contexte et un historique pour améliorer l'expérience de l'utilisateur. Pour mes étiquettes d'objets, j'ai simplement pris des photos des plaques d'information à chaque endroit pour enregistrer facilement les informations importantes que je voulais utiliser plus tard. J'ai ensuite utilisé Krita, un logiciel de retouche photo gratuit, afin de créer les étiquettes d'objets comprenant des images et du texte supplémentaires.

Pour le côté Miner Park et Anchor de la pièce, il n'y avait aucun problème à ajouter des étiquettes en tant que textures. Ajoutez-les simplement à votre navigateur de ressources via l'éditeur de matériaux et ajoutez l'image à un bloc qui peut être créé dans l'éditeur Hammer. Des problèmes sont apparus lorsque j'ai créé des planches pour l'autre côté de la pièce. Tout le texte et les images étaient à l'envers et il n'y avait aucun moyen clair d'inverser les textures dans l'éditeur. Pour résoudre ce problème, je suis retourné dans Krita et j'ai inversé les planches pour le cerf et l'ours et heureusement, cela a résolu le problème.

De plus, j'ai ajouté diverses images de Wilkes-Barre, car je voulais créer une pièce qui ait l'ambiance et l'ambiance d'un musée-boutique.

Étape 9: Conclusion

En conclusion, la réalité virtuelle et la photogrammétrie ont le pouvoir d'améliorer considérablement d'innombrables industries, y compris, mais sans s'y limiter, le sport, l'immobilier et la médecine légale. Aujourd'hui, j'ai utilisé la photogrammétrie pour préserver certaines parties petites mais importantes de l'histoire locale de ma ville natale. La réalité virtuelle et la photogrammétrie sont toutes deux des technologies encore expérimentales qui peuvent parfois vous mettre au défi. Malgré quelques lacunes, la quantité d'utilisations innovantes pour les deux procédés est passionnante et illimitée. Je vous remercie d'avoir lu sur ce projet et j'espère que cela vous a inspiré à essayer quelque chose de nouveau avec la réalité virtuelle.

Le lien de téléchargement du projet se trouve ici.