Pupitre multimodal : 9 étapes (avec photos)

2024 Auteur: John Day | [email protected]. Dernière modifié: 2024-01-30 09:10

Le pupitre multimodal (MMMS) est une nouvelle façon de contrôler la synthèse audio et les effets tout en jouant d'un instrument traditionnel (sax, flûte, violon, etc.) et offre de nombreuses possibilités supplémentaires pour des techniques étendues pouvant être utilisées en jouant ! Il y a déjà une page Web sur notre projet de groupe à l'UC Santa Barbara dans lequel nous avons développé le MMMS, donc au lieu de le répéter ici, je posterai le lien - vérifiez-le ! ici, mais il y a de meilleures vidéos sur le site ci-dessus… Le multimodal fait référence à la capacité de détecter une entrée dans plus d'une modalité (entrée audio, entrée vidéo et entrée basée sur un capteur). L'entrée audio et vidéo est assez simple, impliquant un microphone normal et une webcam connectée à votre ordinateur, mais l'entrée du capteur est un peu plus complexe, d'où cette instructable… Nous utilisons l'interface USB CREATE, un circuit simple que j'ai développé pour une classe J'enseigne à l'UCSB, avec le kit ThereminVision II pour E-field (également connu sous le nom de détection capacitive) comme indiqué ici:CRÉER une interface USBKit ThereminVisionII Si vous ne savez pas ce qu'est un Theremin, faites-vous une faveur et recherchez Youtube, vous avez gagné ne soyez pas déçu ! Le MMMS est fondamentalement équivalent à 2 Theremins, car il possède 4 antennes de détection de champ E, en plus de l'entrée audio/vidéo bien sûr. Si vous souhaitez étendre vos techniques de performance avec votre instrument en interagissant avec un ordinateur, mais ne voulez pas utiliser de simples pédales, construisez-vous un pupitre multimodal et commencez à vous entraîner avec !

Étape 1: À propos de l'interface CREATE USB

L'interface USB CREATE (CUI) est un simple circuit programmable basé sur PIC qui peut soit être construit entièrement à la main, soit vous pouvez en obtenir un pré-construit directement auprès de moi pour 50 $ (+ 5 pour l'expédition), et vous n'en aurez pas besoin pour acheter un programmeur PIC puisque j'y ai mis le chargeur de démarrage pour vous… consultez le site Web pour plus de détails, ou envoyez-moi simplement un e-mail pour en demander un:CRÉER le site Web de l'interface USBLe CUI peut fonctionner comme beaucoup de choses différentes, et a maintenant été utilisé dans des centaines de des projets intéressants partout dans le monde… quelques exemples d'étudiants de l'UC Santa Barbara sont dans ce document de conférence (PDF). Le CUI peut être reprogrammé via le câble USB à l'aide du chargeur de démarrage, c'est pourquoi il est si facilement adaptable - il suffit de changer le firmware et c'est autre chose. Par exemple, il est facile de transformer le CUI en une interface de capteur sans fil en utilisant l'un des les modules Bluetooth de spark fun - si quelqu'un est intéressé à le faire, publiez une note dans les commentaires demandant un autre instructable. Le CUI dispose de 13 canaux d'entrées analogiques 10 bits et de 16 broches d'entrée/sortie à usage général. Le micrologiciel par défaut fourni avec les cartes CUI v1.0 les envoie tous en tant qu'entrées à l'ordinateur hôte et fonctionne parfaitement avec les environnements de création artistique interactifs tels que Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck, etc. J'ai utilisé l'une des cartes CUI v1.0 pour construire le pupitre multimodal dans cette instructable. Nous utilisons Max/MSP/Jitter comme environnement, mais n'hésitez pas à l'adapter à Pd ou à votre choix de logiciel. Je suis un grand fan de l'open source (le CUI lui-même est open source), et cela aide grandement si nous nous soutenons tous les uns les autres et améliorons les choses que nous faisons !

Étape 2: À propos du kit ThereminVision II

Le ThereminVision II est disponible à la fois sous forme de kit (50 $) et pré-construit (80 $) sur le site du fournisseur, RobotLand, et est également open source - le manuel ThereminVision II (PDF) comprend les schémas de circuit. Pour le MMMS, j'ai acheté le kit et j'ai ensuite décidé d'aller avec le pré-construit cette fois (c'est le deuxième MMMS que j'ai construit). En aparté, au cas où vous vous demanderiez pourquoi je ne propose pas de sous forme de kit de l'interface CREATE USB, c'est parce que le chargeur de démarrage CUI doit être programmé avec un programmeur PIC conventionnel avant que le nouveau firmware puisse être envoyé via USB - sinon je proposerais certainement un kit, même si cela impliquerait une soudure de montage en surface… Alors revenons à le ThereminVision II - si vous l'avez acheté en kit, suivez les (excellentes !) instructions dans le pdf:Manuel ThereminVision II Il y a beaucoup de jolis schémas du câblage que vous devrez faire - la seule chose qu'il ne montre pas est les connexions à l'interface USB CREATE, je vais donc poster les photos que j'ai prises lors des prochaines étapes… oh, et j'ai obtenu les antennes pour le ThereminVision (non incluses) de All Electronics.

Étape 3: Préparation du pupitre

Fabriquez votre pupitre multimodal à partir d'un joli pupitre tel que le "support de chef d'orchestre" montré ici ou utilisez tout ce que vous avez sous la main - mieux encore, créez le vôtre !

Quel que soit le support que vous utilisez, il aura besoin de supports isolés pour les quatre antennes aux coins du support. Commencez par percer des trous dans les coins - le matériel de montage que j'avais posé a fonctionné avec un foret de 1/4 , le vôtre sera probablement différent. Essayez de garder le devant de la surface aussi affleurant que possible pour éviter toute interférence avec les partitions.

Étape 4: connexion des modules de capteur ThereminVision

La connexion des modules "capteurs" ThereminVision (555 circuits de minuterie) au module "processeur" ThereminVision est également abordée plus en détail dans le manuel ThereminVision II, mais voici quelques photos du processus…

Étape 5: Connecter le ThereminVision à l'interface USB CREATE

Comme nous l'avons vu dans la dernière étape, il y a 4 fils reliant chacun des modules de capteur au module de processeur ThereminVision. Il y a également 6 fils reliant le module processeur ThereminVision à l'interface USB CREATE - ce sont l'alimentation, la terre, la sortie du capteur, la sélection du capteur A, la sélection du capteur B et l'arrêt du capteur.

Étant donné que le ThereminVision II sera alimenté par l'interface USB CREATE (qui à son tour est alimentée par l'USB), j'ai décidé de connecter l'alimentation de chacun des modules de capteur ThereminVision directement à l'interface USB CREATE - cela le rend un peu moins d'un nid d'oiseau sur le câblage car il y a déjà beaucoup de fils allant sur la carte processeur TherminVision. Connectez "+" sur le ThereminVision à "5V" sur le CUI Connect "-" sur le ThereminVision à "GND" sur le CUI Connect "4" (la sortie diviser par 4) sur le ThereminVision à "D7" sur le CUI Connect "SEL B" sur le ThereminVision à "D5" sur le CUI connectez "SEL A" sur le ThereminVision à "D4" sur le CUI Connectez "S" sur le ThereminVision à "D6" sur le CUI

Étape 6: tout monter sur le support

L'électronique est donc terminée, il suffit maintenant de la monter sur le support - il existe de nombreuses méthodes pour le faire, et vous voudrez peut-être mettre votre électronique dans une boîte de protection, etc.

Voici quelques photos de certaines des méthodes de montage les plus simples.

Étape 7: démarrage du micrologiciel du ThereminVision dans la CUI

Le ThereminVision envoie des signaux de synchronisation pour ses capteurs au lieu de sorties analogiques (ou l'un des protocoles numériques standard tels que I2C ou SPI). Il fallait donc un micrologiciel personnalisé pour mesurer la synchronisation de ces signaux… La première version du micrologiciel du pupitre multimodal se trouve dans le fichier zip ci-dessous, le code source et le fichier hexadécimal compilé sont inclus (avec un correctif de test pour Max/ MSP/Jitter): Firmware CUI-ThereminVisionLa capture d'écran ci-dessous montre le programme OS X Boot Down par Craig Schimmel - un utilitaire de démarrage Macintosh pour le CUI. Si vous êtes sous Windows, le plus simple est d'utiliser le propre outil de Microchip, PDFSUSB.exe qui est téléchargeable depuis leur site Web, ou inclus dans cet exemple de code pour l'interface CREATE USB. Pour mettre le CUI en "mode bootloader", maintenez enfoncé le bouton de programme et appuyez sur le bouton de réinitialisation (ou branchez simplement le câble USB tout en maintenant le bouton de programme enfoncé). La LED d'état de la CUI clignotera en continu, indiquant qu'elle est en mode bootloader. Maintenant, vous pouvez utiliser Boot Down pour envoyer le fichier CUIEfieldBootDown.hex à l'interface USB CREATE. CUI ici aussi.

Étape 8: Test du pupitre multimodal dans Max/MSP/Jitter

Ouvrez l'exemple de patch dans Max/MSP/Jitter (une démo de 30 jours est téléchargeable sur www.cycling74.com, et une version "runtime" également disponible qui ne permet pas d'enregistrer les patchs), ou suivez les conventions du patch Max et créez votre propre patch dans PureData (Pd)… La gigue est utilisée pour afficher la position 3D des entrées gestuelles, où l'axe z (vers et loin du support) est mappé à l'intensité globale des 4 antennes - pas très scientifique, mais ça marche ! Les données des capteurs individuels sont également envoyées en tant qu'OSC à 127.0.0.1 (localhost) pour être utilisées par d'autres applications si nécessaire. Un objet utile dans Max/MSP/Jitter pour filtrer les pointes des données du capteur (causées par des interférences électriques) est le "smoother" de Tristan Jehan, qui est téléchargeable ici:smoother max objectLe site de Tristan contient également un tas d'externals MSP pour Max que nous utilisons pour la partie analyse audio de l'entrée du pupitre multimodal - ils incluent la hauteur ~, le volume ~, la luminosité ~, le bruit ~ et l'objet analyseur tout-en-un ~. Une fois que vous avez des données entrant dans Max, vous devrez ajuster la sensibilité des capteurs ThereminVision individuellement avec un petit tournevis. Pour ce faire, étendez complètement les antennes, puis tournez le potentiomètre bleu dans le sens inverse des aiguilles d'une montre jusqu'à ce qu'il passe en mode "détection inversée" - puis tournez-le dans le sens des aiguilles d'une montre jusqu'à ce que vous soyez de retour dans la plage de détection normale. De petits ajustements (réglage de la sensibilité, tout comme le réglage d'une guitare) peuvent être effectués en changeant la longueur des antennes, vous n'aurez donc pas besoin de transporter le petit tournevis avec vous pour les concerts.

Étape 9: Utilisation du pupitre multimodal dans Performance ! (et en l'étendant)

N'oubliez pas que les nouvelles techniques de performance que permet le pupitre multimodal nécessitent de la pratique et le développement de nouveaux mappages et idées pour ce que vous voulez contrôler avec ! De plus, si vous souhaitez étendre votre MMMS pour incorporer d'autres types de capteurs, il sera possible d'utiliser les 13 entrées analogiques de la CUI en plus des capteurs ThereminVision dans les futures versions du firmware MMMS, donc avec quelques capteurs simples (curseurs/boutons/pédales) ou d'autres types de capteurs (IR/ultrasons/etc), ceux-ci peuvent être utilisés avec une entrée audio et vidéo sur l'ordinateur. Actuellement, le firmware utilise un protocole "serial-over-USB", mais il est finalement prévu de passer au protocole "HID" (Human Input Device) normalement utilisé par l'interface USB CREATE. N'hésitez pas à contribuer à l'effort… Il existe un projet open source similaire pour la détection de champ E (également connu sous le nom de détection capacitive) qui utilise la même topologie de circuit (basée sur la conception ThereminVision) appelé CapToolKit - il utilise le "petit frère " du PIC18F4550, le PIC18F2550 qui n'a pas autant d'entrées analogiques (10 au lieu de 13). Le firmware du CapToolKit sera légèrement différent car il n'utilise pas la carte processeur ThereminVision. Nous utilisons une simple caméra Firewire (style webcam) montée sur le dessus du pupitre pour la reconnaissance optique des gestes physiques et la détection du regard - Si vous sont intéressés par la vision par ordinateur ou les aspects d'analyse et de synthèse audio des recherches de notre groupe, veuillez consulter les articles sur le site Web Multimodal Music Stand. Et s'il vous plaît, publiez vos expériences si vous construisez un pupitre multimodal… Nous en avons maintenant deux à l'UCSB, comme le montre la photo ci-dessous - ce serait formidable d'avoir plus de compositions, de performances et de musiciens qui les utilisent ! Le Dr JoAnn Kuchera-Morin a écrit la première composition impliquant le MMMS, qui a été interprétée par la flûtiste Jill Felber à l'Eastman School of Music en mars 2007.