Multimodální hudební stojan: 9 kroků (s obrázky)

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:24

Multimodální hudební stojan (MMMS) je nový způsob ovládání zvukové syntézy a efektů při hře na tradiční nástroj (saxofon, flétna, housle, pojmenujete to) a nabízí několik dalších možností rozšířených technik, které lze při hraní použít. ! Již existuje webová stránka o našem skupinovém projektu v UC Santa Barbara, ve kterém jsme vyvinuli MMMS, takže místo toho, abych to opakoval, zveřejním odkaz - podívejte se na to! Web Multimodal Music Stand Krátký klip z MMMS v akci je zde, ale na výše uvedeném webu jsou lepší videa … Multimodální se týká schopnosti snímat vstup ve více než jedné modalitě (audio vstup, video vstup a senzorový vstup). Zvukový a obrazový vstup je docela jednoduchý, zahrnuje normální mikrofon a webovou kameru připojenou k počítači, ale vstup senzoru je o něco složitější, a proto je tento návod … Používáme rozhraní CREATE USB, jednoduchý obvod, který jsem vyvinul pro třídu Učím na UCSB spolu se soupravou ThereminVision II pro E-pole (také známou jako kapacitní snímání), jak je znázorněno zde: CREATE USB InterfaceThereminVisionII kit Pokud nevíte, co je Theremin, udělejte si laskavost a prohledejte Youtube, vyhráli jste nebuď zklamaný! MMMS je v zásadě ekvivalentní 2 Theremins, protože kromě audio/video vstupu má samozřejmě 4 antény pro snímání pole E. Pokud máte zájem rozšířit své výkonové techniky o svůj nástroj interakcí s počítačem, ale Nechcete používat jednoduché pedály, postavte si Multimodální hudební stojan a začněte s ním cvičit!

Krok 1: O rozhraní CREATE USB

Rozhraní CREATE USB (CUI) je jednoduchý programovatelný obvod založený na PIC, který lze buď postavit zcela samostatně, nebo můžete předem získat přímo ode mě za 50 $ (+ 5 za poštovné) a nebudete potřebovat koupit programátor PIC, protože jsem pro vás nainstaloval zavaděč … podívejte se na webovou stránku pro podrobnosti, nebo mi pošlete e -mail a požádám o něj: VYTVOŘTE webové stránky s rozhraním USB zajímavé projekty z celého světa … několik příkladů studentů UC Santa Barbara je v tomto konferenčním příspěvku (PDF). CUI lze přeprogramovat pomocí kabelu USB pomocí zavaděče, a proto je tak snadno přizpůsobitelný - jednoduše změňte firmware a je to něco jiného. Například je snadné přeměnit CUI na rozhraní bezdrátového senzoru pomocí jednoho z moduly Bluetooth od Spark Fun - pokud to někoho zajímá, napište do komentářů poznámku požadující další instruktáž. CUI má 13 kanálů 10bitových analogových vstupů a 16 vstupních/výstupních pinů pro všeobecné použití. Výchozí firmware dodávaný s deskami CUI v1.0 je všechny posílá jako vstupy do hostitelského počítače a funguje dobře s interaktivním prostředím pro tvorbu umění, jako je Max/MSP/Jitter, Pd/Gem, SuperCollider, Chuck atd. jedna z desek CUI v1.0 pro vybudování Multimodal Music Stand v tomto instruktážním programu. Jako prostředí používáme Max/MSP/Jitter, ale v každém případě to můžete přizpůsobit Pd nebo vašemu výběru softwaru. Jsem velkým fanouškem open source (samotný CUI je open source) a velmi nám pomáhá, když se všichni navzájem postavíme na ramena a zdokonalíme věci, které vytváříme!

Krok 2: O soupravě ThereminVision II Kit

ThereminVision II je k dispozici jako stavebnice (50 $) i předem připravená (80 $) z webu prodejce, RobotLand, a je také open source - manuál ThereminVision II (PDF) obsahuje schémata zapojení. Pro MMMS jsem koupil stavebnici a pak jsem se rozhodl jít tentokrát s předem připravenou (toto je druhá MMMS, kterou jsem postavil). Jako stranou, v případě, že se divíte, proč nenabízím forma rozhraní CREATE USB, je to proto, že zavaděč CUI musí být naprogramován konvenčním programátorem PIC, než bude možné nový firmware odeslat přes USB - jinak bych rozhodně nabídl soupravu, i když by to zahrnovalo pájení na povrchovou montáž … Takže zpět na ThereminVision II - pokud jste jej zakoupili ve stavebnicovém provedení, řiďte se (skvělými!) pokyny v pdf: manuál ThereminVision II Existuje mnoho pěkných schémat zapojení, které budete muset udělat - jediná věc, kterou neukazuje je připojení k rozhraní CREATE USB, takže fotky, které jsem pořídil, zveřejním v následujících krocích … oh, a antény pro ThereminVision (nejsou součástí dodávky) jsem dostal od All Electronics.

Krok 3: Příprava hudebního stojanu

Vytvořte svůj Multimodální hudební stojan z pěkného hudebního stojanu, jako je zde zobrazený „stojan pro dirigenty“, nebo použijte cokoli, co máte po ruce - ještě lépe, vytvořte si vlastní!

Bez ohledu na to, jaký stojan používáte, bude potřebovat izolované držáky pro čtyři antény v rozích stojanu. Začněte tím, že do rohů vyvrtáte otvory - montážní materiál, kolem kterého jsem se pokládal, fungoval pomocí vrtáku 1/4 , váš bude pravděpodobně jiný. Pokuste se udržet přední část povrchu co nejrovnější, abyste předešli interferenci s notami.

Krok 4: Připojení senzorových modulů ThereminVision

Připojení modulů „senzorů“ThereminVision (555 časovacích obvodů) k modulu „procesoru“ThereminVision je také podrobněji popsáno v příručce ThereminVision II, ale zde je několik obrázků z procesu…

Krok 5: Připojení ThereminVision k rozhraní CREATE USB

Jak jsme viděli v posledním kroku, jsou zde 4 vodiče spojující každý ze senzorových modulů s procesorovým modulem ThereminVision. Modul procesoru ThereminVision připojuje k rozhraní CREATE USB také 6 vodičů - jedná se o napájení, uzemnění, výstup senzoru, výběr senzoru A, výběr senzoru B a zastavení senzoru.

Vzhledem k tomu, že ThereminVision II bude získávat energii z rozhraní CREATE USB (které zase získává energii z USB), rozhodl jsem se připojit napájení pro každý ze senzorových modulů ThereminVision přímo k rozhraní CREATE USB - díky tomu je o něco méně ptačího hnízda na elektroinstalaci, protože na desku procesoru TherminVision již vede spousta vodičů. Připojte "+" na ThereminVision k "5V" na CUI Connect "-" na ThereminVision na "GND" na CUI Connect "4" (dělení 4 výstupy) na ThereminVision na "D7" na CUI Connect „SEL B“na ThereminVision k „D5“na CUI připojte „SEL A“na ThereminVision k „D4“na CUI Připojte „S“na ThereminVision k „D6“na CUI

Krok 6: Montáž všeho na stojan

Elektronika je hotová, nyní ji stačí namontovat na stojan - existuje mnoho způsobů, jak toho dosáhnout, a možná budete chtít elektroniku umístit do ochranného boxu atd.

Zde jsou některé fotografie některých nejjednodušších způsobů montáže.

Krok 7: Zavedení firmwaru pro ThereminVision do CUI

ThereminVision odesílá časovací signály pro své senzory místo analogových výstupů (nebo jakéhokoli standardního digitálního protokolu, jako je I2C nebo SPI). Byl tedy zapotřebí nějaký vlastní firmware pro měření načasování těchto signálů … První verze firmwaru Multimodal Music Stand je v níže uvedeném souboru zip, součástí je zdrojový kód i kompilovaný hex soubor (spolu s testovací záplatou pro Max/ MSP/Jitter): Firmware CUI -ThereminVision Níže uvedený snímek obrazovky ukazuje program OS X Boot Down od Craiga Schimmela - nástroj pro zavádění systému Macintosh pro CUI. Pokud používáte Windows, nejjednodušší je použít vlastní nástroj Microchip, PDFSUSB.exe, který lze stáhnout z jejich webových stránek, nebo který je součástí tohoto příkladu kódu pro rozhraní CREATE USB. Chcete -li CUI přepnout do „režimu zavaděče“, podržte tlačítko programu a stiskněte tlačítko reset (nebo jen zapojte kabel USB a současně držte stisknuté tlačítko programu). Stavová kontrolka CUI bude nepřetržitě blikat, což znamená, že je v režimu zavaděče. Nyní můžete použít Boot Down k odeslání souboru CUIEfieldBootDown.hex do rozhraní CREATE USB. Pokud byste někdy chtěli změnit firmware pro rozhraní CREATE USB zpět na originál, je zde a existují další příklady firmwaru pro CUI také zde.

Krok 8: Testování multimodálního hudebního stojanu v režimu Max/MSP/Jitter

Otevřete ukázkovou opravu v Max/MSP/Jitter (30denní demo je možné stáhnout z www.cycling74.com a je k dispozici také verze „runtime“, která neumožňuje ukládání záplat), nebo se řiďte zvyklostmi v opravě Max a vytvořte si vlastní patch v PureData (Pd) … Jitter se používá k zobrazení 3D polohy gestických vstupů, kde je osa z (směrem ke stojanu a mimo něj) mapována na celkovou intenzitu všech 4 antén - nepříliš vědecké, ale funguje to! Data z jednotlivých senzorů jsou také odesílána jako OSC na 127.0.0.1 (localhost) pro použití v případě potřeby jinými aplikacemi. Užitečný objekt v Max/MSP/Jitter pro filtrování špiček z dat senzoru (způsobeno elektrickým rušením) je „hladší“Tristana Jehana, který je ke stažení zde: hladší max objekt Stránka Tristan má také spoustu externích MSP pro Max, které používáme pro část zvukové analýzy vstupu Multimodal Music Stand - zahrnují výšku ~, hlasitost ~, jas ~, hlučnost ~ a analyzátor ~ objekt typu vše v jednom. Jakmile získáte data přicházející do Maxe, budete muset individuálně upravit citlivost senzorů ThereminVision malým šroubovákem. Udělejte to tak, že antény zcela roztáhnete a poté otočíte modrým trimrem proti směru hodinových ručiček, dokud nepřejde do režimu „zpětného snímání“- poté jej otočíte zpět ve směru hodinových ručiček, dokud se nevrátíte do normálního dosahu snímání. Malé úpravy (ladění senstivity, stejně jako ladění kytary) lze provést změnou délky antén, takže nebudete muset s sebou tahat malý šroubovák na koncerty.

Krok 9: Použití multimodálního hudebního stojanu ve výkonu! (a jeho rozšíření)

Nezapomeňte, že nové výkonové techniky, které Multimodální hudební stojan umožňuje, vyžadují nácvik a vývoj nových mapování a nápadů, co s ním chcete ovládat! Také, pokud chcete rozšířit své MMMS o další druhy senzorů, v budoucích verzích firmwaru MMMS bude možné kromě snímačů ThereminVision použít 13 analogových vstupů na CUI, takže s některými jednoduchými senzory (posuvníky/knoflíky/pedály) nebo jinými typy senzorů (IR/ultrazvuk/atd.), lze je použít společně se zvukovým vstupem a videem do počítače. Aktuálně firmware používá protokol „serial-over-USB“, ale nakonec je v plánu přepnout na protokol „HID“(Human Input Device), který běžně používá rozhraní CREATE USB. Neváhejte přispět k úsilí… Existuje podobný open source projekt pro snímání E -pole (také známý jako kapacitní snímání), který používá stejnou topologii obvodu (na základě designu ThereminVision) s názvem CapToolKit - používá „malého bratra““z PIC18F4550, PIC18F2550, který nemá tolik analogových vstupů (10 místo 13). Firmware pro CapToolKit se bude mírně lišit, protože nepoužívá procesorovou desku ThereminVision. Pro optické rozpoznávání fyzických gest a detekci pohledu používáme jednoduchou kameru firewire (styl webové kamery) namontovanou v horní části hudebního stojanu zajímají se o aspekty počítačového vidění nebo zvukové analýzy a syntézy výzkumu naší skupiny, podívejte se na články na webových stránkách Multimodal Music Stand. A prosím, pošlete své zkušenosti, pokud vybudujete Multimodální hudební stánek … Nyní máme dva z nich na UCSB, jak je znázorněno na fotografii níže - bylo by skvělé mít k dispozici více skladeb, vystoupení a hudebníků! Dr. JoAnn Kuchera-Morin napsal první skladbu zahrnující MMMS, kterou v březnu 2007 provedla flétnistka Jill Felber na Eastman School of Music.