IoT: Ovládejte holoLens pomocí obočí (EMG): 5 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:21

Tento projekt byl součástí projektu NASA SUITS University of Colorado Boulder, který byl představen a testován v NASA JSC v dubnu 2019. Pro letošní projekt jsem byl vedoucím projektu vývoje hardwaru a toto byl jeden z mých příspěvků. Přečtěte si více o výzvě NASA SUITS zde.

V rámci tohoto projektu jsem chtěl umožnit komukoli (v tomto případě astronautům EVA) propojení s Heads-Up-Display (HUD) rozmístěným v Microsoft HoloLens bez použití vestavěných ručních gest nebo hlasových vstupů. Vypořádal jsem se s tímto cílem z hlediska přístupnosti, chtěl jsem vyvinout periferní/nositelné zařízení, které by astronautům EVA umožnilo komunikovat s jejich displejem, aniž by zabíraly komunikaci s pozemním ovládáním, a kvůli jejich vysoce natlakovaným rukavicím je ovládání gesty nepřiměřené. I když je to doména, se kterou se trochu nevyznám, vidím také, že tato periferie je užitečná pro osoby se zdravotním postižením, což jim umožňuje používat HoloLens nebo jiná zařízení AR/VR a vzdát se propojovacích vstupů, které jsou vylučující nebo skličující.

Zatímco seznam položek pro tento projekt je sám o sobě exkluzivní (HoloLens je velmi drahý!), Periferní zařízení lze použít s jinými zařízeními AR/VR.

Pokud máte nějaké dotazy, chcete držet krok s mou prací nebo jen předávat nápady, udělejte to na mém Twitteru: @4Eyes6Senses.

Zásoby

Microsoft HoloLens (nebo jiné zařízení AR/VR)

Foton částic

MyoWare Muscle Sensor - Senzor MyoWare lze nahradit jinými deskami EMG breakout. Pokud si nejste jisti, kde EMG je, navrhuji, abyste si o tom přečetli více zde

Biomedicínské senzorové podložky

Unity (zdarma)

Nějaké zkušenosti s vytvářením projektů v Unity

Drát

Krok 1: Propojení MyoWare s fotonem částic

Připojení částicového fotonu k desce MyoWare je poměrně jednoduché. K tomuto kroku budete muset pájet spoje mezi Particle Photon a deskou MyoWare. Ujistěte se, že máte silná spojení, aby se kabely při nošení zařízení nepřetrhly. Abyste se vyhnuli přestávkám, doporučuji kabely před zapájením do fotonu oplétat.

- Zapojte vodič do „+“portu desky MyoWare a druhý konec kabelu připájejte ke kolíku Photonu „3v3“.

- Zapojte vodič do portu „-“desky MyoWare a druhý konec kabelu připájejte do kolíku „GND“fotonu.

- Zapojte vodič do portu „SIG“na desce MyoWare a druhý konec kabelu připájejte ke kolíku Photon „A0“.

Krok 2: Nahrání kódu do fotonu částic

Pomocí IDE částicového fotonu nahrajte soubor.ino. Umístěte desku MyoWare na svalovou skupinu a zkontrolujte hodnoty, abyste se ujistili, že vaše zařízení funguje. Když se podíváte na kód, všimnete si, že je zde již nastavena proměnná „práh“, tato proměnná je minimální hodnotou, kterou MyoWare přečte z mého svalu, když úplně zvednu obočí. Proměnnou jsem také nastavil na „600“, protože mi umožňovala normální konverzaci při nošení MyoWare bez vytváření falešných poplachů (náhodné spuštění), možná si budete chtít s hodnotami pohrát, dokud nenajdete požadovaný práh pro vaše použití.

Krok 3: Umístění MyoWare

Pro náš projekt NASA SUITS jsem vybral umístění MyoWare Board nad obočí. Inspiroval jsem se, že tam umístím MyoWare poté, co jsem se podíval na projekt "'Sup Brows" od Adafruit. Po několika testech vyšlo najevo, že obočí je skvělým místem pro tento konkrétní projekt. Je to skvělé místo, protože senzory by nebyly ovlivněny neustálými svalovými pohyby pažemi, nohami a trupem, které astronauti EVA dělají při výstupech do vesmíru.

Krok 4: Propojení MyoWare s Unity

Nyní je čas na poslední krok, pojďme propojit MyoWare s Unity! Součástí tohoto Instructable je skript, který budete muset zahrnout do svého projektu Unity. Nejprve však budete muset v kódu změnit několik věcí. Nejprve budete muset do svého projektu přidat plugin JSON Object Unity. Dále budete muset do řádku 19 přidat vlastní ID zařízení a přístupový token: particleURI = "https://api.particle.io/v1/devices/[Vložit ID zařízení]/Další? Access_token = [Vložte své přístupový token] “. ID zařízení můžete získat z ID částice, podle obrázku 2, klikněte na kartu zařízení (červené pole) a pod názvem zařízení najděte své ID (modré pole). Dále vyhledejte svůj přístupový token kliknutím na kartu nastavení v IDE.

Krok 5: Hotovo

Po dokončení projektu Unity budete mít HoloLens ovládaný EMG!

Pokud máte nějaké hloubkové otázky, chcete se dozvědět něco o lidské augmentaci, chcete držet krok s mou prací nebo jen předávat nápady, udělejte to na mém Twitteru:

Pokud máte zájem pracovat s naším týmem na výzvě NASA SUITS 2019 - 2020, pošlete mi prosím e -mail na adresu:

Zvláštní poděkování patří modelu na prvním obrázku, Darrenovi, který také testoval design v NASA. Další poděkování patří mému programátorskému partnerovi za projekt AJ, který toho hodně umožnil.