Sklo Google pro chudáka/Pomoc pro lidi s tunelovou vizí: 5 kroků (s obrázky)

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:21

Abstraktní:

Tento projekt streamuje živé video z kamery typu rybí oko na nositelný heads-up displej. Výsledkem je širší zorné pole v menší oblasti (displej je srovnatelný se 4palcovou obrazovkou vzdálenou 12 palců od vašeho oka a má výstup 720p). Primárním účelem je poskytnout pacientům s Retinitis Pigmentosa (zkráceně RP), degenerativní oční onemocnění, které má za následek tunelové vidění, větší prostorové povědomí (je srovnatelné s neustálým prohlížením role toaletního papíru). To je řečeno, protože projekt je založen na RPi, existuje obrovská škála možných aplikací (některé z nich budou diskutovány na konci).

Seznam materiálů:

• (1) Raspberry Pi Zero (5 $) (funguje také Raspberry Pi Zero W)

• (1) Karta Micro SD pro Raspberry Pi (8 $) (jen obyčejná karta Micro SD, nic zvláštního. Doporučené minimum 8 GB v úložišti)

  • Externí RPi: (nepotřebujete je, pokud je již vlastníte nebo pokud máte jiný model RPi)

    • (1) USB adaptér (5 $)
    • (1) Kabel mini HDMI na HDMI (6 USD) (s dostatečně dobrým zrakem lze Vufine použít jako monitor, čímž odpadá potřeba tohoto kabelu)
• (1) Vufine Wearable Display (200 $)

• (1) Pásový kabel Micro to Mini HDMI (10 $) (byl přerušen, viz odrážky níže)

  • HDMI adaptéry

    (Typ C a typ D; model upřesníme snad později tento víkend (dnes je 2. 3. 2018)) (Adafruit také prodává tyto konektory, ale jsou dražší)

  • Pás karet HDMI
• (2) Mikro kabel USB (každý za 1–5 $) (pouze 2 běžné kabely micro USB, nic zvláštního)
• (1) Kamera Fish-Eye pro Raspberry Pi (25 $)
• (1) Kabel kamery Raspberry Pi (8 $)
• (1) Balíček malých pásků na zip (3 dolary)

Celkové náklady: ~ 265 USD (závisí na tom, co již máte a kolik platíte za dopravu)

Seznam nástrojů:

• Nůžky na drát
• Odizolovací kleště (pro velikosti vodičů asi 26 AWG)
• Horkovzdušná pistole (a lepicí tyčinka pro uvedenou tavnou pistoli)
• Klávesnice
• Obrazovka (musí být schopna HDMI, ale opět s dostatečně dobrým zrakem lze Vufine použít jako monitor)
• Páječka (a pájka)
• Nůž X-Acto

Osobní poznámka:

Tento projekt byl inspirován mojí babičkou. Dávno jí diagnostikovali RP a její zrak se za ta léta zhoršoval. Nedávno se rozhodla, že se kvůli věku vzdá psa se zrakem Ventury (přezdívaného Seymour, slovní hříčka). Ačkoli to v některých aspektech mohlo usnadnit život, jsem si jistý, že ostatní věci jsou triviálnější (například procházka obchodním centrem). Už nějakou dobu jsem zvažoval výrobu takového zařízení, ale nebyly k dispozici žádné snadno dostupné (za rozumnou cenu) obrazovky. To se změnilo, když jsem našel Vufine. Je to skvělá společnost se skvělým produktem, a ne, nejsem placen, abych to říkal; je to opravdu dobrá společnost. Pokud jde o moji babičku, oznámila, že toto zařízení téměř zdvojnásobilo její zorné pole (pokud jde o průměr, nikoli plochu).

Aktualizace:

Postavil jsem to s modulem Vufine nakonfigurovaným pro levé oko (moje babička je na pravé oko úplně slepá), takže pro ty, kteří to staví pro pravé oko, mohou být nějaké problémy (nic velkého, jen změna orientace pro několik díly). Jak již bylo řečeno, Vufine byl tak laskavý, že mi poslal modul pro pravé oko, abych mohl pokračovat v tomto projektu a opravit tyto problémy. Jakmile to udělám, budu tento návod dále aktualizovat.

Krok 1: Nastavení Raspberry Pi

Nastavení hardwaru Pi:

Poznámka: Pokud máte Raspberry Pi jiný než RPi Zero (W nebo běžný), můžete pomocí tohoto Pi provést potřebné softwarové úpravy a přenést SD kartu do Pi Zero.

Druhá poznámka: Ve skutečnosti jsem nekoupil nějaký hardware, který se připojuje k Pi; Místo toho mám pohodlný klobouk. Jak již bylo řečeno, výše uvedený obrázek by měl vypadat jako vaše nastavení. Není moje a bylo odsud vzato.

Nejprve zapojíme klávesnici. Protože má vaše klávesnice konektor USB typu A (všudypřítomný obdélníkový) a Pi Zero nemá, budeme muset použít USB adaptér. Zapojte USB adaptér do USB portu nejblíže ke středu desky. Poté zapojte klávesnici do USB adaptéru. Druhý port USB bude použit k napájení. Horní dva kabely na obrázku jsou kabely USB, přičemž úplně horní kabel zajišťuje napájení.

Za druhé, zapojte kabel HDMI do mini HDMI portu na Pi a HDMI portu na obrazovce (pokud jste se rozhodli použít jako obrazovku Vufine displej, použijte plochý kabel HDMI).

Nastavení softwaru Pi:

Tento proces je dokumentován všude, ale oficiální průvodce je zde. Je důležité si uvědomit několik věcí: budete používat zakoupenou kartu micro SD (ta, kterou jsem vybral, má adaptér, takže ji můžete blikat na běžném počítači), nainstalujete Raspbian a měli byste povolit fotoaparát v konfigurační nabídce Raspberry Pi. Navíc NESledujte tutoriál při provádění „startx“. Pokud ano, tak ne, ale teď budete potřebovat myš. Přejděte na příkazový řádek (měl by vypadat jako černé okno na hlavním panelu) a použijte jej (v tomto okně by se mělo objevit „pi@raspberry ~ $“). Nyní vypneme Raspberry Pi spuštěním:

sudo shutdown -h teď

Krok 2: Instalace kamery

Fyzická připojení:

Nejprve mi vysvětlete, jak fungují připojení plochým kabelem. Pro připojení a odpojení plochých kabelů je třeba nejprve nadzvednout úchytky na straně (u Pi Zero je to směr ven), což umožní, aby se konektor do určité míry sklopil dovnitř a ven, což umožní průchod plochého kabelu dovnitř a ven. Chcete -li zajistit plochý kabel na místě (a tím dokončit proces připojení), musíte zatlačit skládací kus konektoru na plochý konec proti kabelu a znovu zasunout jazýčky. Nyní by měl být kabel zajištěn v konektoru. Kliknutím sem zobrazíte oficiální video o tom, jak se to dělá.

Je důležité si uvědomit, že bílý kabel dodávaný s kamerou se nehodí pro Pi Zero; nezapomeňte jej nahradit jedním ze zlatých páskových kabelů. Kromě toho se ujistěte, že odkrytá strana kabelu směřuje dolů, do Pi a desek kamery.

Software:

Nastavení fotoaparátu je po softwarové stránce poměrně snadné. Chcete -li streamovat video přímo z kamery do HDMI, jednoduše spusťte následující řádek v terminálu:

raspivid -t 0 -rot 0

Kamera by nyní měla streamovat na vaši obrazovku. Nyní zastavte stream stisknutím ctrl+c. Nyní budeme provádět stejný příkaz, ale pokud jste si koupili standardní modul Vufine (konfigurovaný pro pravé oko), změňte 0 po „-rot“na 90. Podobně, pokud jste si koupili displej Vufine nakonfigurovaný pro levé oko, změňte 0 po „-rot“na 270.

Pokud nyní přidržíte fotoaparát proti displeji Vufine podobným způsobem, jakým je zobrazen na fotografii, měli byste vidět vzpřímený obraz (na obrazovce, ne nutně na Vufine). Pokud je váš obrázek vzhůru nohama, zkuste druhé číslo (270, pokud jste udělali 90 před a 90, pokud jste udělali 270 předtím; stále musíte stisknout ctrl+c, abyste se dostali ze streamu).

Jakmile budete mít tok kamery správně orientovaný (pomocí softwaru), budeme se chtít ujistit, že se spustí vždy, když je Raspberry Pi zapnutý. Prvním krokem je spuštění:

sudo nano /etc/rc.local

Nyní do řádků mezi „fi“a „exit 0“zadejte příkaz podobný tomu, který jste provedli dříve („/usr/bin/raspivid -t 0 -rot 90/270“) (ponechte jej na jednom řádku, jak je vidět na obrázku). Pokud chcete obrázek s nižším rozlišením a vyšší snímkovou frekvencí, použijte místo něj „/usr/bin/raspivid -t 0 -rot 90/270 -md 6“. Po zadání tohoto textu byste jej měli uložit stisknutím kláves ctrl+x, zadáním y (ano, chcete jej uložit) a stisknutím klávesy Enter jej uložit pod stejným názvem. Nyní byste měli být zpět na příkazovém řádku („pi@raspberry ~ $“). Nakonec můžete otestovat, zda vše funguje, restartováním Raspberry Pi pomocí:

sudo restart

Pokud vše funguje, měli byste vidět kameru streamující video na výstup HDMI na konci procesu spouštění.

Poznámky:

• Poté, co bylo dokončeno vše výše, možná budete chtít zvážit použití malého množství horkého lepidla na plochý kabel/konektor na fotoaparátu i na Pi, abyste se ujistili, že zůstane na svém místě. Toto je čistě volitelné a ve skutečnosti jsem to neudělal.
• Pokud máte displej Vufine nakonfigurovaný pro pravé oko a rozhodnete se jej orientovat odlišně (je to pohodlnější, pokud jsou porty USB Pi na spodní straně), horní strana fotoaparátu bude při nošení vlevo.
• Kamera na obrázku je již namontována. K tomu se dostaneme v pozdějším kroku.
• Chtěl jsem zveřejnit obrázek konektoru fotoaparátu na Pi, ale nechci sundat Pi, pokud jej nemohu znovu nasadit a ztratil jsem všechny zipy (které uvidíte, jsou nutné pro montáž v pozdějším kroku) a nejsem si jistý, kdy příště budu moci jít koupit další, takže jsem se rozhodl jen nahrát hned a aktualizovat později.

Krok 3: Nabíjení displeje Vufine

Displej Vufine má vlastní baterii, ale vydrží jen 90 minut, a i když to může pro zamýšlené použití Vufine stačit, pro naše účely je to nedostačující. Jak již bylo řečeno, můžeme Vufine nabíjet, když je používán, a tím prodloužit jeho životnost baterie. Běžné kabely USB jsou však poměrně velké, a protože chceme minimalizovat hmotnost, budeme muset jeden upravit (čímž bude proces menší a lehčí); odizolujeme kabel USB až na úplné minimum.

Poznámka: Zbytek tohoto kroku podrobně popisuje, jak získat konektor z kabelu USB. Jak již bylo řečeno, byl jsem informován o těchto levných (nákladových) konektorech USB. Jejich použití by vám umožnilo přeskočit nebezpečnou část odstranění konektoru z drátu. Nemám s nimi žádné zkušenosti, ale jakmile to udělám, aktualizuji tento návod, jak je používat.

Příprava kabelu USB

Poznámka: Toto je zdaleka nejnebezpečnější část stavby. Kolem ostrých nožů je třeba postupovat velmi opatrně

Prvním krokem při „minimalizaci“kabelu USB je jeho oříznutí asi o 5 palců (pro konfiguraci pravého oka bych řekl asi 7) nahoru od konce micro USB. Pokračujte odizolováním vodiče až na micro USB konec.

Nyní, pro nebezpečnou část, budete muset odříznout plastový obal pomocí nože X-Acto. Doporučuji použít sadu kleští nebo stolní svěrák k uchycení zástrčky při řezání, aby se minimalizovalo riziko pořezání. Nejlepší způsob, jak to odříznout, je snížit podél švů na straně (vypadají jako čáry), jak je vidět na obrázku. Na vykopání nože do pouzdra byste měli použít slušné množství síly. Po nějaké době se může jedna strana „otáčet“směrem ven a podle toho, jak je volná, se můžete rozhodnout použít kleště, které zbytek odtrhnou, než odstřihnou.

Dokončení části USB

Jakmile vám zbude jen kovový kus, měli byste odstranit dva prostřední vodiče (ne červený a černý). Můžete to udělat buď jejich odříznutím, nebo pomocí páječky k odpájení jejich spojů a jednoduše je sundat (doporučuji odpájet, pokud máte dostatek zkušeností). Dále položte horké lepidlo na základnu vodičů (kde se setkávají se zástrčkou Micro USB), aby poskytly izolátor a zajistily jeho bezpečnost. Až budete hotovi, obrázek by měl vypadat něco jako USB na obrázku (zatím jsme jej však nepřipojili k Pi).

Připojení k Pi

Tento krok je poměrně jednoduchý. Jediné, co musíte udělat, je pájet červený vodič k portu 5 V a černý vodič k uzemnění (GND) na RPi. Chcete -li přesně zjistit, jaké porty, podívejte se na obrázek s červeným obdélníkem na Pi. Kliknutím sem zobrazíte video o základním pájení. Doporučuji použít horké lepidlo na obou stranách Pi (kde jste pájili) k zajištění vodičů a poskytnutí izolátoru.

Krok 4: Propojení všeho

Zabezpečení Pi

V tomto místě umístěte Pi proti modulu Vufine portem kamery poblíž přední strany a USB konektory (nainstalované na Pi) směrem dolů a dovnitř. Zajistěte jej pomocí dvou párů (jeden pár na každé straně) zipů. Udělejte to tak, že do jednoho z horních rohových otvorů koláče vložíte zip, omotáte jej kolem Vufine (směrem dolů) a provléknete spodním rohovým otvorem na stejné straně Pi. Poté vezměte další zipovou pásku a zajistěte ji na první. Utáhněte jej tak, aby byl Pi přitažen k Vufine. U obou zipů odstřihněte zbývající tělo zipu (vše pro druhé a část, která trčí z druhého zipu pro první). Tento krok opakujte na druhé straně Pi.

Zapojení věcí dovnitř

Toto je možná nejjednodušší krok celé sestavy. Zapojte USB kabel, který jste připájili na Pi, do displeje Vufine.

Horké lepení konektoru

Magnet v magnetické dokovací stanici není pro naše účely opravdu dost silný, takže pro posílení spojení přidáme horké lepidlo. Připojte modul Vufine k magnetické dokovací stanici, která je dodávána (ne plus), páskem nahoru (jak je znázorněno na obrázku). Ujistěte se, že je to téměř rovnoběžné se skutečným Vufine (polohu displeje budete stále moci upravit pohybem popruhu na brýlích). Na horní i spodní část naneste dostatečné množství horkého lepidla. Před pokračováním nechte vychladnout, abyste se ujistili, že se nedostane do podivné polohy, než ztuhne.

Zapojování věcí, pokračování

Ačkoli tato část není tak snadná jako první část Plugging Stuff, neměli byste příliš bojovat. Jednoduše zapojte plochý kabel HDMI do Vufine i Pi (boj je více psychologický než fyzický; můžete to udělat. Věřím ve vás).

Připojení fotoaparátu

Konfigurace levého oka:

Jedná se o snadnou část, ale kvůli poloze kamery je těžké to popsat slovy. V zásadě budete kameru připevňovat tak, aby byla bokem, a pod ní byla smyčka plochého kabelu. Podívejte se na obrázek, abyste zjistili, co tím myslím. Přitiskněte ji k obrazovce Vufine a zajistěte ji v této poloze pomocí horkého lepidla na horní i spodní stranu. Nepokládal bych žádné na strany, protože to stačí jen na horní a spodní straně, aby to bylo zajištěno, a to na bocích by mohlo zabránit jakémukoli bočnímu nastavení pásky a obrazovky Vufine.

Konfigurace pravého oka:

Ještě jsem neprovedl správnou konfiguraci očí (vrátí se a upravím, jakmile to udělám), ale v zásadě se musíte ujistit, že je kamera v horní části obrazovky v boční poloze a v rozumné poloze. Horní část (strana naproti konektoru) by měla směřovat doleva (vlevo, když ji máte na sobě). Pomocí horkého lepidla připevněte kameru k dílu obrazovky na modulu Vufine. Kromě toho můžete použít horké lepidlo (nebo zipy), abyste se ujistili, že je přebytečný plochý kabel zajištěn (dejte mu trochu volného místa pro nastavení a snažte se pásku nemačkat, protože není určena k tomu, aby vydržela vysoké stupně otáčení). Můžete se také vrátit ke kroku 2: Instalace kamery, pokud budete muset překonfigurovat stream kamery v důsledku změny jejího fyzického umístění.

Krok 5: Fin

Zapnutí

Chcete -li jej zapnout, jednoduše zapněte modul Vufine stisknutím šedého tlačítka na zadní straně. Mělo by začít blikat modře. Dále zapojte Pi Zero pomocí zcela pravého portu USB (na vnější straně a označeného PWR IN). Kromě blikající modré LED diody na modulu Vufine byste nyní měli vidět svítit červeně. To znamená, že Vufine se nabíjí. Kromě toho by se měla spustit obrazovka a měli byste vidět, jak Pi prochází procesem spouštění a na konci přichází stream z kamery. Jakmile se obrazovka objeví, blikající modré světlo na tlačítku Vufine by mělo zhasnout.

Poznámka: Pokud nejprve zapnete Pi (a následně Vufine), může vaše obrazovka vypadat divně. Chcete -li to vyřešit, vypněte Pi a poté jej znovu zapněte.

Vypnutí

Vypněte RPi odpojením USB, které mu dodává energii. Chcete -li Vufine vypnout, můžete jej buď nechat vypnout sám (což se stane po krátkém nepřijetí signálu), nebo můžete na Vufine podržet šedé tlačítko (s modrou LED), dokud modrá LED zhasne. Raději to nechám vypnout, ale vy to uděláte.

Další vylepšení

Jak je uvedeno v abstraktu, protože projekt vychází z Raspberry Pi, má projekt obrovskou schopnost se vyvíjet. Pro začátek zde je několik nápadů, které jsem měl:

• Můžete jej připojit k bezdrátové klávesnici a pohodlně jej používat jako heads-up linuxový počítač. Použil bych klávesnici (a myš) takto a připojil bych ji podobným způsobem.

  Bylo by skvělé přidat takovéto rozhraní založené na pohybu rukou

• Přidejte boční tlačítka pro ukládání obrázků a videí a pro přiblížení a oddálení
• Přidejte nativní vypínač (říkám nativní, protože některé kabely USB mají integrované přepínače)
• Vyrobte si na vše pouzdro s 3D potiskem.
• Přidejte zvukový výstup

• Přidejte nástavec na baterii

  Umístění na druhou stranu brýlí by bylo pohodlným způsobem, jak přidat protiváhu (váha na brýlích je v současné době trochu nahnutá)

• Vytvořte CNN (konvoluční neurální síť) s výstupem TTS (převod textu na řeč) pro zvukový popis vlastního prostředí. Tato neurální síť by mohla běžet na Movidius Neural Compute Stick pro větší výpočetní výkon.

  Možné použití Galvanické vestibulární stimulace pro nouzové manévry

Některé z těchto nápadů můžete implementovat na mé stránce github.

Poznámka:

Později pravděpodobně přidám nějaké další obrázky. Pokud chcete nějaký konkrétní obrázek, dejte mi prosím vědět a já se budu snažit. Totéž platí pro vysvětlení; pokud chcete, abych se něčemu věnoval podrobněji, dejte mi vědět a já se pokusím to udělat.

Děkuji

• Od této komunity jsem se hodně naučil; doufejme, že to pomůže ostatním, protože tolik lidí mi pomohlo dříve.
• Opět je to můj první pokyn a jakákoli zpětná vazba by byla velmi ceněna. Pokud s tím někdo něco dělá, dejte mi prosím vědět; Rád bych viděl, kde to komunita bere.

Zvláštní poděkování mé babičce za všechno, co pro mě po celý život dělala. Nikdy vám nebudu moci zaplatit, ale určitě se budu snažit ze všech sil.

První cena v soutěži Raspberry Pi Contest 2017