Rozpoznávač pohybu rukou: 5 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:20

Přehled

V tomto projektu vyrobíme rukavici, která dokáže rozpoznat základní pohyby rukou pomocí MicroBit a několika senzorů. Využijeme možnosti Bluetooth na MicroBitu ve spojení s aplikací pro Android a webovým serverem k trénování modelu strojového učení k identifikaci pohybů rukou.

Začínáme

Většina úsilí vynaloženého v tomto projektu je na softwarové stránce a veškerý kód potřebný ke spuštění tohoto projektu je k dispozici na GitHubu. Základ kódu zahrnuje 3 komponenty, kód pro generování souboru HEX pro MicroBit, základna kódů aplikací pro Android, která je silně založena na aplikaci MicroBit Blue od MicroBit Foundation, s úpravami provedenými pro tento konkrétní případ použití, a webový server s kódem pro trénink modelu založeného na Tensorflow k identifikaci pohybů rukou.

Uvidíme, jak rukavici sestavit a připojit ji pomocí aplikace a webového serveru.

Zásoby

• 1 BBC Microbit
• 1 Držák baterie se 2 bateriemi AAA
• 1 rukavice
• Sada propojovacích vodičů, krokosvorek
• Flex senzor
• Senzor síly
• Suchý zip
• Elektrická páska
• Telefon Android
• PC/notebook

Krok 1: Krok 1: Nastavení MicroBitu a baterie

• Začněte připevněním držáku baterie na kus suchého zipu, jak ukazuje první obrázek. Pomocí elektrické pásky pevně připevněte držák baterie k pásku na suchý zip.
• Dále vytvořte smyčku elektrickou páskou tak, aby byla lepivá na obou stranách, a přilepte ji na horní část baterie.
• Nalepte MicroBit na smyčku pásky a pevně připevněte MicroBit k držáku baterie, jak je znázorněno na druhém obrázku.

Krok 2: Zapojte senzory

• Podle schématu zapojení zobrazeného na obrázku připojte svůj flex senzor na Pin 1 MicroBit a senzor síly na Pin 0 na MicroBit.
• Zajistěte senzory na rukavici elektrickou páskou, jak je znázorněno na obrázcích.

Krok 3: Dokončení hardwaru

• Konci pásků na suchý zip vytvořte smyčku a smyčku nasuňte přes prsty rukavice, jak je znázorněno na obrázku.
• Pomocí drátů můžete dráty na rukavici zajistit, aby se příliš nehýbaly.

V další části se podíváme na to, jak nastavit software.

Krok 4: Nastavení softwaru

Spárování telefonu s MicroBitem

1. Chcete -li telefon spárovat, nejprve se ujistěte, že je v telefonu zapnuté bluetooth.
2. Zapněte MicroBit a stiskněte a podržte tlačítka A a B. Současně stiskněte a uvolněte resetovací tlačítko, zatímco stále držíte tlačítka A a B. Mikrobit by nyní měl vstoupit do režimu párování.
3. V telefonu najděte svůj MicroBit v seznamu zařízení bluetooth, kam obvykle přidáváte nové zařízení Bluetooth, a spusťte párování. Na vašem MicroBitu uvidíte šipku ukazující na tlačítko A. Když toto stisknete, MicroBit zobrazí řadu čísel, což je párovací kód, který musíte zadat do telefonu. Jakmile do telefonu zadáte kód a vyberete párování, na MicroBitu by se mělo zobrazit zaškrtnutí.
4. Stiskněte tlačítko reset na vašem MicroBit.

Nastavení softwaru

Podle pokynů ReadMe v každé dílčí složce v úložišti GitHub nastavte projekt Android App v Android Studio, vytvořte a flashujte soubor HEX do svého MicroBitu a spusťte webový server pro spouštění modelů Machine Learning.

Krok 5: Použití

Webový server

Otevřete terminál v adresáři projektu webového serveru a spusťte server `python server.py` a spusťte server podle pokynů v ReadMe k instalaci závislostí

Aplikace pro Android

1. Vytvořte a vytvořte APK pro aplikaci Android z Android Studio. Po spárování telefonu s MicroBit spusťte aplikaci (viz předchozí krok).
2. Na stránce akcelerometru můžete nastavit URL webového serveru pomocí nabídky nastavení v pravém horním rohu. Ujistěte se, že jste to změnili na IP svého webového serveru.
3. Počkejte, až se údaje z akcelerometru začnou naplňovat z MicroBitu. Uvidíte, jak se hodnoty mění s různou frekvencí. Chcete -li změnit frekvenci, stiskněte B na MicroBitu. V ideálním případě můžete použít hodnotu frekvence 10 (která odebírá hodnoty každých 10 ms)
4. Jakmile jsou naměřené hodnoty vyplněny, pojmenujte své gesto pomocí textového pole označeného „Gesto:“a stiskněte tlačítko záznamu. Jakmile stisknete tlačítko záznamu, pohybujte rukou opakovaně, dokud se tlačítko znovu neaktivuje.
5. Opakujte krok 3 pro nahrávání více gest.
6. Stisknutím tlačítka vlaku zahájíte trénink modelu na serveru. Jakmile je trénink dokončen (asi 15 sekund), můžete pokračovat v předpovědích.
7. Stiskněte tlačítko Předvídat a proveďte svůj pohyb/gesto. Aplikace se ji pokusí co nejlépe přiřadit k jednomu z natrénovaných pohybů.