Rukavice převádějící gesto na řeč/text: 5 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:20

Myšlenkou/postrčením implementace tohoto projektu byla pomoc lidem, kteří mají potíže s komunikací pomocí řeči a komunikace pomocí gest rukou nebo známější jako americký znakový jazyk (ASL). Tento projekt může být krokem k tomu, aby těmto lidem byla poskytnuta příležitost spolupracovat s jinými lidmi, kteří nerozumí znakové řeči. Tento projekt jim také umožní přednést veřejné projevy bez použití skutečného lidského překladače. Na začátku jsem se pouze pokoušel detekovat některá jednodušší gesta, jako jsou abecedy A, B, I atd., A také jsem určitá gesta přiřadil běžným slovům/pozdravům, jako je „Hello“, „Good Morning“atd.

Krok 1: Sestava obvodu

Krok 2: Podrobnosti o projektu

Tento projekt obsahuje nositelnou rukavici se 4 ohebnými senzory zapíchnutými/zapuštěnými do rukavice - po jednom pro malé, střední, ukazováky a palec. Pro prstencový prst nebyl použit snímač Flex kvůli omezení dostupnosti analogových vstupních pinů na Arduino Uno R3 a obecně kvůli nedostatku nezávislého pohybu zobrazovaného prstem ve znakových jazycích. Používá se také akcelerometr MMA8452Q, který je přilepený na zadní straně dlaně k měření orientace ruky. Vstup z těchto senzorů je analyzován a použit ke snímání gesta. Jakmile je gesto detekováno, odpovídající znak/zpráva je uložena do proměnné. Tyto znaky a zprávy pokračují ve zřetězení, dokud není provedeno určité předem určené gesto, které naznačuje dokončení věty. Jakmile je toto speciální gesto detekováno, uložený větný řetězec je odeslán na Raspberry Pi přes USB kabel Arduino. Raspberry Pi poté odešle přijatý řetězec do Amazon Cloud Service s názvem Polly, aby převedl větu přijatou v textovém formátu do formátu řeči a poté přijatou řeč streamuje na reproduktoru připojeném k Raspberry Pi pomocí kabelu AUX.

Tento projekt byl jen důkazem koncepce a s lepšími zařízeními a plánováním a lépe kalibrovaný tak, aby detekoval spoustu dalších gest a pohybů rukou. V současné době je do tohoto projektu naprogramována pouze omezená funkčnost, například pro základní detekci gest a výstup textu na řeč.

Krok 3: Kód

Krok 4: Kroky

1. Připojte flex senzory a akcelerometr MMA8452Q k Arduinu podle dodaného schématu zapojení.

2. Vyhoďte program Final_Project.ino (nachází se v souboru Arduino_code.zip) do Arduina.

3. Připojte Arduino k Raspberry Pi pomocí kabelu USB. (Typ kabelu A/B).

4. Zapněte Raspberry Pi, zkopírujte soubor Raspberry_pi_code.zip do Raspberry Pi a rozbalte jej. Připojte reproduktor k Raspberry Pi.

5. Zkopírujte si pověření účtu AWS, tj. Aws_access_key_id, aws_secret_access_key a aws_session_token do souboru ~/.aws/credentials. Tento krok je vyžadován ke komunikaci s cloudem AWS a používání služeb AWS.

6. Spusťte program seria_test.py nalezený uvnitř extrahované složky v kroku 4.

7. Nyní proveďte gesta k vytvoření věty a poté proveďte speciální gesto (Držte prsty a dlaň rovně a v jedné linii s dlaní směřující od vás a poté otočte zápěstím směrem dolů tak, aby nyní vaše dlaň směřuje k vám a konečky prstů směřují dolů k vašim chodidlům.) signalizují dokončení věty.

8. Kontrolujte v terminálu užitečné informace.

9. A poslouchejte převedenou řeč streamovanou na reproduktoru.

Krok 5: Reference

1.

2.

3.

4.