Domácí robot EWON Raspberry Pi s napájením: 7 kroků (s obrázky)

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:19

Od SharathnaikSharathnaik.comSledovat více od autora:

O: Engineering and Design Více o Sharathnaik »

Nedávno jsem se přistihl, že kvůli aktuální situaci hodně sleduji série Netflix, doufám, že jste všichni v bezpečí, a viděl jsem, že byla vydána sezóna 5 Black Mirror. Antologická série, která se točí kolem skupiny osobních životů lidí a toho, jak technologie manipuluje s jejich chováním.

A jedna z epizod, které upoutaly mou pozornost, byla Rachel, Jack a Ashley Too. Jednou z hlavních postav této série je domácí robot jménem Ashley O a ten robot má kolem sebe spoustu postav a já jsem si řekl, že bych ho měl postavit, je to dobrý projekt, jak začít s programováním, když ne, tak alespoň Dokážu to naprogramovat tak, aby se mým vtipům smál.!

Co / Kdo je Ewon? Co to může udělat?

Takže než jsem začal pracovat na tomto projektu, stanovil jsem některá základní pravidla, která je třeba dodržovat. Tento projekt musel být

• Snadné vyzkoušení pro každého
• Nejen o tom být roztomilý, ale také být užitečný, aby neskončil na poličce
• Modulární, takže můžete stále přidávat nové funkce.

Po nastavení tohoto pravidla jsem se rozhodl použít Google Assistant SDK. Tato SDK poskytuje spoustu funkcí, které jsem hledal, a pokud vás Ewon omrzí, můžete jej vždy použít jako zařízení Google Home a dělat to, co domov Google.

Ewon bude dělat přidání postavy do asistenta Google. To ukazuje emoce a reaguje na to, co uživatel říká. Nyní to není jen hlas, který slyšíte, ale také uvidíte, jak reagovat.

POZNÁMKA: Tento pokyn je ve vývoji. Brzy nahraji všechny relevantní soubory. Děkuji

Krok 1: Díly potřebné pro Ewon

ELEKTRONIKA

• Malina PI
• Servo SG90 (x4)
• Servo MG995 - standardní (x2)
• 16kanálový servo ovladač PCA9685
• USB zvuková karta
• Mikrofon
• Reproduktory (Postačí jakýkoli malý reproduktor, něco takového)
• Konektory záhlaví konektoru samec a samice
• Prkénko
• Zobrazení Nextion

UCHYCENÍ A LOŽISKA

• M3*10 mm (x10)
• M3*8 mm (x10)
• Ořechy M3 (x20)

• Ložisko

  • OD: 15 mm ID: 6 mm Šířka: 5 mm (x2)
  • OD: 22 mm ID: 8 mm Šířka: 7 mm (x2)

DALŠÍ MATERIÁLY

• Standoff

  • 40 mm (x4)
  • 30 mm (x4)

NÁSTROJE

3D tiskárna

Krok 2: Porozumění Ewon a programování

Než začnu s aspektem programování, dovolte mi stručně vysvětlit blokové schéma obvodů Ewon.

RPI (Raspberry pi) je mozek systému. Servo ovladač ovládaný pomocí RPI pohání servo. Displej ovládaný RPI se sériovou komunikací pro zobrazení emocí a nakonec mikrofon a reproduktory používané ke komunikaci s Ewonem. Nyní, když víme, co hardware dělá, začněme programovat Ewon.

Instalace sady Google Assistant SDK

Dovolte mi vysvětlit dva důvody, proč jsem plánoval použít Google Assistant:

• Chtěl jsem, aby Ewon nebyl jen zábavný robot, ale také užitečný. Google Assistant SDK již má spoustu zdrojů, které můžete použít ke zvýšení funkčnosti Ewonu.
• Můžete také použít akce na toku Google a dialogu, abyste Ewonu umožnili chatovat s předem definovanými odpověďmi. Prozatím se budeme soustředit pouze na základní SDK.

Začněme instalací sady Google Assistant SDK. To by nemělo být obtížné, protože existuje spousta zdrojů, které vám pomohou nastavit sadu Google Assistant SDK na RPI. Tento tutoriál můžete sledovat společně:

Tutorial:

Po skončení výše uvedeného postupu byste měli být schopni na klávesnici kliknout na Enter a promluvit si s asistentem. To je vše o instalaci sady Google Assistant SDK.

Jak to mám pojmenovat? Ewon?

Hej Google! To je to, co se používá k zahájení rozhovoru s asistentem Google, a Google bohužel neumožňuje použít jiné vlastní probouzející slovo. Pojďme se tedy podívat, jak to můžeme změnit, aby se asistent Google spustil, když někdo zavolá na Ewon.

Snowboy: vysoce přizpůsobitelný modul detekce horkých slov, který je integrován v reálném čase kompatibilní s Raspberry Pi, (Ubuntu) Linux a Mac OS X.

Žhavé slovo (známé také jako probouzející slovo nebo spouštěcí slovo) je klíčové slovo nebo fráze, kterou počítač neustále poslouchá jako signál ke spuštění dalších akcí.

Začněme instalací Snowboy na RPI. Nezapomeňte aktivovat virtuální prostředí pro instalaci Snowboy stejně jako pro instalaci Assistant SDK. Vše, co odsud instalujeme, musí být nainstalováno ve virtuálním prostředí. Instalace Snowboy může být trochu složitá, ale tento odkaz by vám měl pomoci jej nainstalovat bez problémů. Odkaz:

Zde je shrnutý instalační proces, pokud se výše uvedený odkaz zamotá nebo instalace selže.

$ [sudo] apt-get install libatlas-base-dev swig $ [sudo] pip install pyaudio $ git clone https://github.com/Kitt-AI/snowboy $ cd snowboy/swig/Python3 $ make $ cd.. /.. $ python3 setup.py build $ [sudo] python setup.py install

Po instalaci spusťte demo soubor [nalezený ve složce - snowboy/examples/Python3/], abyste zjistili, zda vše funguje perfektně.

Poznámka: název svého robota můžete také snadno změnit na něco jiného. Jediné, co musíte udělat, je přejít na https://snowboy.kitt.ai/ a natrénovat vlastní klíčové slovo a poté umístit toto horké slovo do stejné složky jako ewon.pmdl.

Dokáže Ewon porozumět emocím?

Teď, když má Ewon jméno, použiji Ewona místo toho, abych tomu říkal robot. Dobře, takže emoce, krátké odpovědi ne, Ewon nerozumí emocím, takže zde uděláme to, že Ewon detekuje emoce v naší řeči pomocí klíčových slov a poté přehraje odpovídající výraz obličeje, který je s tím spojený.

Abych toho dosáhl, co jsem udělal, je jednoduchý skript pro analýzu sentimentu. Existuje 6 různých tříd emocí.

Šťastný, smutný, vztek, strach, znechucení a překvapení. Toto jsou hlavní třídy emocí a každá z nich má seznam klíčových slov spojených s emocí. (například dobří, milí, nadšení, všichni procházejí šťastnými emocemi).

Kdykoli tedy řekneme jakékoli klíčové slovo ve třídě emocí, spustí se odpovídající emoce. Takže když řeknete „Hej Ewone!“a počkejte, až Ewon promluví, a já pokračuji ve slově „Dnes je hezký den!“, zachytí klíčové slovo „Nice“a spustí odpovídající emoce „Happy“, které spustí výraz tváře pro Happy.

Jsou ty uši na Ewonu?

Dalším krokem by bylo použití spuštěné emoce ke spuštění příslušného výrazu obličeje. U Ewona výraz obličeje zaznamenává, ale pohybuje uchem a krkem pomocí serv a změnou displeje mění pohyby očí.

Za prvé, serva, abyste to spustili, je to docela snadné, můžete podle tohoto tutoriálu nastavit servo knihovnu Adafruit. Odkaz:

Poté přiřadíme maximální a minimální hodnotu všem servům. To se provádí ručním pohybem každého serva a kontrolou jeho limitů. Můžete to udělat, jakmile sestavíte Ewon.

Oči pro Ewona

Pro oči používám displej Nextion, který má spoustu obrázků jako níže.

Je to sekvence obrázků, kterou jsem navrhl ve Photoshopu a která při sekvenčním přehrávání vytvoří animaci. Podobná sekvence byla vytvořena pro všechny emoce. Chcete -li nyní zobrazit jakékoli emoce, stačí zavolat konkrétní sekvenci obrázků, která tvoří animaci. Soubory jsou ve složce „Zobrazit soubory“, odkaz ke stažení níže.

Konečně

Když to všechno skloubíme, když je skriptem spuštěna emoce štěstí, vyvolá se funkce happy a servo se přesune do již nastavených úhlů a displej přehraje animaci šťastného oka. Takže takto docílíme „porozumění“lidským emocím. Tato metoda není nejlepší a jsou chvíle, kdy klíčová slova nepůsobí stejně jako předdefinovaná, ale prozatím to funguje dostatečně dobře a vždy můžete přidat více klíčových slov, abyste zvýšili přesnost detekce. Dále to může být nahrazeno mnohem lépe trénovaným modelem emoční analýzy, jako je model analýzy Paralleldots Emotion, abyste získali lepší výsledky. Když jsem to ale zkusil, došlo ke spoustě zpoždění, díky nimž Ewon reagoval pomaleji. Možná něco takového bude mít Ewon verze 2.0.

Toto je ODKAZ na všechny soubory potřebné ke spuštění EWON. Stáhněte si soubor a postupujte podle následujících kroků:

• Rozbalte soubor umístěte tuto složku (Ewon) doma/pi/
• Přidejte ID zařízení a ID modelu do souboru main.py. ID se získá při instalaci sady Google Assistant SDK.
• Otevřete příkazový řádek a spusťte zdroj následujících příkazů:

source env/bin/activatepython main.py models/Ewon.pmdl

Krok 3: Tisk těla

3D soubory najdete zde:

Nyní, když jsme všichni připraveni na mozek Ewona, je čas vytisknout jeho tělo. K vytištění je 18 unikátních dílů, většina z nich je docela malá, s celkovou dobou tisku kolem 15–20 hodin. (vyjma případů).

Použil jsem bílou PLA s 50% výplní a výškou vrstvy 2 mm. Tyto hodnoty můžete v případě potřeby změnit, mělo by to fungovat dobře, ale ujistěte se, že malé části mají 100% výplň.

Poté, co jsou soubory vytištěny, můžete použít brusný papír nebo ruční pilník a vyčistit tištěné části, zejména odkazy, kde se součásti navzájem protínají. Vyhlazení kloubů způsobí, že mechanismus bude hladký a poskytne menší odpor servu. Tento proces může trvat tak dlouho, jak chcete, protože se člověk může ztratit při snaze, aby tištěné části vypadaly perfektně.

Další poznámky: Otvory ve 3D tištěných dílech můžete znovu vyvrtat pomocí bitů 3 mm. Všechny otvory mají stejné rozměry. To vám usnadní šroubování matic později v sestavě.

Krok 4: Spojení Ewona dohromady

Než začneme s montáží, je potřeba několik úprav tištěných dílů. Soubory pojmenované servo link musí být vybaveny servo odkazy, které jsou dodávány se servem, díky čemuž se 3D tištěné odkazy dobře spojí se servem.

Montáž Ewonu by měla být přímá. Přikládám obrázky, které můžete sledovat.

Další poznámky: Ujistěte se, že žádný šroub nebo šroub nepřetáhnete, protože by mohlo dojít k prasknutí a opotřebení tištěných částí.

Krok 5: Zapojení Ewon

Jsme v posledním kroku, aby Ewon ožil. Zde je schéma zapojení součástí spolu s obrázky zobrazujícími připojení.

• Servo ovladač je připojen k I2C pinům, které jsou SDA a SCL s RPI.
• Displej je připojen k pinům RX a TX RPI
• Mikrofon a reproduktory jsou připojeny ke zvukové kartě USB, která je připojena k RPI prostřednictvím portu USB.

Varování: Dávejte pozor na zkrácení RPI. Zkontrolujte všechna svá připojení dvakrát a ujistěte se, že jste neudělali žádné chyby. Veškeré příslušenství, jako je reproduktor, ovladač serva a displej, je napájeno samostatnou 5v baterií a nepoužívá řadu Raspberry Pi 5v. Raspberry pi slouží pouze k odesílání dat do příslušenství, ale nikoli k jeho napájení.

Krok 6: Hej Ewone! Slyšíš mě?

Připojili jsme tedy veškeré naše příslušenství a nainstalovali všechny potřebné knihovny. Ewon můžete spustit spuštěním skriptu Shell pomocí./run Ewon.sh Ale co je to.sh skript? Ewon používá mnoho různých knihoven s různými skripty (Google Assistant SDK, Snowboy, Adafruit atd.). Všechny skripty jsou umístěny do příslušných složek. (Můžeme přesunout všechny soubory na stejnou cestu a mít uspořádané všechny skripty, ale v současné době některé knihovny neumožňují přesun zdrojových souborů, takže je prozatím ponecháme na příslušných místech).sh je shell skripty, které spouští všechny tyto skripty jeden po druhém z každého umístění, takže nemusíte ručně přecházet na každé místo a spouštět skripty. To usnadňuje zpracování všech příkazů.

Jakmile spustíte skript shellu, řekněte „Hey Ewon!“a měli byste vidět Ewona, jak vás začne poslouchat. Nyní můžete použít Ewona jako asistenta Google a mluvit s ním a uvidíte, jak Ewon mění výrazy z toho, co říkáte. Zkuste něco jako „Hej Ewone! Dnes jsem smutný “a můžete vidět, že je s vámi Ewon smutný. Požádejte Ewona o vtip a uvidíte, jak se tomu vtipu zasměje.

Krok 7: Co dál?

Ewon zde nekončí. Ewon nyní má způsob, jak detekovat a projevovat emoce, ale můžeme to udělat mnohem víc. To je jen začátek.

V nadcházející aktualizaci budeme pracovat na tom, jak to udělat

• Ewon detekuje tváře a sleduje váš obličej a pohybuje se spolu s vaším obličejem.
• Přidáme zvukové efekty, které postavě dodají extra hloubku.
• Přidejte mobilitu, aby se Ewon mohl pohybovat společně s vámi.

Poznámka: Vzhledem k současné situaci je velmi obtížné získat součásti pro projekt. To mě přimělo změnit design a funkčnost s ohledem na myšlenky, které jsem měl v inventáři. Ale jakmile se mi dostanou do rukou všechny součásti, aktualizujte výše uvedený projekt.

Aktualizace:

• Provedli některé změny v kódu, odstranili skript prostředí.
• Přidáno obdélníkové tělo pro EWON.