Osobní anglický trenér - hlasový asistent AI: 15 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:22

Tento projekt pomůže studentům, kteří se připravují na jakoukoli jazykovou zkoušku, kde se mohou školit interakcí se Snips AI.

Krok 1: Příběh

Proč jsme to vytvořili?

Ze své osobní zkušenosti jsem viděl mnoho lidí připravujících se na různé lingvistické testy jako GRE, TOEFL, IELTS. Potřebují osobu, která by jim pomohla zapamatovat si a porozumět slovům. Obecně platí, že když se člověk připravuje na takové zkoušky, potřebuje osobu, aby je zkontrolovala a opravila, pokud udělají chybu. S tímto řešením můžeme snížit pracovní sílu pomocí hlasového asistenta.

Krok 2: Hardware Build

Nejprve bych chtěl poděkovat SNIPS a SEEED za podporu tohoto projektu s úžasnou sadou Snips Voice Interaction Development Kit (Base Kit), díky této desce jsem se opravdu cítil informativní a jsem schopen dosáhnout některých komplexních projektů integrovaných do PCB.

Snips Voice Interaction Base Kit můžete zakoupit za 115 $ a Snips Voice Interaction Satellite Kit za 85 $

Krok 3: Začínáme se SNIPS

Než začnete, podívejme se, co budete potřebovat.

• Raspberry Pi 3B/B+ (doporučeno) nebo Pi 2 Model B (podporováno).
• Micro-USB kabel a Micro-USB napájecí adaptér pro Raspberry Pi.
• Karta Micro SD (minimálně 8 GB) - k zahájení je nutný operační systém. Můžete si stáhnout Raspbian Stretch a použít průvodce pro Mac OS, Linux a Windows na webu Raspberry Pi.
• USB klávesnice a myš a externí monitor HDMI - doporučujeme mít po ruce také klávesnici a myš USB a monitor HDMI.
• Připojení k internetu (ethernet nebo WiFi)

Základní sada Snips Voice Interaction

Vývojové sady Snips Voice Interaction Development Kit umožňují uživatelům začít s vývojem hlasových rozhraní a snadno integrovat Snips AI Voice Platform s hardwarem. Snipy běží na zařízení, což znamená, že všechny vaše hlasové příkazy a data jsou zpracovávány lokálně, nikoli odesílány do cloudu. Výsledkem tohoto zpracování na zařízení je zcela bezpečný offline hlasový asistent, který uchovává vaše osobní údaje v soukromí, jak by měly být.

Sada Voice Interaction Base Kit vám umožňuje spustit celou hlasovou platformu Snips AI. Poháněn Raspberry Pi 3 Model B+ a ReSpeaker 2-Mics Pi HAT, může fungovat jako váš domácí chytrý reproduktor. Spolu se sadou je dodáván reproduktor, snímač Grove - snímač teploty a vlhkosti (SHT31), relé Grove - a závěsná deska pro zavěšení na zeď nebo vytvoření šikovného stojanu.

Ale to není vše! Sada Voice Interaction Satellite Kit rozšíří vaši základnovou stanici tak, aby se dostala do každé místnosti vašeho domu, a umožní vám komunikovat s hardwarem podle toho, kde zadáváte příkazy!

Tato sada obsahuje desku Raspberry Pi3 B+, ReSpeaker 2 -Mics Pi HAT, Grove - relé, Grove - snímač teploty a vlhkosti (SHT31), reproduktor 6 Ohm 2W, kartu MicroSD, napájecí adaptér s konektorem Micro USB, kabel Grove x 2, akrylová základna panel.

Kroky montáže: (Obsah ze SNIPS) Následující obrázek je přehled součástí sestavy.

Zde jsou montážní díly namontovány na základní panel.

Poté jsou všechny elektronické součásti namontovány na desku.

Poté na kryt Grove -Relay namontujte ochranný kryt z akrylátu.

Tyto 2 části se používají k tomu, aby se souprava stala stolním stojanem.

Konečně jste připraveni hrát se Snipsem.

Sada poskytuje dva způsoby umístění. Může být buď umístěn na vodorovnou plochu jako stojan, nebo může být zavěšen na zeď pomocí drátů nebo závitu. Buďte opatrní s relé, když je sada zapnutá, protože pracovní napětí bude vysoké.

POZNÁMKA: Máme také satelitní sadu Snips Voice Interaction Satellite Kit, která má místo Raspberry Pi 3B+ nulovou hodnotu Raspberry Pi

Krok 4: Rozhraní s AI Snips (základní projekt)

• Napájejte soupravu výchozím napájecím adaptérem v soupravě nebo použijte adaptér DC 5V-2A s konektorem Micro USB.
• Dalším krokem je instalace asistenta Snips do Raspberry Pi. Abyste ušetřili čas při nastavování, byla na kartě MicroSD v soupravě zobrazena plně funkční bitová kopie systému, což znamená, že asistent Snips je připraven na spouštěcí slova.
• Důrazně doporučujeme prostudovat si průvodce instalací krok za krokem na adrese: https://docs.snips.ai/getting-started/quick-start… a naučit se nástroj sam v příkazovém řádku.
• Spusťte asistenta vyslovením „Hey-snips“a postupujte podle příkazu:

Video s příkladem předinstalovaným v základní sadě Snips Voice Interaction najdete níže.

Krok 5: Rozhraní s AI Snips (Project AI)

Takže takhle to funguje. Nejprve použijeme klíčové slovo k zahájení rozpoznávání Snips. Rozumí větě pomocí Snips NLU a určuje záměr. Dále pomocí záměru extrahujte sloty. Pomocí akčního kódu naprogramujeme odezvu AI s příslušnými sloty.

Krok 6: Vytvoření aplikace a záměrů

• Vytvořte asistenta. V mém případě jsem vytvořil asistenta se jménem JARVIS as heslem JARVIS.
• Vytvořte si vlastní aplikaci nebo pro začátečníky použijte aplikaci z knihovny.
• Vytvořil jsem aplikaci s názvem Words
• Vytvořte záměr a začněte trénovat AI. To hraje hlavní roli v tom, aby byla vaše AI robustní. Trénujte to se všemi možnými vstupy.
• Vytvořte slot pro identifikaci slov. Umístěte slot na očekávanou frázi věty. Pro můj příklad je zadané slovo název bloku a je zvýrazněno modře.
• Jakmile je hotovo, vaše vlastní ASR bude připraveno. Zkuste to se vstupy. Odpověď můžeme najít napravo pod asistentem. To vám umožní extrahovat nezpracovanou hodnotu, název záměru a slot.
• Definujte sloty s více příklady, jak je uvedeno níže
• Nakonec nasaďte svého asistenta a vyzkoušejte si svou personalizovanou AI.

Krok 7: Vypálte Raspbian na SD kartu

Raspbian je distribuce Linuxu, která běží na Raspberry Pi. V této příručce budeme používat verzi Lite, ale lze použít i verzi pro stolní počítače (která je dodávána s grafickým prostředím).

• Stáhněte si Etcher a nainstalujte jej.
• Připojte čtečku karet SD s kartou SD uvnitř.
• Otevřete Etcher a vyberte z pevného disku soubor Raspberry Pi.img nebo.zip, který chcete zapsat na kartu SD
• Vyberte kartu SD, na kterou chcete zapsat svůj obrázek.
• Zkontrolujte své výběry a klikněte na 'Flash!' zahájíte zápis dat na kartu SD

Připojte zařízení k síti

• Povolte přístup SSH přidáním prázdného souboru ssh, který je opět umístěn v kořenovém adresáři spouštěcího svazku na vaší SD kartě.
• Vložte kartu SD do Raspberry Pi. Spustí se zhruba za 20 sekund. Nyní byste měli mít přístup SSH ke svému Raspberry Pi. Ve výchozím nastavení bude jeho název hostitele raspberrypi.local. Na počítači otevřete okno terminálu a zadejte následující:

ssh [email protected]

Výchozí heslo je malina

Krok 8: Nainstalujte platformu Snips

Pokud jste to ještě neudělali, nainstalujte si do počítače rozhraní Sam Command Line Interface. Otevřete okno terminálu a zadejte:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Najděte svůj Raspberry Pi v síti spuštěním:

zařízení sam

Dále vytvořte připojení k zařízení. Budete vyzváni k zadání uživatelského jména a hesla zařízení (výchozí je pi a malina):

sam připojit

Nyní jsme připraveni nainstalovat platformu Snips na Raspberry Pi. Zadejte příkaz:

sam init

Krok 9: Konfigurace hardwaru

Sam poskytuje několik příkazů pro snadné nastavení a konfiguraci hardwarových komponent. V této sekci nastavíme reproduktor a mikrofon. V závislosti na vašem nastavení je třeba provést některou vlastní konfiguraci.

sam nastavení zvuku

Otestujte reproduktor

Chcete -li zkontrolovat, zda reproduktor funguje, spusťte jej

sam testovací reproduktor

Pokud vše funguje dobře, měli byste na svém reproduktoru slyšet pár slov. Konfigurace mikrofonu Můžete zkontrolovat, zda váš mikrofon funguje:

sam testovací mikrofon

Za předpokladu, že máte reproduktor, pokud jasně slyšíte, co jste právě řekli, můžete pokračovat bez další konfigurace mikrofonu.

Jakmile budete přesvědčeni, že nastavení hardwaru funguje, jste připraveni přejít k dalšímu kroku, kde nasadíte svého prvního asistenta.

Krok 10: Import modelu AI z konzoly

Jakmile vytvoříte svého asistenta z předchozích kroků, přihlaste se ke konzole z okna terminálu spuštěním:

sam přihlášení

Budete požádáni o zadání přihlašovacích údajů konzoly Snips.

Dále nainstalujte asistenta:

asistent instalace sam

Pokud jste v konzole vytvořili několik asistentů, budete požádáni, abyste ze seznamu vybrali, kterého z nich chcete nainstalovat.

Krok 11: Handler & Action Code

Aby Raspberry Pi zareagovalo, budeme muset napsat nějaký kód obsluhy. Toto je kód, který se spustí, když se na platformě Snips stane určitá událost, například když byl detekován záměr.

V závislosti na fungování máte k vytvoření Handleru různé metody.

Vytvořte v počítači složku, do které chcete uložit kód obsluhy. V okně terminálu přejděte do tohoto adresáře a zadejte:

npm init

Tím se vytvoří soubor s názvem package.json, který obsahuje popis vašeho projektu, závislosti a další. Dále přidejte závislost balíčku mqtt:

npm install mqtt --save

Nyní vytvořte soubor s názvem index.js a vložte následující kód, který nahradí proměnnou názvu hostitele názvem hostitele vašeho Raspberry Pi (pokud se liší od výchozího raspberrypi):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var klient = mqtt.connect (název hostitele); client.on ('connect', function () {console.log ("[Snips Log] Connected to MQTT broker" + hostname); client.subscribe ('hermes/#');}); client.on ('message', function (topic, message) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/identified/g)! == null) {onHotwordDetected ()} else if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (message));}}); funkce onIntentDetected (záměr) {console.log ("[Protokol snipů] Zjištěn záměr:" + JSON.stringify (záměr)); } funkce onHotwordDetected () {console.log ("[Snips Log] Hlavní slovo zjištěno"); } funkce onListeningStateChanged (poslech) {console.log ("[Snips Log]" + (poslech? "Start": "Stop") + "poslech"); }

Spusťte tento kód pomocí Node:

uzel index.js

Měli byste vidět zprávu o úspěšném připojení k brokerovi Snips MQTT. Stejně jako dříve proveďte hlasovou interakci se svým Raspberry Pi:

Hej, snipe, jaké je počasí v Chennai

Měli byste vidět aktualizaci protokolů:

[Protokol snipů] Připojeno k brokerovi MQTT mqtt: //raspberrypi.local

[Protokol snipů] Detekováno klíčové slovo [Protokol snipů] Spustit poslech [Protokol snipů] Přestat poslouchat [Protokol snipů] Detekován záměr: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" výchozí "," vstup ":" jaké je počasí v chennai "," záměr ": {" IntentName ":" searchWeatherForecast "," pravděpodobnost ": 0,73845243}," sloty ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "prognóza_lokalita"}]}

Krok 12: Řešení potíží

Odstraňte předchozího asistenta, pokud existuje

$ sudo rm -rf/usr/share/snips/assistant/

Chcete -li změnit adresář na Asistenta

cd/var/lib/snips/skills/

Klonovat obsah úložiště na místní

git klon

Spusťte skript setup.sh

./setup.sh

Aktivujte virtuální prostředí

zdroj venv/bin/aktivovat

Spusťte kód akce

./action-.py

Udělení oprávnění skriptu Python

chmod +x action-.py

Krok 13: Příloha

• Pro tento projekt jsem použil kryt s hodnocením IP
• Nejprve jsem vytvořil potřebné otvory pro montáž obvodů a slotů pro napájecí kabel a kabel HDMI.
• Potom jsem umístil všechny Raspberry Pi dovnitř skříně a pevně ji přišrouboval.
• Udělal jsem malý otvor pro reproduktor a mikrofon a zakryl jej malým kouskem akrylového listu.
• Připojte reproduktor pevně k klobouku ReSpeaker.
• Nakonec jsou všechny šrouby pevně namontovány a napájecí kabel je zasunut přes otvor.
• Takhle nakonec vypadá AI: D

Krok 14: Práce s AI

Data, která jsou monitorována, najdete pomocí Snips-watch

Nyní je čas na show. Začal jsem dělat s Simple pozdravy AI. Podívejte se, jak to funguje.

Trainer AI byl naprogramován na omezená slova. Toto lze s malými úpravami rozšířit. To pomáhá studentům zapamatovat si význam rychleji než tradiční metoda.

Laskavá pozornost: Tento projekt je vyškolen přibližně na 25 slov. Lze jej dále rozšířit provedením drobných vylepšení v akčním kódu.

Skripty akcí najdete v přiloženém úložišti Github.

Repo projektu pro pozdravy AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Repo projektu pro trenéra AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Odkaz na moji aplikaci:

Celé nastavení stojí asi 115 $, které lze zakoupit u SNIPS, a toto řešení je ve srovnání s tradičními metodami velmi levné a efektivní. V Indii bylo provedeno zhruba více než 100 000 testů a tento produkt bude nejlepším doplňkem pro odběratele GRE.

Dejte palec nahoru, pokud vám to opravdu pomohlo, a sledujte můj kanál pro zajímavé projekty.:) Pokud chcete, sdílejte toto video. Jsme rádi, že jste se přihlásili k odběru: https://console.snips.ai/store/en/skill_xBKlxnE5K… Děkujeme za přečtení!