AI With Grove Zero and Codecraft (Scratch 3.0): 5 Steps (with Pictures)

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:20

V tomto článku budeme stavět tři projekty využívající funkce AI Codecraft, grafického programovacího prostředí založeného na Scratch 3.0. Codecraft je vyvinut a udržován vzděláváním TinkerGen a je zdarma k použití.

AI a její podmnožina, strojové učení, se za posledních 10 let stalo nedílnou součástí našich životů. Školní osnovy v mnoha zemích zahrnují znalosti umělé inteligence a strojového učení, ale pro průměrného učitele může být obtížné vytvořit učební materiály pro výuku tohoto tématu bez správných nástrojů. Použití knihoven strojového učení, dokonce i těch uživatelsky nejpříjemnějších, jako je například Keras, k vytvoření aplikace, se kterou mohou studenti interagovat, může být časově náročný a skličující úkol. Tady může pomoci Codecraft - má bohatou sadu aplikací poháněných strojovým učením, které může učitel použít k vysvětlení a předvedení konceptů souvisejících s umělou inteligencí. Pojďme se na ně podívat!

Krok 1: Přehled rozšíření AI

Otevřete online editor Codecraft na

Klikněte na režim Stage a poté na tlačítko Add Extension v dolní části navigační karty bloků.

Uvidíte, že jsou k dispozici tři rozšíření AI:

- Kognitivní služby --- modely strojového učení pro zpracování živého videa a zvuku

- Učitelný stroj --- lze použít k nácviku klasifikačního modelu se snímky pořízenými fotoaparátem

- Translate --- využívá pro překlad strojové učení

V tomto článku se zaměříme na kognitivní služby a používání těchto funkcí k ovládání hardwaru Grove Zero. Bezdrátová komunikace mezi počítačem a Grove Zero stále probíhá a článek aktualizuji, jakmile bude k dispozici. Prozatím budeme pro přenos zpráv mezi modulem Grove Zero a počítačem používat kabelové připojení.

Krok 2: Hrajte Space Invaders s nosem

Pro první úkol použijeme pouze fázový režim bez hardwaru. Codecraft má spoustu příkladů, jak začít s programováním - jedním z těchto příkladů je programování klasické hry Space Invaders v režimu Codecraft Stage. Tento příklad ještě rozšíříme a přidáme možnost ovládat herního bojovníka nosem pomocí kognitivních služeb.

Klikněte na tlačítko Příklady. Příklad Open SpaceInvaders. Potřebujeme změnit pouze část relevantní pro pohyb. Za to dostaneme polohu x nosu na obličeji detekovanou v živém přenosu videa, uložíme ji do proměnné polohy. Pokud je hodnota pos větší než 50, přesuneme vesmírného stíhače doprava, pokud je menší než -50, přesuneme bojovníka doleva. To je ono. Vyzkoušej to! Pokud máte pocit, že rychlost pohybu stíhače je příliš vysoká, můžete změnit x o … blok na menší číslo.

Dále tuto funkci rozšíříme o ovládání vozu Grove Zero a jeho přesun vpřed/vzad/vlevo/vpravo.

Krok 3: Ovládejte nulové auto Grove s Codecraft AI

Začněme psaním kódu ve fázovém režimu - to je ta část, která je zodpovědná za analýzu zdroje videa a výstup příkazů do Grove Zero.

1) Spustíme kód na prvním snímku obrazovky, dokud nestiskneme mezerník. Poté odešleme příkaz stop.

2) Uvnitř opakujte, dokud blok nezkontrolujeme x-pos a y-pos nosu detekované tváře a uložíme je do odpovídajících proměnných.

3) Pokud je absolutní hodnota x-pos menší než 21 (to znamená, že je mezi -20 a 20, tedy blízko středu obrázku), pokračujeme kontrolou y-pos, abychom zjistili, zda by auto mělo jet vpřed nebo vzad

4) Jinak kontrolujeme, zda má auto jet doleva nebo doprava

Nyní se přesuneme na kartu Zařízení a napíšeme krátký kód pro vůz Grove Zero. Použijeme blok Přijímám, který je zodpovědný za přijímání interních příkazů vysílání. Nesmí být zaměňováno s Když rádio přijímá, které se používá pro komunikaci Bluetooth. Podrobnosti najdete na snímku obrazovky, kód je poměrně jednoduchý.

Připojte svůj sestavený vůz Grove Zero k počítači a stiskněte tlačítko Připojit v Codecraft. Přepnout do režimu ladění online - to umožní základní desce Grove přijímat příkazy pro vysílání po drátu. Poté přejděte do režimu fáze a stiskněte vlajku. Auto by se už mělo pohybovat, zkuste ho ovládat nosem:)

Krok 4: Sledování řádku pomocí hlasového ovládání

V sadě do auta Grove Zero, která je původně pro hraní minihry Collect the Coins, je mapa. Můžeme to přepracovat na používání rozpoznávání hlasu v Codecraftu k zadávání příkazů vozu, kterým směrem odbočit na křižovatce.

Část režimu fáze je zde méně komplikovaná než v předchozím příkladu. Co děláme, je:

1) Po přijetí vysílané zprávy choose_direction, rozpoznat fragment řeči a uložit jej do proměnné result.

2) Rozpoznávejte, dokud výsledek NENÍ neznámý.

3) Porovnejte výsledek se dvěma řetězci - „vlevo“a „vpravo“. Vysílejte odpovídající zprávu do auta Grove Zero.

Kód běžící v autě Grove Zero je tentokrát trochu komplikovanější, ale v zásadě se řídí touto logikou:

1) Při spuštění odešlete zprávu pro přeposlání

2) Po přijetí zprávy vpřed začněte sledovat řádek. Pokud dojde ke ztrátě vedení, zastavte motory a vysílejte

choose_direction. Zde se spustí kód v režimu Stage.

3) Pokud zpráva odešla, začněte otáčet doleva a poté přepněte zpět do režimu následujícího řádku.

Pokud se zobrazí zpráva vpravo, začněte otáčet doprava a poté přepněte zpět do režimu následujícího řádku.

Krok 5: Ze zákulisí

Všechny modely neuronových sítí používané ve výše uvedené aplikaci se spouští lokálně ve vašem prohlížeči, což má oproti odesílání dat do cloudu ke zpracování několik výrazných výhod: menší latence a lepší soukromí. V kognitivních službách se používá řada neuronových sítí - klasifikace zvuku pro hlasové příkazy (, Detekce orientačních bodů obličeje, Rozpoznání výrazu tváře a Odhad věku.

V tomto článku jsme prozkoumali základní funkce jednoho z rozšíření Codecraft AI - kognitivní služby. Existuje několik způsobů, jak můžete na těchto příkladech stavět a dělat tak ještě zábavnější a vzrušující aplikace!

Pokud se rozhodnete to zkusit, ať už s Grove Zero nebo jen pomocí režimu Stage, sdílejte v níže uvedených komentářích. Další informace o sériích Grove Zero, Codecraft a dalším hardwaru pro výrobce a pedagogy STEM najdete na našich webových stránkách

TinkerGen vytvořil kampaň na Kickstarteru pro MARK (Make A Robot Kit), robotickou sadu pro výuku kódování, robotiky, AI!