Vizualizace dat z Magicbit v AWS: 5 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:18

Data shromážděná ze senzorů připojených k Magicbit budou publikována do jádra AWS IOT prostřednictvím MQTT, aby byla graficky vizualizována v reálném čase. Jako vývojovou desku v tomto projektu, který je založen na ESP32, používáme magicbit. V tomto projektu lze tedy použít jakoukoli vývojovou desku ESP32.

Zásoby:

Magicbit

Krok 1: Příběh

Tento projekt je o připojení vašeho zařízení Magicbit ke cloudu AWS prostřednictvím MQTT. Data odeslaná prostřednictvím MQTT jsou analyzována a vizualizována v cloudu pomocí služeb AWS. Pojďme tedy začít

Nejprve byste měli přejít do konzoly AWS a přihlásit se. Pro účely učení můžete použít možnost bezplatné úrovně, kterou nabízí AWS. Na tento projekt to bude stačit.

Aby to bylo jednodušší, rozdělím projekt na dvě části.

Toto bude první fáze našeho projektu. Na konci první fáze budou data uložena do segmentů S3.

Služby AWS, které budou použity v první části,

• Kinesis Firehose
• Lepidlo AWS
• AWS S3

Nejprve přejděte na službu AWS Kinesis.

Vyberte Kinesis Data Firehose, jak je uvedeno níže, a klikněte na Vytvořit

Poté budete přesměrováni na krok 1 vytvoření služby Firehose. Zadejte název streamu doručení a zvolte Přímý nákup nebo Jiné zdroje. Klikněte na Další.

V okně kroku 2 ponechte vše jako výchozí a klikněte na další. Po vytvoření služby AWS Glue Service se vrátíme k úpravě tohoto kroku.

V kroku 3 vyberte kbelík S3, pokud jste jej již vytvořili. Jinak klikněte na vytvořit a vytvořte kbelík. V části předpony S3 použijte dest/ a v předponě chyby zadejte chybu/. Pro výše uvedené dva můžete zadat libovolný název. Ale pro snadnost budeme pokračovat se společným názvem. Ujistěte se, že vytvoříte složku s názvem dest uvnitř vámi vybraného segmentu. Klikněte na Další.

V kroku 4 zvolte minimální velikost vyrovnávací paměti a interval vyrovnávací paměti pro přenos dat v reálném čase. V části Oprávnění vyberte Vytvořit nebo aktualizovat roli IAMKinesisFirehoseServiceRole. Ponechat vše výchozí. Klikněte na další.

V další části se zobrazí přehled provedených změn. Klikněte na OK. Pak budete mít fungující Kinesis Firehose.

Pokud jste úspěšně vytvořili službu Firehose, získáte něco takového.

Krok 2: Testování Firehose a S3 Bucket

Chcete -li otestovat, že firehose a kbelík S3 funguje správně, vyberte v konzole jádro IOT. Budete přesměrováni na takovou stránku. Vyberte Pravidlo a vytvořte pravidlo.

Co je pravidlo AWS IOT?

Používá se k předávání jakýchkoli dat přijatých z MQTT do konkrétní služby. V tomto příkladu postoupíme do Kinesis Firehose.

Vyberte název pravidla. Ponechte prohlášení o pravidlech a dotazech tak, jak jsou. To nám říká, že cokoli publikované na téma iot/topic bude prostřednictvím tohoto pravidla předáno kineze Firehose.

V části Nastavit jednu nebo více akcí klikněte na Přidat akci. Zvolte Odeslat zprávu do Amazon Kinesis Firehose Stream. Zvolte konfigurovat. Poté vyberte název streamu firehose vytvořeného dříve. Poté klikněte na Vytvořit roli a vytvořte roli. Nyní jste úspěšně vytvořili roli v AWS.

Jakákoli zpráva, kterou zveřejníte, bude přeposlána přes Kinesis Firehose do segmentů S3.

Mějte na paměti, že Firehose odesílá data, když je jeho vyrovnávací paměť naplněna nebo když je dosaženo intervalu vyrovnávací paměti. Minimální interval vyrovnávací paměti je 60 sekund.

Nyní můžeme přejít k druhé části projektu. Toto bude náš diagram toku dat.

Krok 3: Konfigurace lepidla AWS

Proč potřebujeme AWS Glue a AWS Athena?

Data uložená v segmentech S3 nelze přímo použít jako vstup do AWS Quicksight. Nejprve musíme data uspořádat ve formě tabulek. K tomu používáme výše uvedené dvě služby.

Přejděte na AWS Glue. Na boční liště nástrojů vyberte Crawler. Poté vyberte Přidat prolézací modul.

V prvním kroku zadejte název pro svůj prolézací modul. Klikněte na další. V dalším kroku ponechte výchozí nastavení. Ve třetím kroku zadejte cestu k vybranému segmentu S3. Ponechte další okno jako výchozí. V pátém okně zadejte libovolnou roli IAM. V dalším kroku jste zvolili frekvenci spouštění služby.

Doporučuje se vybrat vlastní v rozevíracím seznamu a zvolit minimální čas.

V dalším kroku klikněte na Přidat databázi a poté na další. Klikněte na Dokončit.

Nyní bychom měli integrovat náš Kinesis Firehose s lepidlem AWS, které jsme vytvořili.

Přejděte na AWS Kinesis firehose, který jsme vytvořili, a klikněte na Upravit.

Přejděte dolů do sekce Převést formát záznamu a zvolte Povoleno.

Vyberte výstupní formát jako Apache Parquet. Pro zbytek podrobností vyplňte údaje o databázi Glue, kterou jste vytvořili. V databázi by měla být vytvořena tabulka a název by měl být přidán do této sekce. Klikněte na Uložit.

Krok 4: Konfigurace AWS Athena

Vyberte databázi a datovou tabulku, kterou jste vytvořili. V sekci dotazu by měl být přidán tento kód.

název-tabulky by měl být nahrazen skutečným názvem tabulky Glue, kterou jste vytvořili.

Klikněte na Spustit dotaz. Pokud to funguje, data uložená v kbelíku AWS S3 by měla být zobrazena jako tabulka dat.

Nyní jsme připraveni vizualizovat data, která jsme získali.

Krok 5: Konfigurace QuickSight

Přejděte na AWS Quicksight

Klikněte na Nová analýza v pravém horním rohu a poté klikněte na Nová datová sada.

Vyberte Athénu ze seznamu. Na vyskakovací kartě zadejte libovolný název zdroje dat.

Z rozevíracího seznamu a příslušné tabulky vyberte databázi lepidel. Tím se dostanete na tuto stránku.

Přetáhněte libovolné pole ze seznamu polí a vyberte libovolný typ vizuálu.

Nyní si můžete zobrazit všechna data odeslaná z vašeho MagicBit pomocí služeb AWS !!!

Nezapomeňte povolit přístup pro rychlý náhled pro příslušné segmenty S3, abyste v nich mohli vizualizovat data.