Autonomní dron s infračervenou kamerou na pomoc prvním respondentům: 7 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:21

Podle zprávy Světové zdravotnické organizace každoročně přírodní katastrofy zabijí kolem 90 000 lidí a postihnou téměř 160 milionů lidí na celém světě. Mezi přírodní katastrofy patří zemětřesení, tsunami, sopečné erupce, sesuvy půdy, hurikány, záplavy, požáry, vlny veder a sucha. Čas je zásadní, protože šance na přežití se začíná snižovat s každou minutou, která uplyne. Prvotřídní záchranáři mohou mít problém s hledáním přeživších v poškozených domech a ohrožení života. Mít systém, který by mohl vzdáleně lokalizovat lidi, by výrazně zvýšilo rychlost, s jakou je mohou záchranáři evakuovat z budov. Po prozkoumání dalších systémů jsem zjistil, že některé společnosti vytvořily roboty, které jsou pozemní, nebo vytvořily drony, které dokážou sledovat lidi, ale fungují pouze mimo budovy. Kombinace hloubkových kamer spolu se speciálními infračervenými kamerami umožňuje přesné sledování vnitřního prostoru a detekci teplotních změn představujících oheň, lidi a zvířata. Díky implementaci senzorů s vlastním algoritmem na bezpilotním letadle (UAV) bude možné autonomně kontrolovat domy a identifikovat polohu lidí a zvířat a zachránit je co nejrychleji.

Hlasujte pro mě v soutěži Optika!

Krok 1: Požadavky na design

Po prozkoumání dostupných technologií jsem diskutoval o možných řešeních s odborníky na strojové vidění a prvním respondentem, abych našel nejlepší metodu pro detekci přeživších v nebezpečných oblastech. Níže uvedené informace uvádějí nejdůležitější požadované funkce a prvky návrhu systému.

• Vision Processing - Systém musí zajistit vysokou rychlost zpracování vyměňovaných informací mezi senzory a reakcí umělé inteligence (AI). Systém například musí být schopen detekovat zdi a překážky, aby se jim vyhnul, a zároveň najít lidi, kteří jsou v nebezpečí.
• Autonomní - systém musí být schopen fungovat bez zadání od uživatele nebo operátora. Personál s minimálními zkušenostmi s technologií UAV by měl být schopen stisknout jedno nebo několik tlačítek, aby systém mohl začít skenovat sám.
• Dosah - rozsah je vzdálenost mezi systémem a všemi ostatními objekty v blízkosti. Systém by měl být schopen detekovat chodby a vchody ze vzdálenosti alespoň 5 metrů. Ideální minimální dosah je 0,25 m, aby bylo možné detekovat blízké objekty. Čím větší je detekční dosah, tím kratší je doba detekce pro přeživší.
• Přesnost navigace a detekce - Systém by měl být schopen přesně najít všechny vchody a nenarazit na žádné objekty a zároveň detekovat náhlý výskyt objektů. Systém musí být schopen pomocí různých senzorů najít rozdíl mezi lidmi a neživými objekty.
• Doba provozu - Systém by měl být schopen vydržet 10 minut nebo déle v závislosti na tom, kolik místností potřebuje skenovat.
• Rychlost - Mělo by být schopné skenovat celou budovu za méně než 10 minut.

Krok 2: Výběr zařízení: Metoda mobility

Kvadrokoptéra byla vybrána před automobilem na dálkové ovládání, protože ačkoliv je kvadrokoptéra křehká, je snazší ovládání a změna výšky, aby se zabránilo překážkám. Kvadrokoptéra pojme všechny senzory a stabilizuje je tak, aby byly přesnější při pohybu do různých místností. Vrtule jsou vyrobeny z uhlíkových vláken, které jsou žáruvzdorné. Senzory směřují od stěn, aby se zabránilo nehodám.

• Dálkové ovládání pozemního vozidla
  • Pros - Může se rychle pohybovat bez pádu a není ovlivněn teplotou
  • Nevýhody - Vozidlo by umístilo senzory nízko k zemi a současně by pokrylo menší plochu a mohlo by být zablokováno překážkami
• Kvadrokoptéra
  • Pros - Zvedne senzory do vzduchu, aby získal 360 ° pohled na okolí
  • Nevýhody - Pokud narazí na zeď, může spadnout a nevzpamatovat se

Krok 3: Výběr zařízení: Mikrokontroléry

Hlavními dvěma požadavky na mikrokontroléry jsou malá velikost pro snížení užitečného zatížení kvadrokoptéry a rychlost pro rychlé zpracování vstupu informací. Kombinace Rock64 a DJI Naza je perfektní kombinací mikrokontrolérů, protože Rock64 má dostatečný výpočetní výkon, aby rychle detekoval lidi a zabránil kvadrokoptéře narazit do zdí a překážek. DJI Naza to skvěle doplňuje tím, že dělá veškerou stabilizaci a ovládání motoru, které Rock64 nedokáže. Mikrokontroléry komunikují přes sériový port a v případě potřeby umožňují uživatelské ovládání. Raspberry Pi by byla dobrá alternativa, ale protože Rock64 měl lepší procesor a lepší připojení k senzorům uvedeným v následující tabulce, nebylo vybráno Pi. Intel Edison a Pixhawk nebyly vybrány kvůli nedostatku podpory a připojení.

• Raspberry Pi

  • Pros - Dokáže detekovat stěny a pevné objekty
  • Nevýhody - snaží se držet krok s daty ze všech senzorů, takže nevidí vchody dostatečně rychle. Nelze vysílat signály motoru a nemá žádné stabilizační senzory pro kvadrokoptéru

• Rock64

  • Pros - Schopný detekovat stěny a vchody s malou latencí.
  • Nevýhody - také schopný vést systém po celém domě, aniž by do něčeho narazil pomocí všech senzorů. Nelze odesílat signály dostatečně rychle na řízení rychlosti motoru a nemá žádné stabilizační senzory pro kvadrokoptéru

• Intel Edison

  • Pros - Dokáže s určitým zpožděním detekovat stěny a vchody
  • Nevýhody - Starší technologie, mnoho senzorů by vyžadovalo nové knihovny, jejichž vytváření je časově velmi náročné
• DJI Naza
  • Pros - Má integrovaný gyroskop, akcelerometr a magnetometr, aby byla kvadrokoptéra stabilní ve vzduchu s mikroúpravami otáček motoru
  • Nevýhody - Nelze provést jakýkoli druh zpracování zraku

• Pixhawk

  • Pros - Kompaktní a kompatibilní se senzory používanými v projektu pomocí General Purpose Input Output (GPIO)
  • Nevýhody - Nelze provést jakýkoli druh zpracování zraku

Krok 4: Výběr zařízení: Senzory

K získání všech informací potřebných k nalezení osob v nebezpečných oblastech se používá kombinace několika senzorů. Mezi dva hlavní senzory, které jsou vybrány, patří stereofonní infračervená kamera spolu se systémem SOund Navigation And Ranging (SONAR). Po několika testech jsem se rozhodl použít kameru Realsense D435, protože je malá a dokáže přesně sledovat vzdálenosti až do vzdálenosti 20 metrů. Běží rychlostí 90 snímků za sekundu, což umožňuje provést mnoho měření, než se rozhodnete, kde jsou objekty a kterým směrem směřovat kvadrokoptéru. Senzory SONAR jsou umístěny v horní a dolní části systému, aby kvadrokoptéra věděla, jak vysoko nebo nízko může jít před kontaktem s povrchem. Je zde také jeden směřující dopředu, který umožňuje systému detekovat předměty jako sklo, které senzor stereofonní infračervené kamery nedokáže detekovat. Lidé a zvířata jsou detekováni pomocí algoritmů rozpoznávání pohybu a objektů. FLIR Camera bude implementována tak, aby pomohla stereo infračervené kameře sledovat, co žije a co ne, aby se zvýšila účinnost skenování v nepříznivých podmínkách.

• Kinect V1

  • Pros - Může sledovat 3D objekty snadno až na vzdálenost 6 metrů
  • Nevýhody -Má pouze 1 infračervený senzor a je příliš těžký pro kvadrokoptéru

• Realsense D435

  • Pros - Má 2 infračervené kamery a červenou, zelenou, modrou a hloubkovou (RGB -D) kameru pro vysoce přesnou detekci 3D objektů až do vzdálenosti 25 metrů. Je široký 6 cm, což umožňuje snadné nasazení do kvadrokoptéry
  • Nevýhody - Může se zahřívat a může potřebovat chladicí ventilátor

• LIDAR

  • Pros - Paprsek, který dokáže ve svém zorném poli sledovat polohy až 40 metrů daleko
  • Nevýhody - Teplo v prostředí může ovlivnit přesnost měření

• SONAR

  • Pros - Paprsek, který může sledovat 15 m daleko, ale je schopen detekovat průhledné předměty jako sklo a akryl
  • Nevýhody - Pouze body v jednom zorném poli, ale mohou být přesunuty kvadrokoptérou do oblasti skenování

• Ultrazvukové

  • Pros - Má dosah až 3 m a je velmi levný
  • Nevýhody - Pouze body v jednom zorném poli a mohou být velmi snadno mimo dosah snímání vzdálenosti
• FLIR kamera
  • Pros - Schopen pořizovat hloubkové snímky kouřem bez rušení a dokáže detekovat živé lidi pomocí tepelných podpisů
  • Nevýhody - Pokud něco narušuje senzory, výpočty vzdálenosti mohou být nesprávně vypočítány

• PIR senzor

  • Pros - Schopen detekovat změnu teploty
  • Nevýhody - Nelze přesně určit, kde je teplotní rozdíl

Krok 5: Výběr zařízení: Software

K vytvoření bezproblémové integrace mezi všemi senzory s mikrokontrolérem jsem použil sadu Realsense SDK vedle operačního systému Robot Operating System (ROS). Sada SDK poskytovala stálý tok dat mračna bodů, který byl ideální pro sledování všech objektů a hranic kvadrokoptéry. ROS mi pomohl odeslat všechna data ze senzorů do programu, který jsem vytvořil a který implementuje umělou inteligenci. AI se skládá z algoritmů detekce objektů a algoritmů detekce pohybu, které umožňují kvadrokoptéře najít pohyb ve svém prostředí. Řídicí jednotka používá k řízení polohy kvadrokoptéry Pulzní šířkovou modulaci (PWM).

• Freenect

  • Pros - Má nižší úroveň přístupu pro ovládání všeho
  • Nevýhody - Podporuje pouze Kinect V1

• Realsense SDK

  • Pros - Lze snadno vytvářet data mračna bodů z informačního toku z kamery Realsense
  • Nevýhody - Podporuje pouze kameru Realsense D435

• FLIR Linux Driver

  • Pros - Může načítat datový proud z kamery FLIR
  • Nevýhody - dokumentace je velmi omezená

• Robot Operating System (ROS)

  • Pros - Operační systém ideální pro programování funkcí kamery
  • Nevýhody - Pro efektivní sběr dat je nutné nainstalovat na rychlou kartu SD

Krok 6: Vývoj systému

„Očima“zařízení je stereofonní infračervený senzor Realsense D435, který je běžným senzorem používaným hlavně pro robotické aplikace, jako je 3D mapování (obrázek 1). Když je tento senzor nainstalován na kvadrokoptéře, infračervená kamera může vést a umožnit kvadrokoptéře pohybovat se samostatně. Data generovaná kamerou se nazývají mračny bodů, které se skládají ze série bodů v prostoru, které mají informace o poloze určitého objektu ve vidění kamery. Tento mračno bodů lze převést na hloubkovou mapu, která zobrazuje barvy jako různé hloubky (obrázek 2). Červená je dále, zatímco modrá blíže metrů.

Aby byl tento systém bezproblémový, byl použit open-source operační systém s názvem ROS, který se obvykle používá u robotů. Umožňuje provádět ovládání zařízení na nízké úrovni a přistupovat ke všem senzorům a kompilovat data, která budou používána jinými programy. ROS bude komunikovat se sadou Realsense SDK, která umožňuje zapínat a vypínat různé kamery a sledovat, jak daleko jsou objekty od systému. Spojení mezi oběma mi umožňuje přístup k datovému proudu z kamery, která vytváří mračno bodů. Informace o mračnu bodů mohou určit, kde jsou hranice a objekty do 30 metrů a přesnost 2 cm. Ostatní senzory, jako jsou senzory SONAR a integrované senzory v ovladači DJI Naza, umožňují přesnější umístění kvadrokoptéry. Můj software používá algoritmy AI pro přístup k mračnu bodů a prostřednictvím lokalizace vytváří mapu celého prostoru obklopujícího zařízení. Jakmile je systém spuštěn a začne skenovat, bude procházet chodbami a najde vstupy do dalších místností, kde pak bude moci prohledávat místnost konkrétně hledající lidi. Systém opakuje tento proces, dokud nejsou naskenovány všechny místnosti. V současné době může kvadrokoptéra létat přibližně 10 minut, což je dost na úplné zametání, ale lze ji vylepšit pomocí různých uspořádání baterií. První respondenti dostanou oznámení, když jsou lidé spatřeni, aby se mohli soustředit na vybrané budovy.

Krok 7: Diskuse a závěr

Po mnoha pokusech jsem vytvořil funkční prototyp, který splnil požadavky uvedené v tabulce 1. Použitím stereo infračervené kamery Realsense D435 se sadou Realsense SDK byla vytvořena mapa hloubky s vysokým rozlišením na přední straně kvadrokoptéry. Zpočátku jsem měl nějaké problémy s tím, že infračervená kamera nemohla detekovat určité objekty, jako je sklo. Přidáním senzoru SONAR se mi podařilo tento problém překonat. Kombinace Rock64 a DJI Naza byla úspěšná, protože systém dokázal stabilizovat kvadrokoptéru a zároveň byl schopen detekovat objekty a stěny pomocí algoritmů počítačového vidění vytvořených na zakázku pomocí OpenCV. Přestože je současný systém funkční a splňuje požadavky, mohl by těžit z některých budoucích prototypů.

Tento systém by mohl být vylepšen použitím kvalitnějších kamer, které by dokázaly přesněji detekovat lidi. Některé z dražších kamer FLIR mají schopnost detekovat tepelné podpisy, což umožňuje přesnější detekci. Systém by také mohl fungovat v různých prostředích, jako jsou místnosti, které jsou prašné a plné kouře. Díky nové technologii a protipožární ochraně mohl být tento systém odeslán do hořících domů a rychle detekovat, kde se lidé nacházejí, aby záchranáři mohli získat přeživší z nebezpečí.

Děkuji za přečtení! Nezapomeňte pro mě hlasovat v soutěži Optika!