3D modely z Freestyle Drone Záběry: 4 kroky

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:23

Videografie z dronů v posledních letech opravdu explodovala a existuje obrovské množství talentovaných pilotů, kteří pomocí svých kvadrokoptér a náhlavních souprav z pohledu první osoby vytvářejí nejakrobatičtější videa. Můj bratr Johnny FPV je jedním z těchto pilotů, a tak jsem chtěl zjistit, zda je možné zrekonstruovat prostředí, ve kterých létá, ze svých freestylových záběrů.

Stabilní, uzamčené záběry z dronu, které jsou předmětem zvláštního zájmu, mohou určitě produkovat 3D model s vysokou věrností, jak je zde probíráno, ale co se stane, když jsou záběry tak frenetické jako toto?

Krok 1: Předzpracovejte své video

Jakmile získáte nějaké letecké záběry, je nutné předběžné zpracování. Používám Adobe Media Encoder, ale téměř každý software pro úpravu videa by to měl zvládnout.

Vybral jsem krátký klip (~ 11 sekund) a změnil snímkovou frekvenci z 29,77 na 30 snímků za sekundu a nové video jsem uložil do požadované složky.

Dále používám FFMPEG k exportu všech ostatních snímků videa jako jpg. Pokud nejste obeznámeni, FFMPEG je sada nástrojů příkazového řádku, která umožňuje zpracování a převod téměř JAKÉHOKOLI druhu zvuku nebo videa, na které si vzpomenete. Existuje placený software, který vám umožní provádět mnoho stejných věcí, ale pokud jste ochotni trochu pracovat s příkazovým řádkem, může to být neuvěřitelně účinný nástroj.

Dobrý průvodce instalací FFMPEG je k dispozici zde.

Budete chtít změnit adresář na umístění souboru obrázku (cd) a poté použít následující skript:

ffmpeg -i (název vašeho video souboru) -vf fps = 15 exp%03d.jpg

Změna fps přirozeně změní počet obrázků exportovaných za sekundu videa. To se vrací k tomu, proč jsem změnil fps videa z 29,97 na 30- popadnutí 15 obrázků za sekundu nyní jednoduše zachytí každý druhý snímek z videa. Pokud byste chtěli každý šestý snímek, nastavili byste jej na 5 fps … atd.

„exp %03d.jpg“bude mít za následek uložení obrázků jako exp000.jpg, kde jsou obrázky číslovány postupně třemi číslicemi- pokud máte delší videoklip a chcete exportovat více než 999 obrázků, psaní %04d by znamenalo všechny obrázky se čtyřmi číslicemi; můžete exportovat až 9 999.

(poznámka: "ffmpeg -i (název vašeho video souboru) -r (framerate) -f image2 exp%03d.jpg" funguje také pro extrahování snímků z videa, ale z jakéhokoli důvodu získávám lepší mračna bodů z obrázků zpracovaných v dřívější metoda)

Krok 2: Importujte fotografie a vytvořte mračno bodů

Jakmile máte sadu obrázků, můžete začít běžný pracovní postup fotogrametrie. Používám Agisoft PhotoScanPro, ale jiné programy jako Autodesk Remake by pravděpodobně byly stejně (ne -li více) úspěšné.

Po importu mých fotografií jsem také nastavil kalibraci fotoaparátu na Fisheye, protože tyto záběry původně pocházely z GoPro. O několik minut později se začnou objevovat 3D informace! Mračno bodů nemusí vypadat moc a skládá se pouze z několika tisíc bodů, takže na výpočet sítě ještě nestačí. Z toho jsem vytvořil hustý mračno bodů a nyní mám asi 200 tisíc bodů, se kterými mohu pracovat.

Krok 3: Vybudujte síť

Nyní, když máme všechny tyto body k práci, lze vypočítat síť. Používám relativně vysoký počet obličejů a umožnění interpolace- díky tomu bude síť trochu „fuzzier“, ale nakonec bude v síti mnohem méně chybějících povrchů a otvorů. Po několika minutách zpracování začínáme mít výsledek připomínající architekturu, kolem které dron létal!

Krok 4: Textura a konečné výsledky

Photoscan vám také umožňuje vytvořit ze vstupních obrázků texturu pro vaši síť, což modelu dává konečný nádech detailů. Mám smíšené pocity z výsledků tohoto procesu (existují mnohem lepší způsoby, jak vytvořit přesný model), ale celkově si myslím, že je úžasné, že jakýkoli model vůbec může vzniknout z tak ořechových záběrů!

Dalšími směry, které bych mohl tento projekt vzít, by mohlo být zesílení povrchů na vodotěsné modely pro 3D tisk nebo by se mohly stát součástí surrealistické krajiny VR.