Použití fotogrammetrie k vytváření modelů: 9 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:20

Kdo jsem?

Jsem Samuel Conklin a jsem druhák v E. L. Meyersova střední škola. Posledních pár měsíců jsem experimentoval s fotogrametrií a doufám, že vám pomůže, pokud se rozhodnete tento produkt znovu vytvořit. Zajímá mě, jak mohou ostatní lidé využívat tuto novou a stále se vyvíjející technologii.

Co je virtuální realita a SteamVR?

Virtuální realita je nová forma uměleckého vyjádření a zážitku. Je to stále nová hranice technologie, protože bezpočet společností a lidí pracuje na vylepšení média. Pokud jste VR nikdy nevyzkoušeli, děláte velkou špatnou službu, protože zcela zapouzdřuje zrak a zvuk jeho uživatele. Jednou z hlavních platforem pro virtuální realitu je SteamVR společnosti Valve. SteamVR umožňuje uživatelům bezplatně mezi sebou sdílet prostředí a sety. Většinou má otevřený zdroj a umožňuje nespočet náhlavních souprav. Mezi ně patří mimo jiné řada HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality atd. SteamVR je platforma, kterou používáme k vytváření našeho prostředí.

Co je fotogrammetrie a jak ji lze použít?

Fotogrammetrie je proces pořizování fotografií nebo videí a převádění snímků na 3D model. Nejslavnějším příkladem použití této technologie je Google Earth. Google používá satelitní snímky a zobrazení ulic k rekonstrukci krajiny a budov. Při pohledu na Google Earth je jasné, že na práci měli jen málo obrázků, takže některé budovy budou vypadat zkresleně. Při správném použití je fotogrammetrie mimořádně přesvědčivým způsobem vytváření 3D modelů. Tento projekt využívá tuto technologii k zachování historických památek. Eroze a vystavení živlům znamená, že historické památky nakonec chátrají a lidé na ně zapomenou. Pomocí fotogrametrie jsme schopni vše digitálně zachovat, takže budoucí generace budou moci tyto struktury zažít a ocenit. To také znamená, že více lidí na celém světě by mohlo zažít jiné kultury bez nákladů nebo rizika cestování.

Jaké zásoby potřebuji?

Pro tento projekt jsem použil Reality Capture, SteamVR a Krita. Existují programy Autodesk, Agisoft a Zephyr, které lze použít místo programu Reality Capture, pokud k jeho spuštění nemáte požadovaný grafický procesor Nvidia. Místo Krita lze použít Photoshop nebo jiné programy pro úpravu fotografií, ale protože je to zdarma a veřejné, rozhodl jsem se to použít pro tento projekt. Budete také potřebovat náhlavní soupravu Desktop VR, kterou lze připojit přímo k počítači. Nakonec je zapotřebí vysoce kvalitní fotoaparát. Mobilní fotoaparát je slušný, ale použil jsem Nikon D7000, protože Reality Capture dokáže automaticky detekovat clonu fotoaparátu, což vede k vyšší kvalitě modelů.

Krok 1: Fotografování

Toto je nejdůležitější část tohoto projektu, protože potřebujete, aby byl v jednom záběru správný. Pokud tak neučiníte, budete se muset vrátit na místo a vše znovu zopakovat.

Nejprve budete muset najít vhodné umístění a strukturu. Struktura by měla být velká a snadno identifikovatelná. Co to znamená, že software fotogrametrie bude schopen detekovat rozdíly mezi strukturou a pozadím.

Fotografování za zataženého dne je obvykle tou nejlepší cestou. Důvodem je, že slunečný den má možnost některé fotografie přeexponovat a jiné podexponovat. Mohlo by to také vytvořit nežádoucí stíny. Model s malými až žádnými stíny usnadní osvětlení v sekci vývoje úrovní. Software navíc potřebuje, aby vyvážení barev zůstalo u každé fotografie stejné, protože k výpočtu velikosti objektu používá barvy. Fotografování za zataženého dne však zlepší kvalitu struktury. Mraky na obloze budou pro kameru fungovat jako přirozený difuzor. Bude distribuovat světlo rovnoměrněji a znamená, že model bude během procesu vykreslování přesný.

Závěrečnou radou je pořídit co nejvíce fotografií. Většina programů si vybere, které fotografie použije pro konečný produkt. Tím, že pořídíte více fotografií, bude vše přesnější a poskytne programu určitou dýchací místnost. Ke každému modelu jsem měl asi 150-300 fotografií.

Krok 2: Začínáme se softwarem fotogrametrie

Nyní importujeme fotografie do softwaru. Reality Capture vyžaduje grafickou kartu Nvidia. Bez něj se nedostanete za sekci Zarovnat obrázky.

Pokud máte složku se všemi obrázky, které chcete použít, zvolte možnost Složka v levém horním rohu. Tím se dostanete do Správce souborů a můžete si vybrat složku. Vstupy vám umožní vybrat jednotlivé fotografie pomocí Správce souborů.

Dále zahájíme proces vytváření modelu. V horní části obrazovky v části Pracovní postup je sekce Proces. Chceme stisknout větší tlačítko Start. Tím se začnou obrázky zarovnávat. Čtvrtá fotografie stručně ukazuje, co se během tohoto procesu děje. Rozpozná levé oko jelena a porovná vzdálenost s jinými fotografiemi. Bude i nadále porovnávat různé fotografie, dokud neprojde všemi možnými kombinacemi. Tento krok je dokončen, pokud vidíte malé tečky, které připomínají strukturu.

Krok 3: Vypočítejte a zjednodušte

Dalším krokem je výpočet modelu. K tomu klikneme na Vypočítat model v sekci Proces. Tím se přímo převede vše, co najde na fotografiích, do 3D podoby. Výsledky jsou slušně blízké tomu, jak chceme, aby model vypadal, ale s touto verzí modelu jsou tři problémy. Za prvé, v modelu jsou díry, které nejsou ve skutečné struktuře. Za druhé, povrch je příliš hrbolatý. Jelikož program aproximuje své výpočty, některé hladké povrchy bude nesprávně hrbolaté. Za třetí, existuje příliš mnoho trojúhelníků. Každý model v Reality Capture je vytvořen s malými trojúhelníky. Každý trojúhelník představuje malou plochu modelu. Chceme pro optimalizaci modelu co nejméně trojúhelníků. Pokud existuje příliš mnoho trojúhelníků, může to způsobit problémy s výkonem.

Tyto problémy lze vyřešit pomocí nástroje Zjednodušit. Všechny modely budou mít po fázi Vypočítat model 3 000 000 trojúhelníků a my se můžeme rozhodnout toto číslo zvýšit nebo snížit. U všech modelů, jako jsou ty, které se nacházejí v tomto projektu, jsem snížil počet trojúhelníků na 1 000 000. Výsledek najdete na druhém obrázku, kde jsou všechny hrbolaté povrchy hladší a je zde méně děr. Navíc s menším počtem trojúhelníků k vykreslení bude výkon lepší, když se dostaneme do VR.

Krok 4: Barva a textura

Nyní bude model potřebovat barvu a texturu, aby byl ještě reálnější. Tyto dvě části jsou podobné v tom, čeho dosahují, ale liší se ve způsobu, jakým fungují. Pomocí barvy, která se nachází v části Proces, program vybarví model. Nástroj pořídí obrázky, které použil k vytvoření modelu, a obalí vaše obrázky kolem různých povrchů vašeho modelu. Textura naopak zbarví zjednodušené části modelu. Při pohledu na první obrázek je jasně vidět, jak program obtékal obrázky kolem modelu, ale na druhém obrázku po procesu Textura jsou nyní ostré strany obrázků vyhlazeny.

Krok 5: Export a SteamVR

V Reality Capture přeneseme modely do SteamVR. V horní části obrazovky v části Export vyberte Síť, která se nachází vedle sekce Proces. Měli byste vidět toto vyskakovací okno, které vám umožní změnit nastavení a parametry modelu. Nejlepší je ponechat všechna nastavení na výchozí hodnoty, kromě změny formátu textur JPEG. Program nyní exportuje soubor ve formátu OBJ, což je soubor sítě, a JPEG, což je soubor textur pro model. Pro referenční účely by měl JPEG vypadat jako druhý obrázek v tomto kroku.

Nyní musíme importovat naše modely do SteamVR. Nejprve otevřete SteamVR a poté přejděte na Vytvořit/upravit prostředí, které je na kartě Workshop. Nyní se otevřou SteamVR Workshop Tools. Vyberte Vytvořit prázdný doplněk a klikněte na Spustit nástroje.

Prohlížeč aktiv se nyní otevře s různými materiály a modely, které jsou již zahrnuty. Vlevo nahoře je ikona se symbolem Hammer. Toto je vestavěný editor SteamVR Hammer, který vám dává možnost vytvářet mapy. Mapy jsou prostředím, které bude uživatel VR během hraní obývat.

Krok 6: Vytvoření mapy SteamVR

Když je v SteamVR otevřený editor Hammer, můžeme nyní vytvořit krychli. Chceme vytvořit krychli, abychom mohli začít budovat prostředí. Program vám umožňuje změnit velikost krychle, než bude zajištěna na svém místě. Právě teď jsou viditelné pouze vnější povrchy krychle. Stisknutím CTRL+F se všechny povrchy převrátí a promění kostku v místnost. Kromě toho budete muset přidat objekt s názvem info_player_start, který Hammeru řekne, kde má po načtení programu umístit uživatele.

Aby byla místnost realističtější, musíme také přidat textury. Můžeme přidat nějaké vlastní obrázky prostřednictvím editoru materiálů. Toto je kruhová ikona napravo od tlačítka Kladivo v Prohlížeči majetku. Výběrem editoru materiálů se dostanete do nového okna, které vám umožní importovat obrázek, který bude vytvořen do textury. Můžete použít své vlastní obrázky nebo získat obrázky z webových stránek s texturami akcií, jako je textures.com. Kliknutím na tlačítko Soubor pod výběrem barev vyberte obrázek, který chcete použít. Po výběru obrázku jej uložte stisknutím ikony diskety v levé horní části okna Editoru materiálu. Nyní zavřete editor materiálů a přejděte zpět do prohlížeče aktiv. Zde vyhledejte soubor textury, který chcete použít, a poté klikněte a přetáhněte jej do Hammer Editoru. V tomto okně můžete použít texturu na různé plochy krychle.

Také musíme do místnosti přidat osvětlení. Za tímto účelem vložíme na naši mapu light_omni nebo light_spot, který se nachází v sekci Entity nalevo od zobrazení mapy. Light_omni bude svítit světlem ve všech směrech, zatímco light_spot svítí světlem v jednom konkrétním směru. Pro tento projekt jsem použil alespoň dva light_spots pro každý objekt a jeden light_omni, který pomohl osvětlit místnost.

Krok 7: Přidání našich objektů na mapu

Nyní je čas začít přesouvat naše objekty do naší mapy. V Asset Browseru je napravo od ikony Material Editoru Model Model, který připomíná humanoidní ikonu. Po otevření Editoru modelů získáte možnost procházet nebo vytvořit nový VDML, což je verze souboru OBJ aplikace Hammer Editor. Vyberte možnost pro vytvoření nového VDML a bude vyžadovat vytvoření složky. Tato složka uloží soubor VDML. Ujistěte se, že je ve složce Přidat a stiskněte pokračovat.

Tím přejdete na obrazovku s vaším modelem, která má bílou texturu. Chcete -li přidat texturu pro tento model, vyberte Materiály na panelu nástrojů vlevo. Tím se dostanete do editoru materiálů a můžete vybrat JPEG z exportu Reality Capture. Texturu a model uložte kliknutím na ikonu diskety. Zpět na Hammer Editor.

V Hammeru můžete model přetáhnout z Asset Browser na mapu. Model bude s největší pravděpodobností malý a budete jej muset změnit. Stisknutím klávesy T na klávesnici můžete změnit její polohu na mapě. Stisknutím klávesy E změníte proporce modelu, zatímco R jej otočíte.

Krok 8: Vytváření štítků objektů

Štítky objektů zobrazené vedle každého orientačního bodu poskytují kontext a historii, které zlepšují uživatelské prostředí. Pro mé štítky objektů jsem jednoduše vyfotil informační tabule na každém místě, abych snadno zaznamenal důležité informace, které jsem chtěl později použít. Poté jsem použil Krita, bezplatný softwarový program pro úpravu fotografií, k vytvoření štítků objektů včetně dalších obrázků a textu.

Na straně Miner Park a Anchor v místnosti nebyly žádné problémy s přidáváním štítků jako textur. Jednoduše je přidejte do svého Asset Browseru přes Material Editor a přidejte obrázek do bloku, který lze vytvořit v Hammer Editoru. Problémy nastaly, když jsem vytvořil desky na druhou stranu místnosti. Veškerý text a obrázky byly zpětné a v editoru neexistoval jasný způsob, jak textury zvrátit. Abych to napravil, vrátil jsem se do Krita a obrátil desky pro jelena a medvěda a naštěstí to problém vyřešilo.

Kromě toho jsem přidal různé obrázky Wilkes-Barre, protože jsem chtěl vytvořit místnost, která měla atmosféru a atmosféru butikového muzea.

Krok 9: Závěr

Závěrem lze říci, že virtuální realita i fotogrametrie mají schopnost výrazně zlepšit nespočet odvětví, mimo jiné včetně sportu, nemovitostí a kriminalistiky. Dnes jsem pomocí fotogrametrie zachoval některé malé, ale důležité části místní historie svého rodného města. VR a fotogrametrie jsou stále experimentální technologie, které vás někdy mohou napadnout. Navzdory některým nedostatkům je množství inovativních způsobů využití pro oba procesy vzrušující a neomezené. Děkuji vám, že jste si o tomto projektu přečetli, a doufám, že vás to inspirovalo k vyzkoušení něčeho nového s virtuální realitou.

Odkaz ke stažení projektu naleznete zde.