Kvantimetrické zpracování obrazu: 5 kroků

2024 Autor: John Day | [email protected]. Naposledy změněno: 2024-01-30 08:23

(Výše uvedený obrázek ukazuje srovnání stávající metody zpracování obrazu s kvantimetrickým zpracováním obrazu. Všimněte si vylepšeného výsledku. Obrázek vpravo nahoře ukazuje podivné artefakty, které pocházejí z nesprávného předpokladu, že obrázky měří něco jako světlo. Vpravo dole obrázek ukazuje lepší výsledek tím, že uděláte totéž kvantimetricky.)

V tomto Instructable se naučíte, jak výrazně zlepšit výkon stávajících zobrazovacích systémů nebo systémů snímání zraku pomocí velmi jednoduchého konceptu: kvantimetrického snímání obrazu

Kvantimetrické zpracování obrazu se výrazně zlepšuje v následujících případech:

• Stávající zpracování obrazu, jako je odbarvování obrazu;
• Strojové učení, počítačové vidění a rozpoznávání vzorů;
• Nositel rozpoznávání obličeje (viz https://wearcam.org/vmp.pdf), vidění založené na AI a HI atd.

Základní myšlenkou je kvantimetricky předzpracovat a dodatečně zpracovat obrázky následujícím způsobem:

1. Rozbalte dynamický rozsah obrázku nebo obrázků;
2. Zpracujte obrázek nebo obrázky obvyklým způsobem;
3. Komprimujte dynamický rozsah obrázku nebo obrázků (tj. Zrušte krok 1).

V předchozích instruktážích jsem učil některé aspekty snímání HDR (vysoký dynamický rozsah) a kvantimetrické snímání, např. linearita, superpozice atd.

Pojďme nyní tyto znalosti použít.

Vezměte si jakýkoli existující proces, který chcete použít. Příklad, který ukážu, je odbarvování obrázku, ale můžete jej také použít pro cokoli jiného.

Krok 1: Rozbalte dynamický rozsah obrázku nebo obrázků

(Obrázky převzaty z „Intelligent Image Processing“, John Wiley and Sons Interscience Series, Steve Mann, listopad 2001)

Prvním krokem je rozšíření dynamického rozsahu vstupního obrázku.

V ideálním případě byste nejprve měli určit funkci odezvy kamery f a poté na snímek použít inverzní odezvu f inverzně.

Typické kamery jsou kompresní s dynamickým rozsahem, proto obvykle chceme použít rozsáhlou funkci.

Pokud neznáte funkci odezvy, zkuste něco jednoduchého, jako je načtení obrázku do obrazového pole, přenesení proměnných na datový typ, jako je (float) nebo (double), a zvýšení hodnoty každého pixelu na exponent, jako například kvadratura každé hodnoty pixelu.

Zdůvodnění:

Proč to děláme?

Odpověď zní, že většina kamer komprimuje svůj dynamický rozsah. Důvodem je to, že většina zobrazovacích médií rozšiřuje dynamický rozsah. To je úplná náhoda: množství světla vyzařovaného televizním displejem s katodovou trubicí se přibližně rovná napětí zvýšenému na exponent 2,22, takže když je vstup video napětí zhruba v polovině cesty, množství vyzařovaného světla je hodně méně než polovina.

Fotografická média jsou také rozsáhlá v dynamickém rozsahu. Například fotografická „neutrální“šedá karta vyzařuje 18% dopadajícího světla (nikoli 50% dopadajícího světla). Tolik světla (18%) je považováno za střed odezvy. Jak tedy vidíte, podíváme -li se na graf výstupu jako funkci vstupu, zobrazovací média se chovají, jako by to byly ideální lineární displeje, které před ideální lineární odezvou obsahují expandér dynamického rozsahu.

Na horním obrázku výše vidíte displej zabalený s tečkovanou čarou a je to stejné jako mít expandér před ideálním lineárním zobrazením.

Vzhledem k tomu, že displeje jsou ze své podstaty rozsáhlé, musí být kamery navrženy tak, aby byly kompresní, aby obrázky vypadaly dobře na stávajících displejích.

V dávných dobách, kdy existovaly tisíce displejů televizních přijímačů a pouze jedna nebo dvě vysílací stanice (např. Jen jedna nebo dvě televizní kamery), bylo snazší opravit vložení kompresivní nelinearity do kamery, než vyvolat všechny televize a vložte jeden do každého televizního přijímače.

Náhodou to také pomohlo se snížením hluku. V audiu tomu říkáme „Dolby“(„companding“) a udělujeme si na to patent. Ve videu se to stalo úplnou náhodou. Stockham navrhl, abychom před zpracováním obrázků vzali logaritmus obrázků a poté antilog. Neuvědomil si, že většina fotoaparátů a displejů to už dělá úplnou náhodou. Místo toho jsem navrhl, abychom dělali přesný opak toho, co Stockham navrhoval. (Viz „Intelligent Image Processing“, John Wiley and Sons Interscience Series, strana 109-111.)

Na dolním obrázku vidíte navrhované antihomomorfní (kvantimetrické) zpracování obrazu, kde jsme přidali krok rozšíření a komprese dynamického rozsahu.

Krok 2: Zpracujte obrázky nebo proveďte počítačovou vizi, strojové učení nebo podobně

Druhým krokem po rozšíření dynamického rozsahu je zpracování obrázků.

V mém případě jsem jednoduše provedl dekonvoluci obrazu s funkcí rozostření, tj. Odbarvování obrazu, jak je běžně známé v dosavadním stavu techniky.

Existují dvě široké kategorie kvantimetrického snímání obrazu:

• Pomáhat lidem vidět;
• Pomáhající stroje vidí.

Pokud se snažíme pomoci lidem vidět (což je příklad, který zde ukazuji), ještě jsme neskončili: musíme zpracovaný výsledek vrátit zpět do prostoru obrázků.

Pokud pomáháme strojům vidět (např. Rozpoznávání tváří), máme hotovo (není třeba pokračovat krokem 3).

Krok 3: Znovu komprimujte dynamický rozsah výsledku

Když pracujeme v rozšířeném dynamickém rozsahu, říká se, že jsme ve „světelném prostoru“(kvantimetrický obrazový prostor).

Na konci kroku 2 jsme ve světelném prostoru a potřebujeme se vrátit do obrazového prostoru.

Tento krok 3 je tedy o návratu zpět do prostoru obrázků.

Chcete -li provést krok 3, jednoduše komprimujte dynamický rozsah výstupu z kroku 2.

Pokud znáte funkci odezvy kamery, jednoduše ji použijte, abyste získali výsledek f (p (q)).

Pokud neznáte funkci odezvy kamery, jednoduše použijte dobrý odhad.

Pokud jste v kroku 1 vyrovnali pixely obrázku na druhou, nyní je čas vzít odmocninu každého pixelu obrázku, abyste se vrátili ke svému odhadu ohledně obrazového prostoru.

Krok 4: Možná budete chtít vyzkoušet některé další varianty

Odstraňování otřepů je jen jedním z mnoha možných příkladů. Zvažte například kombinaci více expozic.

Pořiďte libovolné dva obrázky, například dva, které mám výše. Jeden byl vzat ve dne a druhý v noci.

Zkombinujte je a vytvořte obrázek podobný soumraku.

Když je průměrujete dohromady, vypadá to jako odpad. Zkuste to sami!

Pokud ale nejprve rozšíříte dynamický rozsah každého obrázku, pak je přidáte a poté komprimujete dynamický rozsah součtu, vypadá to skvěle.

Porovnejte zpracování obrazu (přidání obrázků) s kvantimetrickým zpracováním obrazu (rozbalení, přidání a komprimace).

Můj kód a další ukázkový materiál si můžete stáhnout zde:

Krok 5: Pokračujte dále: Nyní to zkuste s HDR Image Composites

(Na obrázku výše: HDR svářečská kukla využívá pro překrytí rozšířené reality kvantimetrické zpracování obrazu. Viz Slashgear 2012 12. září.)

Celkem:

pořiďte obrázek a proveďte následující kroky:

1. rozšířit dynamický rozsah obrazu;
2. zpracovat obrázek;
3. komprimujte dynamický rozsah výsledku.

A pokud chcete ještě lepší výsledek, zkuste následující:

zachytit množství různě exponovaných snímků;

1. rozšířit dynamický rozsah do světelného prostoru, podle mého předchozího Instructable on HDR;
2. zpracovat výsledný kvantimetrický obraz, q, ve světelném prostoru;
3. komprimujte dynamický rozsah pomocí mapování ton.

Bavte se a prosím klikněte na „Zvládl jsem to“a zveřejněte své výsledky. Rád se vyjádřím nebo poskytnu nějakou konstruktivní pomoc.