Spektrálne zobrazenie

Spektrálne zobrazenie, známe aj ako multispektrálne (minimálne štyri až 10 kanálov) alebo hyperspektrálne zobrazenie (11 a viac kanálov), záleží na vyhotovení kamery, poskytuje rozšírenie spektrálnej informácie, t. j. farby, oproti RGB kamerám. Spektrálne zobrazenie môžeme chápať ako zlúčenie spektroskopie a obrazu. Potom výstupom takéhoto systému je dátová kocka, ktorá poskytuje priestorovú a spektrálnu informáciu. Bežné ľudské oko vníma tri farebné spektrá, čo mu umožňujú čapíky na sietnici. Tieto spektrá sa označujú ako červené, zelené a modré podobne ako pri klasických RGB kamerách snímajúcich v troch širokých pásmach a predstavujúcich červenú, zelenú a modrú reakciu nášho oka. Namiesto toho multispektrálne kamery snímajú svetlo v niekoľkých úzkych frekvenčných pásmach.

Hardvér a softvér

Kamery

Multispektrálne kamery môžeme rozlišovať buď podľa vyhotovenia, alebo podľa spektrálneho rozsahu, ktorý dokážu snímať.

Základné rozdelenie podľa konštrukcie:

  • kamera s filtrovým kolesom,
  • kamera s viacerými senzormi,
  • kamera s multispektrálnou mozaikou.

Multispektrálna kamera s filtrovým kolesom predstavuje kameru, kde je pred klasickým čipom (CCD, CMOS) umiestnená optická sústava s pohybujúcim sa kolesom s niekoľkými filtrami. Kamera je použiteľná na snímanie statického obrazu a je typickou zástupkyňou multispektrálnych kamier (počet filtrov sa zväčša pohybuje od päť do sedem) s využitím na laboratórne a medicínske účely. Nevýhodou je potreba ručného zostavenia, cena ako pri kamerách s multispektrálnou mozaikou, náchylná na „rozladenie“ pri manipuláciu.

Ďalším možným vyhotovením je kamera s niekoľkými senzormi a optickým hranolom deliacim svetlo do jednotlivých senzorov. Momentálne sa využíva hlavne v družiciach na multispektrálny prieskum Zeme. Nevýhodou kamery je ručné zostavenie a cena – je najdrahšia zo všetkých multispektrálnych kamier. Výhody tejto kamery sú, že poskytuje záznam v reálnom čase a obyčajne väčšie priestorové rozlíšenie ako s multispektrálnou mozaikou.

Zameriame sa na kamery, ktorých senzory sú vo vyhotovení s multispektrálnou mozaikou. Podobne ako sú senzory farebných kamier vyhotovené s Bayerovou alebo inou maskou pre tri spektrálne pásma, aj senzory multispektrálnych kamier sú vyhotovené cez mozaiku, ktorá zabezpečuje snímanie v jednotlivých pásmach spektra. Výhoda takto zhotovených multispektrálnych kamier je v ich jednoduchom vyhotovení, kompaktnosti, jednoduchej údržbe a cene. Nevýhodou takýchto systémov je, že s množstvom pásiem, ktoré dokáže kamera zaznamenať, klesá priestorové rozlíšenie kamery pre každé snímané spektrálne pásmo.

Senzory s mozaikou môžeme rozdeliť podľa jej vyhotovenia na:

  • Line-Scan,
  • Snapshot tiled mosaic,
  • Snapshot Bayer mosaic.

Dizajn Line-Scan je vhodný pre aplikácie, kde je snímaný predmet v pohybe pred senzorom. Na rozdiel od vyhotovenia mozaiky tiled a Bayer netrpí degradáciou rozlíšenia počtom snímaných spektrálnych pásiem.

Výhody:

  • priestorové rozlíšenie,
  • vysoké spektrálne rozlíšenie (stovky pásiem).

Nevýhody:

  • funguje ako skener, čiže sa vyžaduje pohyb senzora alebo snímaného objektu.

Dizajn Snapshot sa v rámci vyhotovenia najviac podobá farebným senzorom. Umožňuje získanie spektrálnej kocky v reálnom čase.

Výhody:

  • okamžitý multispektrálny obraz,
  • možnosť snímať statické aj dynamické objekty.

Nevýhody:

  • s počtom snímaných spektrálnych pásiem klesá priestorové rozlíšenie.

Medzi kamery vyhotovené s takýmto typom senzora patrí napríklad kamera MosaicMill Rikola HS pracujúca v spektrálnom rozsahu VIS-VNIR. Firma RESONOM poskytuje niekoľko modelov hyperspektrálnych kamier zameraných od blízko ultrafialového spektra až po blízko infračervené spektrum. V ponuke sú PIKA NUV, Pika L, Pika XC2 a PIKA NIR. Spomedzi hyperspektrálnych kamier má na slovenskom trhu zastúpenie spoločnosť XIMEA s ich kamerami MQ022HG-IM-SM5X5-NIR, MQ022HG-IM-LS150-VISNIR, MQ022HG-IM-SM4X4-REDNIR, MQ022HG-IM-SM4X4-VIS.

Na základe spektrálneho rozsahu môžeme kamery rozdeliť na tri skupiny:

  • infračervené,
  • viditeľné až infračervené,
  • viditeľné až ultrafialové.

Softvér

Na trhu je dostupných niekoľko aplikácií na zaznamenanie a následnú manipuláciu s hyperspektrálnym obrazom. My sa zameriame na niekoľko voľne dostupných na internete, ale predstavíme si aj komerčný produkt od spoločnosti Perception Studio.

Spectronon

Je primárne určený pre kamery Resonon. Môžeme ho nájsť v dvoch verziách, a to v základnej a vo verzii Pro, ktorá navyše poskytuje čítanie dát priamo z kamery. Softvér umožňuje offline načítanie a spracovanie súborov ENVI. Na obr. 8 je vyobrazené používateľské rozhranie, kde v hlavnej časti obrazovky je skúmaný obraz, v pravom hornom rohu môžeme nájsť spektrálnu charakteristiku a v pravom dolnom rohu ovládací panel na nastavenie farieb pre jednotlivé vlnové dĺžky a manipuláciu s kontrastom obrazu; tento panel sa mení podľa aktuálne používanej funkcie a môže obsahovať nastavenie parametrov, klasifikátorov či zoznam hlavných komponentov PCA analýzy.

Na analýzu spektra jedného pixelu môžeme použiť The Inspector Tool nachádzajúci sa v paneli nástrojov. Po vybraní pixelu sa v paneli grafu zobrazí spektrálna charakteristika a v paneli dát informácia o polohe a svetlosti pixelu v RGB. Ďalším nástrojom na získanie spektrálnej charakteristiky je Region Of Interest (ROI, oblasť záujmu). ROI umožňuje analyzovať skupinu pixelov na obraze. Na vybranie skupiny pixelov môžeme z panelu nástrojov použiť lasso alebo marquee.

Na automatický výber pixelov s podobnou spektrálnou charakteristikou slúži floodfill, ktorého použitie závisí od nastavenej hodnoty parametra tolerancie. Parameter tolerancie počíta s euklidovskou vzdialenosťou alebo uhlom SAM (Spectral Angle Mapper) v spektrálnom priestore medzi zakliknutým pixelom a pre všetky s ním susediace alebo všetky podobné pixely, ktoré podliehajú nastavenej tolerancii. Zmenou tolerancie môžeme ovplyvňovať veľkosť oblasti, ktorú floodfill vyznačí, pričom sa mení aj veľkosť smerodajnej odchýlky skúmaného spektra pre danú oblasť.

Okrem týchto základných nástrojov Spectronom obsahuje aj tieto pokročilé nástroje:

– Mosaic Tool – nástroj na vyskladanie mozaiky z georegistrovaných snímok,

– klasifikáciu objektov:

  • SAM,
  • SVM (Support Vector Machine),

– analýzu:

  • prvá derivácia – na spektrálnu charakteristiku každého pixelu alebo pixelov v ROI,
  • PCA (analýza hlavných komponentov),
  • regresia,
  • druhá derivácia.

Preddefinované indikátory pre poľnohospodárstvo:

  • NDVI (Normalized Difference Vegetative Index),
  • EVI (Enhanced Vegetative Index),
  • VREI (Vogelmann Red Edge Index 1, 2, 3).

Z testovaného softvéru má Spectronon najširšiu ponuku možností predspracovania, analýzy a klasifikácie spektrálneho obrazu. Ak zoberieme do úvahy, že po registrovaní na stránke Resononu si jeho základnú verziu môžete stiahnuť zadarmo a používať neobmedzene, je tento softvér vynikajúcou voľbou na vstup do sveta spektrálnej fotografie.

Scyven

Scyven (Scyllarus Visualisation Environment) je prostredie na spracovanie a zobrazenie hyperspektrálnych údajov od týmu Scyllarus pod hlavičkou CISRO (Commonwealth Scientific and Industrial Research Organisation). Scyven umožňuje pracovať so súbormi typu ENVI, GeoTIFF a HSZ. Pri prvom spustení sa zobrazí úvodná obrazovka, na ktorej môžete nájsť:

  • Panel nástrojov – poskytuje rýchly prístup k možnostiam, ako je normalizácia osvetlenia a odrazivosti, identifikácia materiálov v scéne, výber z možných kvalifikátorov, PCA analýza a nastavenie.
  • Panel s komponentmi obrazu – tu nájdeme zoznam jednotlivých vlnových dĺžok, pre ktoré bol spektrálny obraz vyhotovený. Kliknutím na danú vlnovú dĺžku sa zobrazí sivotónny obraz pre zvolenú hodnotu, náhľad na obraz vo falošných farbách, nasvietenosť a odrazivosť v jednotlivých vlnových dĺžkach. K dispozícii je aj zobrazenie spektrálnej snímky, prípadne vrstvy znázorňujúce jednotlivé spektrálne skupiny.

Panel s charakteristikami

Analytický panel nástrojov

Spracovanie spektrálneho obrazu v Scyvene má svoju postupnosť, nakoľko najskôr sa vykonáva obnova modelu osvetlenia, následne obnova modelu odrazivosti a nakoniec nasledujú používateľské úkony. Tu môžeme využiť automatickú detekciu materiálu, ktorá na základe spektrálnej odlišnosti zvýrazní jednotlivé materiály nasnímané v obraze, alebo môžeme využiť jednu z ponúkaných klasifikačných metód, ako je Spectral Angle Mapper, Linear Spectral Unmixing alebo Support Vector Machine. Scyven vo svojich nastaveniach ponúka aj niekoľko možností spracovania v rámci pipeline, pričom na filtráciu možno použiť Wiener, stredný pohyblivý priemer alebo filter Savitzky Golay. Osvetlenie môžeme modelovať pomocou metód NICTA, Finlayson and Schaefer, Gray Edge, Gray World, Shade of Gray a White Patch. Ďalšie nastavenia sú na automatickú detekciu materiálu, kde vieme určiť množstvo rôznych typov materiálov, ktoré chceme vyhľadať; pri analýze hlavných komponentov vieme nastaviť, koľko skupín hlavných komponentov by malo byť určených. Užitočnou vlastnosťou Scyvenu je možnosť vytvárania knižníc spektrálnych charakteristík, ktoré môžeme jednoducho exportovať a importovať do nových spektrálnych snímok a tak testovať, či dané spektrálne informácie zodpovedajú predošlým meraniam.

Perception Studio

Je komerčný modulárny softvér od spoločnosti Perception Parks primárne určený na spracovanie multispektrálneho obrazu. Softvér sa používa výberom individuálnych spektrálnych charakteristík reprezentujúcich jednotlivé objekty [3], ako je vyobrazené na obr. 12.

Jednotlivé spektrálne charakteristiky sú vizualizované oblasťou a čiarou, ktorá predstavuje medián plochy tejto oblasti. Vybraním jednotlivých spektrálnych charakteristík môžeme klasifikovať objekty pomocou nami priradenej farby k danej spektrálnej charakteristike. Perception Studio poskytuje niekoľko metód na analyzovanie spektrálnej informácie:

  • Extract – reprezentuje analýzu hlavných komponentov,
  • Correlate – koreluje vybrané spektrá k analyzovanej snímke [5],
  • Constrain – používateľ vybranými spektrami špecifikuje hranice, pre ktoré má Perception Studio vypočítať model. Tento model je následne aplikovaný na celú scénu obrazu, kde sú spektrá zodpovedajúce hraniciam modelu klasifikované podľa farieb prislúchajúcich k jednotlivým hraniciam [5].

Na klasifikáciu slúži nastroj Cases, kde Perception Studio na základe podobnosti pridáva k zvoleným spektrálnym charakteristikám pixely do tried. Ak sa niektorý z pixelov nezhoduje so žiadnym vybraným spektrom, pridá tento pixel do neznámej triedy. Takto môže oddeliť známe a neznáme prvky v obraze [5].

Aby sa zvýšila informačná hodnota obrazu, softvér umožňuje predspracovanie cez prvú a druhú deriváciu v záložke. Na predspracovanie nájdeme aj normalizáciu spektrálnej informácie pre zvolený model klasifikácie.

Záver

Ponuka prostriedkov na spektrálne zobrazenie je dnes pestrá. My sme v článku ukázali niekoľko z nich. Multispektrálna kamera vo vyhotovení so senzorom s multispektrálnou mozaikou otvára celú škálu možností uplatnenia spektrálneho zobrazenia. Okrem toho, že takéto kamery majú rádovo väčšie spektrálne rozlíšenie, sú aj menšie, odolnejšie a je možná ich sériová výroba, čo vedie k nižšej cene. Tieto parametre posúvajú spektrálne zobrazenie do odvetví, kde by ich nasadenie nebolo vzhľadom na ich cenu a náročnosť prostredia, v akom operujú, možné. Ďalší výskum v spektrálnom zobrazení by sa mohol zamerať na analýzu snímaných dát (data mining), prípadne na spracovanie obrazu v reálnom čase.

Tento článok vznikol vďaka podpore projektov APVV-16-0006 a IZVAR, ktorý je realizovaný v rámci výzvy OPVaI-MH/DP/2017/1.2.2-12.

Literatúra

[1] xiSpec whitepaper, ver. 07, dostupné s kamerou Ximea.

[2] SpectronomPro Manual. [online]. 5.0. Resonon Inc. Október 2016. Citované 17. 8. 2017. Dostupné na: https://downloads.resonon.com/files/20/.

[3] Jonáš, D.: Multispectral camera and its usage in robotics. Bakalárska práca. Bratislava: STU FEI 2017. 82 s.

[4] Guolan, L. – Baowei, F.: Medical hyperspectral imaging: a review. [online]. In: Journal of Biomedical Optics. Dostupné na: http://dx.doi.org/10.1117/1.JBO.19.1.010901.

[5] Perception park wiki page. [online]. Dostupné na: https://wiki.perception-park.com.

Ing. Matúš Oravec
matus.oravec@stuba.sk

prof. Ing. František Duchoň, PhD.
frantisek.duchon@stuba.sk

Slovenská technická univerzita v Bratislave
Fakulta elektrotechniky a informatiky
Ústav robotiky a kybernetiky