Chytré zariadenia v priemysle (4)

Technológia zmiešanej reality a jej praktické využitie.
Chytré zariadenia v priemysle (4)

Virtuálna a zmiešaná realita predstavujú dva príbuzné koncepty, ktorých masívny nárast sa očakáva najbližších 5 – 10 rokov. Napriek tomu, že sa tieto dve slová skloňujú predovšetkým vo vzťahu so zábavným priemyslom, ich potenciál v praxi je ďaleko väčší a dosiaľ nedocenený. Zmiešaná realita je v praxi notoricky známa z head-up displejov v automobiloch, resp. už dávnejšie z bojových lietadiel, zatiaľ čo virtuálna realita z predstavenia stavebných objektov (napr. diaľnic, domov, budov, mostov) s ich okolím.

Na rozdiel od virtuálnej reality ponúka zmiešaná realita niekoľko kľúčových odlišností, ktoré ju stavajú do polohy technológie lepšie využiteľnej v priemysle a hospodárskej praxi. Patria medzi ne najmä zachovanie priestoru z reálneho sveta, minimálne ovplyvňovanie ľudských vnemov a orientácie a relatívne nízka invazívnosť do pohodlia používateľa [2].

Zmiešaná realita v priemyselných činnostiach

Ako sme už spomenuli v predošlom článku série, zmiešaná realita si našla svoje miesto v priemysle pomerne rýchlo vďaka užitočným nástrojom na zlepšenie bezpečnosti zamestnancov, všeobecného prehľadu o stave zariadení a informovanosti o alarmoch a krízových situáciách v reálnom čase. Počiatky jej využitia v samotnom priemysle siahajú až do 90. rokov [1], keď bolo v spoločnosti Boeing navrhnuté riešenie na orientačne stabilizované zobrazovanie montážneho postupu a diagramov priamo na súčiastkach pomocou zariadenia HMD (Head Mounted Display). Týmto pilotným návrhom sa začal postupný rozvoj riešení na vizuálnu asistenciu pri manuálnej montáži.

Napriek tomu, že je dnes veľká časť montáže automatizovaná, existujú samozrejme aj také etapy výrobného procesu, ktoré sa vykonávajú manuálne. V tomto ohľade môže zmiešaná realita pomôcť pri zaúčaní a školení montážnych pracovníkov, pri návrhu montážneho postupu a jeho simulácii alebo pri poskytovaní dodatočných informácií o montážnom postupe (montážna navigácia).

V tejto oblasti je typická trojaká perspektíva [6]:

  1. Premietanie 2D obsahu v 3D priestore – využiteľné pri pracovných postupoch, schémach a nákresoch a jednoduchom používateľskom rozhraní.
  2. Vrstvenie 3D obsahu v 3D priestore – využiteľné pri pracovných postupoch, školeniach a zobrazovaní nasledujúceho kroku montáže.
  3. Premietanie symbolov v 3D priestore – využiteľné na jednoduché vedenie pri montáži, školení a zobrazovaní nasledujúceho kroku montáže.

Identické možnosti využitia má zmiešaná realita aj v oblasti údržby strojov a zariadení. Typické je zobrazovanie informácií a stavu jednotlivých servisovateľných častí a súčiastok, vedenie servisného technika procesom na výmenu alebo opravu, resp. zobrazovanie senzorických údajov súčiastky alebo systému.

Ďalšou a veľmi dôležitou aplikačnou oblasťou je kontrola kvality, kde možno zobrazovať:

  1. Priesvitný 3D model súčiastky na reálnej súčiastke – vizuálna kontrola identickosti výrobku s návrhom [8].
  2. Priesvitný 3D model s výsledkami testov FEA – vizuálna kontrola identickosti výrobku s návrhom z pohľadu jeho očakávanej zaťažiteľnosti.
  3. Informácie o výsledkoch testov kvality – predovšetkým výsledkov priemyselnej rádiografie alebo ultrazvuku pri hľadaní kavity v odliatkoch alebo zvaroch, testov kvality s binárnym výsledkom alebo číselnými hodnotami v intervaloch a podobne.

Jednou z oblastí, do ktorých zatiaľ zmiešaná realita priamo nezasahuje, je kontrola kvality pomocou teleoperácie. Práve v tejto úlohe môže byť v budúcnosti použitá tak, že kontrolór bude ovládať rameno robota s inšpekčnou sondou (senzorom) zo svojej kancelárie nad 3D modelom – skenom reálnej súčiastky spoza stola, zatiaľ čo súčiastka bude v skutočnosti na dopravníku vo výrobe.

Súčasné technologické možnosti implementácie zmiešanej reality

Výnimočné možnosti využitia zmiešanej reality prinášajú každodenné inovácie v oblasti hardvéru aj softvéru podporujúceho túto technológiu. Napriek snahám aj množstvu úspešných testov v priemysle a hospodárstve sú však v súčasnosti len v základoch. Hardvér pre zmiešanú realitu možno z pohľadu technológie zobrazovania rozdeliť do troch skupín:

  1. Priame zobrazovanie na priesvitnom displeji OLED – riešenia využívajúce túto technológiu sú stále vo vývoji, pričom existuje niekoľko pilotných komerčných výrobkov. Prvým široko etablovaným zariadením boli okuliare Google Glass vyrobené spoločnosťou Foxconn. Medzi dosiaľ najvyspelejšie patria okuliare Microsoft Hololens.
  2. Premietanie obrazu na plastovú (zvyčajne akrylátovú) reflexnú semitransparentnú plochu pomocou mikroprojektora – riešenia tohto druhu sú lacnou alternatívou, ktorá však ponúka len 2D obraz v priestore. Najčastejšie využitie je v head-up displejoch v automobiloch alebo pri premietaní obsahu obrazovky počítača v priestore.
  3. Miešanie obrazu z kamery mobilného zariadenia s virtuálnym obsahom patrí medzi najbežnejšie spôsoby implementácie zmiešanej reality. Prakticky možno využiť akýkoľvek smartfón alebo tablet s kamerou, resp. počítač s webkamerou. Tento prístup je aktuálne odporúčaný aj na priemyselné využitie z dôvodu jeho minimálnej invazívnosti, relatívne vysokej presnosti a nízkej obstarávacej ceny.

Pri vývoji vlastného riešenia pre zmiešanú realitu treba v prípadoch 1 a 3 riešiť dva základné problémy:

  1. Umiestnenie objektu – zväčša sa rieši spracovaním obrazu z kamery a umiestnením objektu buď na vopred špecifikovanú značku (tzv. marker), rovnú plochu pomocou algoritmov detekcie roviny, alebo na objekt pomocou metód mapovania priestoru.
  2. Sledovanie objektu – pri pohybe musí virtuálny objekt „ostať na svojom mieste“, t. j. musí byť rotovaný, škálovaný a posúvaný v závislosti od uhla pohľadu alebo miesta, kde sa nachádza kamera (resp. zdroj videnia). Tento problém sa tradične rieši pomocou senzorov polohy, pohybu a orientácie, resp. v prípade vybraných zariadení meračmi vzdialenosti alebo stereoskopickými kamerami.

Praktická a komerčná využiteľnosť nových zariadení pre zmiešanú realitu do značnej miery ovplyvňuje aj softvérová podpora vývoja aplikácií. Medzi najznámejšie komerčné riešenia patria:

  • Vuforia SDK – umožňuje trénovať vlastné značky v podobe 2D nákresov, kódov EAN a QR alebo 3D značky v podobe 3D modelov.
  • Wikitude – umožňuje vytvoriť vlastnú databázu značiek vrátane obrázkových. Ponúka tiež možnosť umiestnenia objektov podľa GPS polohy.

Bezplatné knižnice na implementáciu zmiešanej reality poskytujú väčšinou len základné funkcionality, najmä preto, že sú vyvíjané v podobe komunitných projektov. V poslednej dobe pribudlo aj niekoľko otvorených vývojových platforiem od svetových výrobcov mobilného softvéru určených pre smartfóny a tablety. Patria medzi ne napr.:

  • ARToolkit – bezplatný a otvorený súbor knižníc určený na vývoj aplikácií zmiešanej reality založenej na značkách. Vydáva sa pod licenciou LGPL 3.0. Je dostupný pre všetky hlavné platformy (web, Android, iOS, Windows, Linux, Mac). Vo vývojárskej komunite sa využíva ako etalón pre rôzne iné platformy a jazyky.
  • Google ARCore – je voľne dostupný otvorený súbor knižníc určený na vývoj aplikácií zmiešanej reality bez použitia značiek. Vo februári 2018 bol oficiálne uvoľnený pre vybrané smartfóny. Primárne je určený pre smartfóny s operačným systémom Android. Vývoj však možno realizovať aj pre iné platformy kompiláciou v prostredí Unity a Unreal Engine.
  • Apple ARKit – je voľne dostupná knižnica určená na vývoj aplikácií zmiešanej reality pre platformu s operačným systémom iOS.

Záver

Napriek širokým možnostiam využitia môžeme konštatovať, že až v posledných rokoch nabrali aplikácie zmiešanej reality komerčný rozmer a v budúcnosti sa predpokladá rozmach tejto oblasti. Početné aplikácie určené najmä pre zábavu sú v súčasnosti predzvesťou toho, čo môžeme očakávať v najbližších rokoch v priemysle aj iných oblastiach. V tomto článku sme preto zhrnuli aktuálne aj potenciálne možnosti využitia zmiešanej reality v priemysle, uviedli sme súčasné technologické možnosti jej implementácie a zároveň sme naznačili miesta, ktoré budú pre jej úspech v budúcnosti kritické.

Zdroje

[1] Caudell, T. P. – Mizell, D. W.: Augmented reality: An application of heads-up display technology to manual manufacturing process. In: Proceedings on 25th Hawaii international conference on presence: teleoperators and virtual environments 1992. pp. 659 – 669.

[2] Fink, C.: Five rules for doing AR right. In: Forbes 2018. Dostupné na: https://www.forbes.com/sites/charliefink/2018/02/15/five-rules-for-doing-ar-right/#6560dd115e7e.

[3] Wright, I.: What can augmented reality do for manufacturing? In: engineering.com, May 2017. Dostupné na: https://www.engineering.com/AdvancedManufacturing/ArticleID/14904/ What-Can-Augmented-Reality-Do-for-Manufacturing.aspx?e_src=relart.

[4] Barfield, W. (Ed.): Fundamentals of Wearable computers and Augmented Reality. Second edition. CRC Press 2015. ISBN 9781482243512.

[5] Ma, D. – Gausemeier, J. – Fan, X. – Grafe, M.: Virtual reality & augmented reality in Industry. Springer 2012. ISBN 9783642173769.

[6] Aromaa, S. – Aaltonen, I. – Kaasinen, E. – Elo, J. – Parkkinen, I.: Use of wearable and augmented reality technologies in industrial maintenance work. bolo by dobré doplniť bibliografický údaj

[7] Kopin Corporation: Innovations. [online]. Dostupné na: http://www.kopin.com/about/ innovations/default.aspx.

[8] Nolle, S. – Klinker, G.: Augmented reality as a comparison ool in automotive industry. In: Proceedings of the 5th IEEE and ACM international symposium on mixed and augmented reality 2006. pp. 249 – 250. ISBN 1-4244-0650-1.

Poďakovanie

Táto séria článkov vznikla vďaka realizácii projektov podporených Kultúrno-edukačnou grantovou agentúrou Ministerstva školstva, vedy, výskumu a športu a Slovenskej akadémie vied pod číslom 05TUKE-4/2017 a Agentúrou na podporu výskumu a vývoja na základe zmluvy č. APVV-16-0213.

Ing. Pavol Šatala
pavol.satala@tuke.sk

Ing. Vladimír Gašpar, PhD.
vladimir.gaspar@tuke.sk

doc. Ing. Peter Butka, PhD.
peter.butka@tuke.sk

Technická Univerzita v Košiciach
Fakulta elektrotechniky a informatiky
Katedra kybernetiky a umelej inteligencie – Oddelenie hospodárskej informatiky
Laboratórium chytrých technológií
Vysokoškolská 4, 042 00 Košice
http://kkui.fei.tuke.sk/chi/smart