Využívanie virtuálnej a rozšírenej reality je už realita

Vstúpiť do témy, o ktorej sa veľa hovorí, ale nikto ju poriadne ešte nezažil a neskúsil, je vždy výzva. S pokorou sme k tomu pristúpili aj v redakcii, aby sme poodhalili jeden z fenoménov dnešnej doby – virtuálnu, rozšírenú a zmiešanú (V/R/Z) realitu. V komerčnom sektore zažíva boom, ktorý mnohí odborníci očakávajú aj v priemyselnom prostredí. O možnostiach využitia V/R/Z reality v priemysle sme sa porozprávali s Ing. Marošom Mudrákom, vedúcim oddelenia špeciálnych aplikácií v spoločnosti MATADOR Automation, s. r. o.
Využívanie virtuálnej a rozšírenej reality je už realita

Skúsme najprv zadefinovať, čo si vlastne máme pod pojmami V/R/Z realita predstaviť. Aké sú medzi nimi rozdiely?

Virtuálna realita je svet, ktorý z hľadiska súvislostí priemyselných procesov a činností modelujeme. Najčastejšie sa v súčasnosti stretávame s 3D modelovaním, CAD modelovaním a pod. Pritom teda nemusí ísť len o trojrozmerné svety, ale pri modelovaní sa často pohybujeme aj v 2D priestore. Usporiadanie a rozmiestnenie liniek, procesov či technológií sa dnes najčastejšie deje stále v dvojrozmernom priestore podobne ako voľakedy za rysovacími doskami. Dnes však na to máme podstatne výkonnejšie počítačové systémy a aplikácie. Aj v 2D priestore teda môžeme hovoriť o virtuálnej realite, tvorbe modelov a simulovaní procesov.

Realita je trojrozmerná a očakával by som, že aj tá virtuálna bude trojrozmerná. Vy však hovoríte o dvojrozmernej virtuálnej realite. Ako tomu teda máme rozumieť?

Nemusí to byť len 3D priestor. Podstatné je, že tú virtuálnu reprezentáciu môžeme vnímať ako virtuálny obraz nejakého procesu. Keď napríklad ideme navrhovať logistický proces pre nejaký výrobok, často ešte nie sú k dispozícii trojrozmerné údaje potrebné na návrh celej koncepcie výroby a logistiky. Napriek tomu pri návrhu logistiky musíte aj bez týchto údajov vedieť opísať a definovať procesy, napr. že z bodu A do bodu B pôjde dopravník alebo AGV vozík po tejto trase a má na to X sekúnd. Keď sa napríklad navrhuje auto, najprv ho má dizajnér v hlave a nápad dá na papier v podobe skice – aj to už je nejaká virtuálna realita zhmotnená do 2D priestoru.

Ako možno definovať rozšírenú a zmiešanú realitu?

Rozšírená realita je zmiešaný svet reálny s virtuálnym. Napríklad cez inteligentný telefón sledujem svoje okolie a prostredníctvom nejakej softvérovej aplikácie do neho vkladám rôzne popisy, značky, objekty, tzv. tagy. Asi najkrajší príklad rozšírenej reality, aj keď nie je z priemyselného prostredia, je známa aplikácia Pokémon GO! Rozšírená realita má však jedno obmedzenie – popiera fyzikálne zákony. Napr. ak Pokémon stál na stole a stôl niekto zrazu odtiahol, Pokémon zostal na svojom mieste visieť „vo vzduchu“ a neklesol na zem. Rozšírená realita nerozpoznáva také zákonitosti. Zmiešaná realita naopak túto vlastnosť má a fyzikálne zákony rešpektuje. Zatiaľ najďalej v oblasti rozšírenej a zmiešanej reality pokročili spotrebiteľské aplikácie, ktoré predbiehajú tie priemyselné o niekoľko rokov. No len predbiehajú, čiže podľa mňa určite dorazia aj do priemyslu.

Kedy má pre výrobný podnik alebo inžiniersku spoločnosť zmysel uvažovať nad nasadením V/R/Z?

Doteraz asi najširšie uplatnenie má virtuálna realita. Využíva sa pri návrhu strojov, liniek, produktov alebo pri rôznych simuláciách. Čiže v tejto oblasti už nie je otázka, či sa to využíva, pretože využívanie virtuálnej reality je realita ˘. Rozšírená realita má v súčasnosti asi najväčšie uplatnenie v údržbe, zaškoľovaní ľudí alebo skladovom hospodárstve či logistike. V prípade časovo kritickej výroby je ideálny stav, ak údržba dokáže aj na neočakávané poruchy reagovať úplne prirodzene a navyše rýchlo. Rozšírená realita jej pri tom môže pomôcť. Navyše v prípade, keď treba zaškoliť pracovníkov na linku alebo technológiu, ktorú nemožno kedykoľvek odstaviť, a máme jej 3D reprezentáciu vo funkčnom modeli, vďaka zmiešanej realite dokážeme zaškolenie vykonať, ako keby pracovník robil s reálnou linkou.

Pristavme sa v oblasti údržby – tu predsa už existujú zabehnuté a overené systémy plánovanej, prediktívnej, proaktívnej údržby a pod. V čom sa teda líši od týchto systémov údržba využívajúca rozšírenú realitu?

Tým, že údržbára dokáže priamo na mieste zásahu inštruovať a podporovať vecami, ktoré štandardné systémy údržby v takom rozsahu a používateľsky prívetivým spôsobom nezvládajú. Cez inteligentný telefón alebo tablet zamierený na konkrétne miesto má údržbár k dispozícii množstvo kontextových informácií k danému zariadeniu. Tagy typu výmena ložiska o tri dni alebo kompletný postup výmeny konkrétnej súčasti daného zariadenia vo forme videa alebo postupnosti krokov, ktoré si tým nemusí vôbec pamätať. A hneď cez danú aplikáciu aj potvrdzuje vykonanie jednotlivých krokov. Navyše všetko možno prepojiť s rôznymi meraniami – vibrácií, teploty a pod. – a nad takto zozbieranými údajmi spúšťať neurónové alebo prediktívne algoritmy, ktoré budú vedieť vyhodnotiť z predchádzajúcich podobných stavov, čo a kedy možno očakávať, že sa s daným zariadením stane. Cieľom využitia rozšírenej či zmiešanej reality je teda naučiť ľudí reagovať na vzniknuté stavy a problémy. Druhým cieľom je, aby sme im ukázali pracovné postupy nastavovania, údržby, opravy, výmeny a pod. Nie je mysliteľné, aby jeden pracovník poznal zákonitosti elektrické, pneumatické, bezpečnostných zariadení a obvodov a pod. na takej úrovni, aby to všetko mohol zabezpečiť na najvyššej možnej úrovni a s najvyššou kvalitou.

To znamená, že technológie V/R/Z reality môžu byť riešením aj toho akútneho nedostatku odborníkov – špecialistov, ktorý v súčasnosti zažívame a ktorý sa asi bude len prehlbovať.

Určite áno. V najbližšej dobe bude podľa mňa postačovať na výkon bežnej, pravidelnej údržby aj pracovník so základnými znalosťami techniky, resp. konkrétnej technológie. Práve vďaka nástrojom rozšírenej a zmiešanej reality a znalostiam, ktoré budú koncentrované v digitálnej podobe a ktoré budú tieto aplikácie využívať, zvládnu títo pracovníci vykonať to, čo je teraz v kompetencii tých najskúsenejších údržbárov. V prípade závažnejších či neočakávaných porúch sa už teraz vybavujú top údržbári kamerovými systémami, rôznymi záznamovými zariadeniami, aby sa ich postupy zaznamenávali a analyzovali a aby sa vytvárali digitalizované znalostné systémy.

Uvedomujú si podniky nutnosť zaznamenávať a ukladať takýmto spôsobom znalosti svojich najlepších odborníkov, ktorí raz z podniku určite odídu?

V oblasti údržby zariadení sa v tomto smere deje stále veľmi málo. Guľa sa valí, vyrábame, tak sa s tým zatiaľ nejako vážnejšie nezaoberáme. Stav teda vôbec nezodpovedá tomu, aké prostriedky a technológie už dnes na to máme. Využívanie takýchto systémov však stále závisí od finančných možností podnikov a priorít, ktoré ich majitelia majú.

Aké hardvérové a softvérové nástroje sú pri využívaní V/R/Z reality potrebné?

Pokiaľ chceme vstúpiť do virtuálnej alebo rozšírenej reality, možno na to z hľadiska hardvéru využiť aj inteligentný telefón, ktorý možno pomocou súprav na upevnenie na hlavu použiť na zobrazenie virtuálnej reality. V softvérovom vybavení nastal v poslednom období veľký pokrok, najmä čo sa týka zabudovaných systémov. Často sa 3D údaje zo systémov CAD preberajú do softvérových aplikácií a ony samy si vytvoria z týchto vstupov obraz virtuálnej reality. Podľa mňa bude trendom to, že softvérové prostriedky pre virtuálnu realitu začnú dodávať so svojimi produktmi tvorcovia systémov CAD. Teda že vytváranie virtuálnej reality nepôjde cez nejaké konvertory tretích strán, ale stlačením jednej ikony sa 3D CAD údaje preklopia do virtuálnej reality. Aktuálne sme však v stave, že na vytvorenie virtuálneho sveta stále potrebujeme konvertory. Pred rokom som mal osobne možnosť testovať softvérovú aplikáciu na tvorbu virtuálnej reality, ktorá bola súčasťou produktu Tecnomatix Process Simulate od spoločnosti Siemens. K dispozícii boli ovládače na ovládanie robota v prostredí virtuálnej reality, dokázal som sa prechádzať v robotickej linke. Na veľtrhu automatica som sa v rámci návštevy stánku spoločnosti Siemens stretol s vývojármi, ktorí danú aplikáciu vytvárali. Pokročili ďalej v tom, že sa už dajú spraviť kompletné simulácie celej linky s možnosťou vyvolať programy, testy dosažiteľnosti, navrhnúť novú pozíciu robotov, tvoriť scenáre a pod. Ako som teda spomenul, tento prístup, keď sa dá jedným klikom prejsť do virtuálnej reality, má podľa mňa väčšiu perspektívu ako cez produkty tretích strán a konvertory s potrebou vytvárania virtuálnej reality a rôznych scenárov na novo. Šetrí to čas aj peniaze. Na druhej strane produkty tretích strán a ich riešenia sú oproti embeded systémom vo zvládnutí technológie v popredí. Zatiaľ sme na začiatku, v praxi sa to dá veľmi obmedzene použiť, ale je to jednoznačný smer. Nehovoriac o tom, že za chvíľu nám na vedúce pozície príde generácia Y a tá bude úplne stotožnená s takýmto prístupom a technológiami, čiže dá sa očakávať jednoznačných nástup týchto technológií do procesov návrhu a tvorby technologických riešení.

To sú trendy a smerovanie virtuálnej reality. No čo všetko treba na to, aby sme zmysluplne využili prostriedky rozšírenej a zmiešanej reality?

V prípade rozšírenej a zmiešanej reality ide o softvérové produkty a aplikácie šité na mieru. Dôležité je, aby jednotlivé pracovné pozície dostali tie informácie „rozširujúce realitu“, ktoré im budú na niečo platné. To sa dá zabezpečiť cez zafixovanie spúšťania a zobrazovania kontextových informácií v rozšírenej realite na RFID kľúč, QR kód, príp. snímaním GPS pozície tabletu alebo mobilného telefónu v rámci prevádzky, podniku a pod. Takéto aplikácie najčastejšie pripravuje tretia strana. Začína sa to demo ukážkami a predstavením toho, ako taký systém vlastne funguje. Následne sa vytvorí aplikácia pre konkrétnu prevádzku a buď sa o to stará samotný dodávateľ aplikácie, alebo predá celý systém danému podniku a po zaškolení sú interní pracovníci schopní sami aplikáciu udržiavať, príp. aj rozširovať.

Možno v reáli presne vytvoriť linku alebo pracovisko tak, ako boli navrhnuté v prostredí virtuálnej reality?

V praxi sa to stáva veľmi zriedka. Niečo bolo z nejakých dôvodov potrebné posunúť o pár centimetrov vedľa, kabeláž sa nezmestila tam, kde sme plánovali a pod. Všetky tieto veci treba zamerať a preniesť spätne do virtuálneho modelu. Tak získame presný a úplný obraz linky. Až vtedy totiž možno naplno využiť možnosti a prínosy virtuálnej reality, virtuálneho uvádzania do prevádzky a pod. Dnes sa už nestavia toľko nových závodov, technologických procesov, aby bolo potrebné vymýšľať ich úplne nanovo. Robia sa jednoducho kópie, integrácie. A bez presných modelov toho, čo už funguje, by sa muselo začínať so všetkým odznovu alebo s rovnakými odchýlkami. To je strata času aj peňazí. Preto treba zaznamenávať všetky zmeny do virtuálnych modelov.

Čo je vlastne vstupom do systémov vytvárajúcich V/R/Z realitu?

Záleží na tom, aký svet idete modelovať. Či ide o simuláciu reálneho sveta, do ktorého sa zakomponujú prvky virtuálnej, rozšírenej alebo zmiešanej reality, alebo naopak. Dnes sa už pri simulácii a vytváraní modelov nejakej linky alebo procesu nezaobídeme bez 3D vstupných údajov. Ak chceme napríklad odsimulovať doplnenie ešte nezakúpeného robota do našej existujúcej prevádzky, potrebujeme napr. v prvom kroku cez špeciálne skenery naskenovať priestor danej časti prevádzky a vytvoriť tzv. mračno bodov, čo bude samotný 3D digitálny model danej časti prevádzky. Do takéhoto modelu sa dá vo virtuálnom prostredí vložiť konkrétny robot a odsimulovať jeho možnosti a správanie. Inou možnosťou je nafotenie 3D fotografií a ich využitie v rámci simulácie.

Ako je to v prípade, keď mám napr. prázdnu halu a chcem si odsimulovať efektívne a optimálne rozloženie strojov, liniek, pracovísk a pod.? Čo sú v tomto prípade vstupné údaje?

Pokiaľ nemám reprezentácie toho, čo bude v prevádzke rozmiestnené, tak na simuláciu takéhoto prostredia slúžia tzv. dummy (z angl. maketa, fiktívna vec) modely, ktoré slúžia len na ilustráciu, aby sme si danú vec vedeli predstaviť. No aj tie v podstate vychádzajú z modelov strojov, liniek procesov, zariadení, ktoré boli už reálne zostavené, zostrojené. V ďalšej fáze, keď sa vyjasní, aké typy strojov a zariadení budú skutočne nasadené, sa potom tieto modely nahrádzajú reálnymi.

Čo je teda výstupom z modelu vytvoreného vo virtuálnej realite?

Keď do prostredia virtuálneho modelu vstúpime cez špeciálne okuliare, máme oblečené kinetické rukavice, príp. k dispozícii rôzne ručné ovládače, snímajú sa pohyby ramien a pod., tak výstupom z virtuálnej reality je poznatok, či montážnik dokáže vojsť pod robota a odpojiť nejaký kábel, či v nejakej pozícii dokáže naskrutkovať nejaký konektor. Inými slovami vieme odsimulovať dostupnosť rôznych zariadení a komponentov. Ďalšou oblasťou je simulácia z hľadiska ergonómie pracoviska. Veľmi dôležité sú takty. Či vôbec nami navrhnutý stroj alebo linka dokáže pracovať v danom takte a či v rámci neho dosiahne žiadaný výsledok. Ďalším výstupom je simulácia pracovných postupov, ktorú sme spomínali aj v súvislosti s rozšírenou a zmiešanou realitou. Na využitie nástrojov virtuálnej, rozšírenej či zmiešanej reality sa dá pozrieť z rôznych strán – z hľadiska návrhu produktu, údržby technológií, prevádzky zariadení, zaškolenia a trénovania pracovníkov na rôzne situácie a pod. Inými slovami v celom rozsahu životného cyklu produktu. A to som nespomenul ešte prínos aj pre obchodné a marketingové činnosti vo fáze získavania zákazníkov. Už spomínaná generácia Y bude takúto vec považovať za bežnú súčasť rozhodovacích procesov.

V ktorých oblastiach vidíte najširšie uplatnenie nástrojov a aplikácií V/R/Z reality v priemyselnom prostredí?

Mnohé z nich sme už spomenuli, ide najmä o návrhy produktov, plánovanie trajektórií robotov, návrh rozmiestnenia strojov, zariadení, technológií a tým celých prevádzok, pri výkone údržby, simulácii montáže, demontáže, pri servise a tiež pri obchodno-marketingových procesoch. Stretol som sa už aj s tým, že sa prostredie virtuálnej reality využilo pri FAT testoch či virtuálnom uvádzaní do prevádzky.

Aké sú technologické výzvy spojené s V/R/Z?

Čo sa týka virtuálnej reality, tak tam sme už na hranici možností. Dnes asi z toho vieme vyťažiť maximum, čo sa dá. Pri zmiešanej realite bude určite potrebné zlepšiť dodržiavanie fyzikálnych zákonitostí reálneho sveta. V rámci rozšírenej reality by sa mala zlepšiť najmä podpora týkajúca sa výroby. Napr. pri konkrétnom výrobku budú v rámci rozšírenej reality vyskakovať obsluhe tagy ako predpísaná drsnosť povrchu, farba podľa RAL a pod. Obmedzenia sa týkajú aj ľudského zdravia, keď pri používaní napr. špeciálnych okuliarov s premietanou virtuálnou realitou zaťažujete stredné ucho, čím dochádza často k porušeniu stability človeka, jeho rovnováhy. Príznakmi môžu byť aj bolesť hlavy či malátnosť. Už sa však pracuje na vyriešení aj týchto výziev.

Aké sú teda v konečnom dôsledku prínosy V/R/Z reality v priemyselnom prostredí?

Rýchlosť návrhov a projektovania, nižšia chybovosť návrhov, možnosť odskúšať niekoľko scenárov, časová a finančná úspora, zvýši sa celková efektívnosť a dostupnosť zariadení. A je toho viac. Z hľadiska prínosov rozšírenej reality sa výrazne zvýši kompetencia bežných pracovníkov, ktorí získajú prístup k know-how tých najlepších pracovníkov. Znížia sa nároky na oddelenia ľudských zdrojov, ktorí už nebudú musieť pri vyhľadávaní pracovníkov „loviť“ len medzi top špecialistami. Na rozpoznanie a vykonávanie úloh vo svojom prostredí budú tieto technológie prínosom aj v čoraz populárnejších mobilných robotických systémoch alebo autonómne navádzaných vozidlách. Tam sa už budeme baviť o rozšírenej virtualite.

Aká je návratnosť investícií a celkové náklady na vlastníctvo systémov V/R/Z reality?

V rámci virtuálnej reality a jej využitia pri návrhu a modelovaní liniek, strojov a prevádzok sa už o návratnosti investícií nedá pochybovať. Čo sa týka rozšírenej a zmiešanej reality tam sme stále na začiatku. Investuje sa veľa peňazí, aplikácií veľa nie je, preto je aj cena týchto riešení stále vysoká. Ale v krajinách ako Nemecko, USA, príp. časti Ázie je využívanie týchto technológií oveľa ďalej. Z hľadiska celkových nákladov na vlastníctvo je situácia identická ako pri iných IT systémoch – náklady sa nekončia nákupom HW a SW, treba investovať aj do jeho údržby, modernizácie a správy.

Zaujímajú sa o využitie V/R/Z reality výrobné podniky na Slovensku? V akých činnostiach a v ktorých priemyselných odvetviach sa systémy V/R/Z reality v súčasnosti na Slovensku využívajú?

Je to dané z veľkej časti financiami, ale už sú aj na Slovensku prvé lastovičky využívania týchto technológií najmä v automobilovom priemysle aj v projekčnej a inžinierskej činnosti. Aj menšie podniky a firmy by si mali uvedomiť prínosy, ktoré využitím V/R/Z môžu získať. Z rozšírenej reality môžu ťažiť aj firmy takmer zo všetkých priemyselných odvetví. Problémom bude ešte chvíľu aj odstup skôr narodených odborníkov od týchto nových technológií. Situácia sa zásadnejšie zmení asi len príchodom generácie Y.

Ako vidíte budúcnosť V/R/Z reality a možnosti jej využitia v priemyselnom prostredí?

Čas týchto technológií príde a naša generácia sa dožije ich masívneho využívania. A verím tomu, že tvorcovia týchto technológií zapoja aj naše ďalšie zmysly – hmat, čuch a… ale to už asi predbiehame a ideme aj mimo priemyslu. Potom si viem reálne predstaviť dovolenku vo virtuálnom rezorte pri virtuálnom mori, odkiaľ prídem skutočne opálený a budem ukazovať fotky z potápania s virtuálnymi žralokmi a drobnými jazvami na pravom predkolení embarassed.

Ďakujeme za rozhovor.