Projekt Augmented reality s využitím Google Cardboard

Členové projektu

Markéta Bláhová, Studia nových médií, e-mail: blahova.market@gmail.com

František Sion, Studia nových médií, e-mail: frantisek.sion@gmail.com

Lukáš Vávra, Studia nových médií, e-mail: vavraluky@gmail.com

Motivace vzniku projektu a jeho význam

Google Cardboard je opensource projekt, kterým v roce 2014 udělal kalifornský gigant veliký rozruch v doposud pomalu se rozvíjejících vodách virtuální reality. Cardboard brýle jsou vyrobeny z kartonu a dvou polykarbonátových čoček (případně suchého zipu pro fixaci čela brýlí) a dvou magnetů pro ovládání. Díky tomu nabízí jednoduché řešení pro užití virtuální reality i pro širokou veřejnost. Genialita celého konceptu spočívá také ve velmi nízké ceně, a tedy dostupnosti produktu. Do brýlí stačí pouze vložit jakýkoli vetší chytrý telefon, který slouží jako zobrazovač a výpočetní jednotka brýlí zároveň.

Přes původní úmysly vytvořit imerzivní prohlídku virtuálního muzea, vybraných míst hlavního města či prostoru Paralelní polis, jsme se dostali k nápadu využít komunitního fenoménu na oboru Studia Nových Médií „Josef on Things“. Projekt měl umožnit virtuálně promítnout ležícího Josefa prakticky na jakoukoli plochu, na kterou bychom umístili klíčovací podložku. V počáteční fázi vývoje produktu jsme však došli ke zjištění, že bychom z časových důvodů nebyli schopni dokončit původní nápad, a proto jsme byli nuceni návrh projektu pozměnit a mírně zjednodušit.

Díky tomu, že jsme měli k dispozici dva kusy brýlí, rozhodli jsme se vytvořit dvě rozdílné instalace, přičemž první byla mezikrokem k vytvoření druhé, složitější.

První z instalací vznikla při procesu klíčování objektu původního konceptu. Mělo se jednat pouze o test funkčnosti projekce objektu ve virtuální realitě. Nejprve jsme skenovali objekt (viz obrázek č. 5), který jsme následně naklíčovali na klíčovací podložku. Při uživatelském testování se dvěma klíčovacími podložkami jsme našli gamifikační prvek, který jsme se rozhodli využít a použít produkt jako součást naší instalace. Vytvořili jsme tím interaktivní virtuální realitu, ve které měli uživatelé za úkol chytit krychli. Protože objekt existoval pouze ve virtuálním světě, vždy, když uživatel krychli „chytil”, objevila se díky zakrytí klíčovací podložky rukou na vedlejší klíčovací podložce tak, jak je vidět ve videu. Technický popis vývoje je k nalezení níže.

Druhá instalace potom poskytovala účastníkům možnost prohlédnout si ve virtuální realitě modely dvou účastníků workshopu, které byly pořízeny pomocí 3D Scanneru Kinect a následně naklíčovány do naší virtuální reality. Díky trojrozměrnosti modelu (viz obrázek č. 21) jsme mohli umístit model do prostoru a jeho obcházením potom vytvořit iluzi přítomnosti v prostoru. Princip je vidět na fotografiích (viz obrázek č. 23).

Použitý materiál a software

Hardware

• 3 klíčovací papírové podložky
• 2 výkonné smartphony s OS Android a vysokým rozišením (Samsung Galaxy Note 3 - Full HD a LG G3 - qHD)
• 2 kusy brýlí Google Cardboard, které je možné zakoupit či si je vyrobit
• Kinect 3D Scanner
• 2 figuranti pro 3D model

Software

• Engine Unity
• Knihovna Qualcomm Vuforia
• Android Studio

Popis vývoje a konečné verze vlastního produktu

Koncept

1) Vytvoření virtuální reality s gamifikačním prvkem chytání kostky

2) Vytvoření virtuální projekce dvou účastníků workshopu

Implementace

1. Po instalaci výše uvedeného softwaru je třeba importovat package Vuforia do nového projektu v Unity.

2. Ve vytvořené scéně smažeme defaultní kameru “Main Camera” a vložíme objekt “ARCamera”. “ARCamera” dvakrát zkopírujeme a nové dva prvky pojmenujeme jako levou a pravou kameru. Ty pak v hierarchii objektu nastavíme jako děti objektu “ARCamera”. Objekt “ARCamera” je třeba odoznačit v zaškrtávacím políčku v seznamu objektů ve scéně. Kamerám je pak třeba nastavit následující parametry:

	X	Y	Z	H	Depth
Levá kamera	0	0	0,5	1	-1
Pravá kamera	0,5	0	0,5	1	1

3. Do scény vložíme objekt “ImageTarget”. Ten bude sloužit jako cíl na kterém aplikace rozeznává klíčovací podklad. Na kartě Image Target Behaviour vybereme odpovídající Data Set a v něm obsažený Image Target (v našem případě jsme použili defaultní, při vytváření vlastní podložky je třeba vysoce kontrastního pozadí s neopakujícími se vzory).

4. Pomocí Kinect 3D Scanneru naskenujeme objekty, které chceme zobrazovat ve virtuální podobě. Ve formátu *.obj je importujeme do Unity a v hierarchii objektů je nastavíme jako dítě objektu “ImageTarget”.

5. Scénu upravíme tak, aby “ARCamera” zabírala “ImageTarget” ze vzdálenosti, v níž bude podložka přiměřeně umístěna a vycentrována v záběru kamery. 3D model přesuneme mezi podložku a kameru do polohy, jež chceme, aby zaujímal v augmentovaném pohledu.

6. Na vývojářském portálu Vuforia je třeba vygenerovat klíč pro podpis aplikace a vložit ho v Unity k objektu “ARCamera” do pole App License Key na kartě VuforiaBehavior.

7. Aplikaci zkompilujeme pomocí menu File > Build Settings…

8. Aplikaci zkopírujeme na cílové zařízení, nainstalujeme a spustíme.

Finální produkt

V prostorách Paralelní polis jsme vytvořili instalaci (viz obrázek č. 25) pomocí kartonových bloků, na jejichž horní plochu jsme umístili klíčovací podložky, Cardboardy se smartphony a vše jsme doplnili popisky. Na začátku naší expozice jsme projekt přítomným krátce představili, popsali postup a podali instrukce k jednotlivým stanovištím. Diváci poté přistupovali jednotlivě a prohlíželi si, obě stanoviště.

Jak již bylo zmíněno výše, jednalo se o dvě instalace. Na prvním stanovišti (viz obrázek č. 27) si mohli účastníci vyzkoušet „chytit” objekt, konkrétně krychli, který existuje pouze ve virtuální realitě, a proto je nepolapitelný. Instalace díky tomu byla interaktivní a pro diváky atraktivní.

Druhou instalací (viz obrázek č. 28) pak byla virtuální realita, ve které se zobrazovaly 3D modely dvou účastníků workshopu, které byly pořízeny pomocí 3D Kinect scanneru a díky naší aplikaci zobrazovány na klíčovací podložce. Trojrozměrný model umožňoval celou instalaci obejít dokola a prohlédnout si tak osoby ve virtuální reality ze všech stran.

Zhodnocení

Workshop nám poskytl možnost samostatně pracovat na novomediální instalaci pod dohledem zkušených lektorů. Během práce na projektu jsme prošli více fázemi práce ve skupině – od brainstormování nápadu přes realizaci až po samotnou prezentaci výstupu ostatním skupinám. Zpětná vazba ve formě ocenění naší práce v průběhu vývoje nám dodala motivaci k realizaci obou částí instalace. Přínosná pro nás byla také interakce s jinými skupinami a sledování práce na jejich projektech, která nám pomohla rozšířit obzory novomediálních instalací a jejich realizace v praxi.

Fotodokumentace

• 

  Příprava na projekt

• 

  Příprava na projekt

• 

  Vymýšlení konceptu

• 

  Vymýšlení konceptu

• 

  Skenování testovacího objektu (obrázek č. 5)

• 

  Skenování testovacího objektu

• 

  Skenování testovacího objektu

• 

  Skenování testovacího objektu

• 

  Skenování testovacího objektu

• 

  Modelování objektu

• 

  Zkoumání možností technického řešení

• 

  Testovací aplikace

• 

  Testování prvního produktu

• 

  Chyť krychli testování

• 

  Chyť krychli testování aplikace

• 

  Model 1 Karel virtuální dvojice

• 

  Model 2 Jakub virtuální dvojice

• 

  Virtuální dvojice klíčování objektů

• 

  Virtuální dvojice klíčování objektů

• 

  Virtuální dvojice testování aplikce

• 

  Virtuální dvojice testování aplikace (obrázek č. 21)

• 

  Virtuální dvojice testování aplikace

• 

  Virtuální dvojice testování aplikace (obrázek č. 23)

• 

  Virtuální dvojice testování aplikace

• 

  Finální instalace (obrázek č. 25)

• 

  Finální instalace

• 

  Nepolapitelná kostka finalní instalace (obrázek č. 27)

• 

  Virtuální dvojice finální instalace (obrázek č. 28)

• 

  Představení projektu

• 

  Prohlížení instalace diváky

• 

  Prohlížení instalace diváky

• 

  Prohlížení instalace diváky

• 

  Prohlížení instalace diváky

• 

  Prohlížení instalace diváky