Augmented Reality: Fortiden og fremtiden

Augmented Reality (AR) er en ny teknologi som har potensiale til å endre måten vi samhandler med datamaskiner i hverdagen. Dette innlegget er ment som en generell innføring i Augmented Reality (AR), og kan være litt «techy», men du vil lære mye på kort tid. 

Fortiden

Cover "The Master Key"

«The Master Key»

Ideen rundt Augmented Reality dukket opp for mer enn 100 år siden. I boken «The Master Key» (1901) beskriver Frank Baum ett par briller: CharacterMarker. Brukeren ville se en bokstav for hver person i verden: en G for en Good person, en E for Evil person eller en W for Wise person.

Dette likner jo litt på en episode i TV-serien «Black Mirror», der hver enkelt person i verden, får en offentlig tilgjengelig rating.

Å vise informasjon som et «overlay»/lag over den ekte verden, er ett av de grunnleggende konseptene med Augmented Reality (AR).

Det første funksjonelle Augmented Reality (AR)-headsettet ble opprettet i 1965 av Ivan Sutherland. Brukeren ville her se en «datagenerert wireframe» av en blokk som vises i RL («real-life» – den virkelige verden). Den ble alltid prosjektert foran brukeren, cirka 1 meter unna, og det var egentlig ingenting du kunne gjøre med den.

Det var ikke før i 1992 at selve begrepet «Augmented Reality» dukket opp for første gang, når ansatte i Boeing utviklet et «Head Mounted Display», som kunne hjelpe fabrikkarbeidere å borre hull og plassere bolter i flymaskiner.

Augmented Reality på smarttelefoner

AR-apper til mobiltelefoner kom rett etter lanseringen av Android i 2008. Wikitude Augmented Reality var (og er fortsatt) en reiseguide som viser relevante reiseopplysninger tilknyttet stedet du er på.

«Layar» (nå en del av Blippar Group) var en Augmented Reality-nettleser. Du kunne her velge et lag/segment for å deretter kunne se opplysninger innenfor en kategori, og opplysningene var tilknyttet stedet du befant deg. Lagene ble utviklet og vedlikeholdt av tredjeparter, og kunne være gratis eller betalte.

Information Overlay

«Google Glass» gir brukerne tids- og stedsbasert informasjon. Opplysningene vises i et tradisjonelt 2D-grensesnitt, men dette er faktisk ikke egentlig skikkelig «Augmented Reality». Likevel, det å ha informasjon tilgjengelig ved hjelp av briller når du trenger det, vil være et viktig konsept i Augmented Realitys fremtidige utvikling.

Google glasses

Foto: «Google Glass»-brillene.

PokémonGo

Den mest kjente AR-appen så lagt er faktisk «PokémonGo». En viktig forskjell fra de andre eksemplene er at PokémonGo viser 3D-modeller fra den ekte verden, i stedet for kun å vise informasjon som en «overlay»/segment. Det illustrerte også et praktisk problem med Aaugmented Reality; Pokémon (altså monstre) flyttet eg bare et sted i rommet, du kunne altså  ikke komme nærmere, eller gå rundt.

Sagt på en annen måte, så vil altså Aaugmented Reality-apper kun oppdage orienteringen av telefonen, men ikke posisjonen i forhold til den ekte verden der ute.

3D-Matching og tracking

Det har vært mange forsøk på å løse problemet som beskrevet over med PokémonGo, men det er fremdeles en stor utfordring – og hver løsning har sine fordeler og ulemper. Vi går ikke nærmere inn på 3D-Matching og tracking i denne artikkelen.

AR-Toolkit

AR-Toolkit ble lansert i 1999, og benytter «markers» for å sette opp Augmented Reality. AR-Toolkit har lenge vært det meste brukte rammeverket innen Augmented Reality.

I 2015 prøvde SpareBank 1 seg på AR-Toolkit under et Hackathon, og det ble raskt klart at det var lett å se ulempene. Men det viste også hvordan det blir mulig med Augmented Reality å vise flere detaljer når du beveger deg nærmere visualiseringen med telefonen, se mer i denne filmen:

Vuforia

Vuforia er mer avansert enn AR-Toolkit, men også Vuforia trenger et bilde for å starte en Augmented Reality-sesjon. SpareBank 1 prøvde ut Vuforia under et Hackathon i 2016. Trackingen er bedre enn i eksemplet over. Under brukes et SpareBank 1-bankkort som en «marker» for å starte AR-opplevelsen.

Google Tango

I 2014 løste Google problemet med 3D-sporing på mobiltelefoner ved å legge til en dybdesensor i telefonen. Teknologien fungerer veldig bra og gir den beste AR-opplevelsen på telefon akkurat nå. Men problemet er at nesten ingen produsenter implementerer denne sensoren i sine telefoner, ikke engang Google selv. Sensoren er dyr, og den bruker for mye strøm.

Nåtid

Mixed Reality-briller

I 2015 overrasket Microsoft alle med sin Holo-lens. Vi så bilder av designere som tegnet i lufta og monstre som kom gjennom veggen. Microsoft kaller disse bildene «holographics», men de er egentlig en avart av «Augmented Reality». I videoene ser det bra ut: 3D-objekter vises i virkeligheten, og du kan samhandle med løsningen ved bruk av begge hendene – og alt ser veldig bra ut. Opplevelsen i virkeligheten er litt annerledes, glassene har et svært begrenset synsfelt, interaksjon med hender er svært begrenset og prosessoren er særdeles svak.

Smarttelefoner

Mye har skjedd i år med Augmented Reality på smarttelefoner. Googles Tango mislyktes på grunn av mangel på produsent og dermed brukeradopsjon. Apple derimot, har valgt en annen strategi og overrasket alle med AR- Kit. Denne gjorde stabil AR tilgjengelig for et stort marked (200.000.000 enheter).

Google annonserte AR-Core ikke lenge etter. AR-Core er i utgangspunktet Google Tango, men her harGoogle kommentert ut koden som gjelder dybdesensoren. Denne typen AR krever svært nøyaktig kalibrert sensorer. Apple har gjort dette i lang tid, men kun noen få «high-end» Android-telefoner har dette, så Apple sin vertikal strategi gir en fordel her.

Ulempen med begge rammeverker er at de bare gjenkjenner horisontale flater. Vegg og andre objekter blir ignorert, og skaper dermed noen urealistiske scenarioer der virtuelle objekter beveger seg feilfritt gjennom vegger og møbler. Dette kan trolig bli løst gjennom programvareoppdateringer.

AR-Cloud

For å kunne lage nyttige AR-applikasjoner er det viktig at applikasjonen kan gjenkjenne objekter rundt seg. Da blir det mulig å vise informasjon og opplevelser som er knyttet til miljøet som brukeren befinner seg i. I tillegg trenger du objektgjenkjenning for å kunne ha mer nøyaktige posisjonering, og slik at du kan dele en AR-opplevelse på et gitt sted.

Mange «start-ups» og tech-giganter er nå i et løp for å løse denne problemstillingen, og de kaller det ofte «the AR-Cloud».

Fremtiden

AR-briller er trolig det neste skritt etter smarttelefoner til den “digitale frigjøringen”.

Forutsatt at det er ønskelig å ha enkel tilgang til den digitale verden, kan vi sette det i perspektiv på denne måten:

  • PC`er er stasjonære, du må gå til dem og sette deg ned for å bruke devicene.
  • Bærbare datamaskiner er mobile, men du må fremdeles sette dem et sted for å bruke dem komfortabelt.
  • Smarttelefoner kan brukes hvor som helst, men du trenger fortsatt å få dem ut av lommen og bytte kontekst (f.eks fokus på skjermen / zombie-out)
  • AR-brillene kan brukes kontinuerlig, hvor som helst og vil blande seg med den virkelige verden slik at det blir mindre «context-switching».

Magic Leap har akkurat annonsert sitt første produkt: «Magic Leap One», Microsoft har «Hololens» og Windows har «Mixed Reality», og det er allerede nå nok indikasjoner til å anta at Apple også er i gang med en slags AR-brille.

Sensorisk Design

Denne nye typen databehandling vil komme med nye designutfordringer og -muligheter. AR-briller skal blande den ekte og digitale verden, og interaksjon skal være med på den reisen. Det blir mulig å påvirke digitale objekter med hendene dine som om de er ekte objekter – og det vil være mulig å føle tekstur. Dette er “Sensory Design”, en ny type design som vil gå hånd i hånd med Augmented Reality og Virtual Reality, og lover å gi brukerne rikere opplevelser ved å påvirke flere sanser samtidig.