Teknologisk haptikk

Lær hvordan haptisk teknologi går lenger enn hørsel og syn for å gi oss direktekontakt

med den virtuelle virkeligheten.

Tenk om du kunne utforske fjerne land og berøre dyr og planter rundt deg med fingertuppene? Eller føle buldringen helt alene om bord i et romfartøy på vei gjennom asteriodebeltet? Hvordan ville det føles å score vinnermålet i århundrets største fotballkamp, og faktisk kjenne hvordan det er å sette ballen i nettet? Velkommen til haptikk-teknologiens verden.

Haptikk stammer fra det greske ordet haptesthai, som betyr «å berøre», og det brukes til å beskrive alt som relateres til berøringssansen. På samme måte er ordet optikk koblet til synssansen vår. Haptikk-teknologi handler dermed om å skape opplevelser og grensesnitt der du kan delta i et samspill ved hjelp av berøring.

Når du har berørt dem, banket på dem eller holdt dem, kan disse grensesnittene gi deg en fysisk opplevelse i retur. Dette kalles ofte haptisk tilbakemelding eller trykktilbakemelding. Denne haptiske tilbakemeldingen kan føles som alt fra en vibrasjon når du dulter borti noe i et virtuelt realityspill, til å gjøre klar en sprøyte og føle huden til en person hvis du utdanner deg til lege. Haptikk-teknologi handler i bunn og grunn om å få noe som ikke er virkelig, til å føles virkelig.

Hittil har du kunnet føle trykk når du spiller dataspill eller deltar i en virtuell virkelighet i en

«Det er mye vanskeligere å lage haptiske opplevelser

som sikter mot å gjenskape

berøring»

fornøyelsespark eller spillehall, f.eks. i en flysimulator. Men du har helt sikkert opplevd trykktilbakemelding også i mindre skala. Hjem-knappen på den nyeste iPhonen vibrerer når du trykker den inn med fingeren. Teknologien finnes på mange fjernkontroller til spill, og selv den lille vibrasjonen som treningsklokka avgir når du har nådd skrittmålet, er eksempler på haptikkteknologi i daglig bruk. De skaper et trykk når du enten når et mål eller samspiller med dingsene dine på en eller annen måte.

Takket være teknologiske framskritt vil denne typen trykktilbakemelding ikke bare være noe dyrt og utilgjengelig, eller bare være små vibrasjoner i lommen din. Det har vist seg å være nyttig, det fungerer intuitivt, og det påvirker alle deler av livet vårt, fra underholdning hjemme i stua til opplæring på sykehusene.

De erfaringene vi har med teknologi, er for det meste gjennom syn og hørsel, f.eks. når vi ser en film, spiller på en app eller opplever en virtuell virkelighet gjennom et sett høretelefoner. Haptiske opplevelser som sikter mot å gjenskape følelsen av berøring gjennom trykk, vibrasjon eller temperatur, er det mye vanskeligere å lage.

Det første vi må tenke på, er at haptiske systemer er tosidig rettet. Det innebærer at du ikke bare føler det som skjer, men når du berører noe, vil du også påvirke det. Når du bare ser eller hører noe, kan du ikke påvirke det, og derfor er det enklere og billigere å lage skjermer og opplevelser du kun ser og hører. Du trenger ikke å tenke på påvirkningen andre vil ha på det du har laget, og det kan også oppleves på avstand.

Flere og flere teknologiselskaper har skjønt hvor viktig det er å tilføye haptisk tilbakemelding på alt fra opplæringssimulatorer til spill. Det er fordi vi ser og hører mye som ikke er virkelig, f.eks. en film om dinosaurer eller et musikkspor som høres ut som bølger. Vi er raske til å stenge av skepsisen og tenke oss at vi faktisk vandrer med dinosaurer eller sitter ved havet. Men det er vanskeligere å lure berøringssansen og fordype seg i en virtuell verden gjennom berøring. Derfor er det vanskelig for teknologiselskapene å skape realistiske, haptiske opplevelser uten avansert og dyr teknologi. Det er også derfor haptiske opplevelser kan åpne opp uante muligheter, for hvis du lykkes, er dette den mest overbevisende sansen.

Noen forskere mener at kroppen leser berøringsinformasjon 20 ganger raskere enn informasjon fra synet. Hvis du betjener maskiner via en skjerm og du bare ser det som skjer uten å føle det, kan du gå glipp av ting. Hvis du i tillegg kan føle det, reagerer du mye raskere. Det samme gjelder spill, læring av ferdigheter og alle typer problemløsing.

I tillegg tror man at berøring er en av de mest effektive kanalene for sosial kommunikasjon. Hvis selskapene er ivrige etter å utvikle verktøy for sosiale medier med VR-teknologi, som f.eks. Facebook, vil berøringsteknologi i tillegg gjøre dem mye mer effektive.

Det er mange ulike måter å lage haptikkskjermer på, men de fleste har to typer taster: sensorer og betjeningsmekanismer. Sensorene er den teknologien som kan føle den haptiske

«Haptiske opplevelser åpner for

mange muligheter. Hvis man gjør

det riktig, er det den mest

overbevisende følelsenn»

informasjonen som en person bruker. Et eksempel er når du skyver opp en dør i et VR-spill, og hånden er i en spesiallaget haptisk hanske. Sensorene leser denne informasjonen og sender den videre til den haptiske gjennomføringsmodulen.

Betjeningsmekanismen leser så disse haptiske dataene og omgjør dem til en form vi kan oppfatte, enten som et trykk eller en vibrasjon. Akkurat som når du føler motstand i hanskene fordi døren i spillet er tung og vanskelig å åpne. Uansett hvilken form det har, kan det leveres på mange ulike måter. Noen av de vanligste måtene som vi er vant med, er som vibrasjoner gjennom skjermer og taster. I spill kan du også føle kraften gjennom en stylus, joystick eller hanske. Siden vi kan føle berøring over hele kroppen, er det uante muligheter for teknologiselskaper som vil skape mer innovative måter å formidle dette på.

Ett eksempel er den haptiske kroppsdrakten. I flere tiår har selskapene jobbet med måter å skape en helhetlig tilbakemeldingsopplevelse som gjør at VR og spill føles mer ekte. Tenk deg følelsen på rygg og skuldre når du surfer på bølgene, i stedet for bare en vibrasjon i hånden, eller at du kjenner et napp på leggen når du bruker et VR-headset for kampsport og motstanderen akkurat ga deg et skikkelig spark.

Mange kommersielle selskaper har laget ulike drakter gjennom årene, f.eks. Teslasuit, som kan gi trykktilbakemelding til 46 haptiske punkter over hele kroppen. AxonVR er et annet teknologiselskap som har kombinert en liknende drakt med en robotarm i det som kalles HaptX Skeleton.

Teknologien blir mer avansert og mindre i størrelse, i tillegg til at VR-headset blir mer og mer vanlig. Slike drakter og eksoskjeletter er nå på et nivå der de kan snappes opp av vanlige forbrukere. I framtiden forventer vi at denne typen opplevelser blir helt vanlig, og drakter for hele kroppen blir mer effektive og avanserte til en forhåpentlig overkommelig pris.

Lenger inn i framtiden vil du kanskje ikke trenge en fysisk styringsenhet eller drakt for å få fornemmelse av berøring. Disney har utforsket måter å gjenskape berøring på som ikke trenger programvare, og som kan føles med bare hendene. Selskapets AIREAL-apparat bruker luftvirvler som lager former og gjenstander som du kan føle i luften. Det vil være nyttig for både VR-verdener og for attraksjoner i temaparker og i underholdningsindustrien.

Et selskap kalt Ultrahaptics bruker ultralydteknologi til å projisere fornemmelser direkte på hånden. Selv om slik teknologi er helt ny, er det fristende for både teknologinerder og store selskaper å kunne fjerne behovet for ekstra

«Når vi kombinerer VR og haptisk teknologi,

kan vi lære nye ting i

trygge omgivelser»

maskinvare. Utfordringen nå blir å sette sammen denne teknologien slik at vi faktisk kan bruke den utenfor et forskningslaboratorium.

Det er enkelt å se hvordan haptisk tilbakemelding kan brukes til å lage VR-headset for alle, og få det til å føles enda mer engasjerende og tilføre ekstra realisme til spillingen. Det er også mange måter man kan bruke haptisk teknologi for å gjøre en forskjell.

Når leger, tannleger og annet medisinsk personell skal læres opp, må de kunne utføre prosedyrer for alt fra ordinær setting av sprøyter til kompliserte operasjoner. Kombinerer man visuelle skjermer eller VR-headset med haptisk tilbakemelding, kan man læres opp i et trygt miljø der det er rikelig anledning til å gjøre feil og å lære av dem.

Britiske Generic Robotics har utviklet noe som heter SimuTeach. Det er en kombinasjon av VR, robotikk og haptisk teknologi som til sammen blir til en intra-oral injeksjonssimulator. Da kan tannlegestudentene øve på å sette sprøyter i trygge omgivelser.

Og dette er bare begynnelsen. Selv om haptisk tilbakemelding virker fristende fordi det gjør oss i stand til å berøre virtuelle verdener, kan det også gjøre oss bedre til å samspille i den virkelige verden. Et strålende eksempel på det er hvordan trykktilbakemelding er uvurderlig for telerobotikken. Denne typen tilbakemelding er spesielt nyttig når noen styrer en robot eller maskin på lang avstand. Med hjelp fra haptisk teknologi er det ikke bare enklere å betjene en fjernstyrt robot, men det blir også mye mer effektivt. Siden slike roboter ofte benyttes i farlige situasjoner, som f.eks. i atomanlegg, vil alt som kan forbedre telerobotikken, være med på å revolusjonere et utall næringer.

På et mer personlig plan kan haptisk teknologi innføres i mange av favorittdingsene våre. Akkurat nå vet vi at mange elektroniske apparater vibrerer, men disse små signalene kan brukes mer og mer, f.eks. når du flytter en mappe til en ny plassering på skrivebordet. I framtiden vil du kanskje kunne programmere ulike trykk, strukturer og temperaturer etter hvilke typer påminnelser du ønsker å få.

Etter hvert som den haptiske teknologien utvikler seg videre, vil den ikke lenger begrense seg til forskningslaboratorier eller fornøyelsesparker. Det du vil få, er opplevelser som går lenger enn syn og hørsel både hjemme og i bedrifter over hele verden. Spilling blir mer sanselig, og robotene blir bedre til å utføre jobbene sine. Denne teknologien er fremdeles på spedbarnsstadiet, så vi garanterer at det ligger mye spennende og venter i framtiden.

NervebanerHudsansenHuden er det største sanseorganet i kroppen, og hos en gjennomsnittsvoksen kan den dekke et areal på to kvadratmeter.SansenerverDet er mekanoreseptorer i huden. Disse sansenervene merker berøring, bevegelse og følger med på kroppens posisjoner.Lamellære cellerSanser kraftig trykk og høyfrekvent vibrasjon. Sensoriske signaler går fra kroppen til hjernen via sansenervene (røde). Hjernen kan igangsette bevegelse som svar, via motoriske nerver (gule).Igangsetting Løkformede enderMerker varme, hudstramming og hvordan leddene beveger seg.Meissners korpusklerResponderer på svak berøring og trykk, i tillegg til lavfrekvent vibrasjon. Hjernen sender informasjon tilbake til musklene eller leddene nær berøringsstedet og skaper en reaksjon.Flere lagHuden består av to hovedlag: epidermis (overhuden) og dermis (underhuden).Merkels nerveenderDisse sanser lett berøring. Signaler fra reseptoreneRefleksive reaksjonerHvis kroppen registrerer smerte, sendes signaler til ryggmargen som setter i gang automatiske bevegelser slik at kroppen kan reagere raskt for å unngå skader.r lse pu m i av g rin fø erOvTil hjernenKjedereaksjonSignaler fra mekanoreseptorene oversettes til elektriske impulser som går til hjernen via sansenervene.Bearbeiding i hjernenSanseinformasjonen går inn i thalamus, som sender den videre til hjernebarken, der den blir bearbeidet og tolket.Berøring Kroppen berører, føler og reagerer på verden rundt.

Soldatene er tryggereForsvaret har eksperimentert medhaptisk teknologi i mange år. De bruker f.eks. vibrasjon når soldaterskal navigere seg gjennom nytt terreng der det er for risikabelt medveiledning på øret.Virtuelle verdenerMed bevegelsessensorer og heldekkende eksoskjeletter kan haptisk teknologi øke følelsen av fordypelse og tilstedeværelse ivirtuelle opplevelser, fra underholdning og samspill til terapiog smertelindring.Opplæring av medisinsk personaleOperasjoner, setting av sprøyter og kompliserte prosedyrer kan læres i virtuelle miljøer. Det gir mer realistiskopplæring enn noensinne før.Hvordan kan haptisk tekno hjelpe?Hvordan følelsen av berøring kan redde liv ogforbedre teknologien.Mer innlevelse ispillingenSpillselskapene har jobbet med haptiske hansker og kroppsdrakter lenge for å gjøre innlevelsen i spillene mer realistisk. Du vil oppleve slåssing, falling og flyvningbedre enn noen gang.Styring av roboter og maskinerTelerobotikk innebærer at man fjernstyrer roboter eller programvare. Det fungerer uten haptisk teknologi, men berøring gjør manøvreringav maskineri i rommet, under vann og i medisinske prosedyrer tryggere og mer effektivt.

Fullstappet av sensorerFingertuppen beveger seg over en strukturert overflate, og sensorene genererer ulike elektriske signaler etter hvor jevn eller ujevn den er.Signalet oversettesDisse signalene omgjøres til elektriske impulser som nervesystemet kan lese før det leverer informasjon til nervene. Bosch har laget en berøringsskjerm med haptisk tilbakemelding kalt neoSense.SensorimplantaterSensoren i den kunstige fingertuppen blir koblet til nervene i pasientens overarm. Hos personer som ikke har amputert, blir signalene overført til nervene via nåler.Hjernen overbevisesVed hjelp av en EEG-test finner forskerne ut at hjernen ikke oppdager forskjellen på en ekte fingertupp og den kunstige.Amputerte kan føle igjenAmputerte pasienter som bruker fingertuppen, kan oppdage om overflaten er jevn eller ujevn i 96 prosent av tilfellene.Test på ikkeamputerteIkke-amputerte som brukte den bioniske fingertuppen, kunne i 77 prosent av tilfellene si om overflaten var jevn eller ujevn.

En haptisk VRoperasjon med VirTeaSy Surgery i Frankrike. En deltaker på VR World Congress tester et opplæringsinstrument for tannleger medhaptisk teknologi fra Generic Robotics. I et VR-miljø kan haptisk teknologi få det til å føles som om du faktisk holder virtuellegjenstander. Et virtuelt sensorisk energiomformerapparat fra Ultrahaptics.

En legestudent bruker et 3D-display og et haptiskapparat til å trene på en øyeoperasjon.