Dessa är de utmaningar som mobila VR står inför

Innehåll

Begränsad kraftbudget
Bandbredd och högupplösta
Låg latens och visningspaneler
Ljud och sensorer
Utvecklare och programvara
Sammanfatta

Vi dyker äntligen djupt in i revolutionen, som vissa kan säga, med hårdvaru- och mjukvaruprodukter som finns på marknaden och resurser som strömmar in för att stimulera till innovationer. Vi har emellertid mer än ett år sedan stora produktlanseringar i detta utrymme och vi väntar fortfarande på den mördande applikationen för att göra virtual reality till en mainstream-framgång. Medan vi väntar fortsätter nyutvecklingen att göra virtuell verklighet till ett mer livskraftigt kommersiellt alternativ, men det finns fortfarande ett antal tekniska hinder att övervinna, särskilt i det mobila VR-utrymmet.

Begränsad kraftbudget

Den mest uppenbara och väl diskuterade utmaningen som mobila virtual reality-applikationer står inför är den mycket mer begränsade energibudget och termiska begränsningar jämfört med dess stationära PC-ekvivalent. Att köra intensiva grafikapplikationer från ett batteri innebär att lägre effektkomponenter och effektiv energianvändning krävs för att bevara batteriets livslängd. Dessutom innebär närheten till bearbetning av hårdvara till bäraren att den termiska budgeten inte heller kan skjutas upp högre. Som jämförelse fungerar mobil normalt inom en 4-wattgräns, medan en stationär VR GPU enkelt kan konsumera 150 watt eller mer.

Det är allmänt erkänt att mobil VR inte kommer att matcha skrivbordshårdvara för råkraft, men det betyder inte att konsumenter inte kräver uppslukande 3D-upplevelser med en skarp upplösning och med höga bildhastigheter.

Det är allmänt erkänt att mobil VR inte kommer att matcha skrivbordshårdvara för råkraft, men det betyder inte att konsumenter inte kommer att kräva uppslukande 3D-upplevelser med en skarp upplösning och med höga bildhastigheter, trots den mer begränsade kraften budget. Mellan titta på 3D-video, utforska 360-graders återskapade platser och till och med spel, finns det fortfarande gott om fall som är anpassade för mobil VR.

När du tittar tillbaka på din typiska mobila SoC skapar detta ytterligare problem som mindre ofta uppskattas. Även om mobila SoC: er kan packa i ett anständigt octa-core CPU-arrangemang och en del anmärkningsvärd GPU-kraft, är det inte möjligt att köra dessa chips med full lutning, på grund av både energiförbrukning och termiska begränsningar som nämnts tidigare. I verkligheten vill CPU i en mobil VR-instans köras så lite tid som möjligt och frigöra GPU: n för att konsumera huvuddelen av den begränsade strömbudgeten. Detta begränsar inte bara de tillgängliga resurserna för spellogik, fysikberäkningar och till och med bakgrundsmobilprocesser, utan lägger också en börda på viktiga VR-uppgifter, till exempel rita samtal för stereoskopisk återgivning.

Branschen arbetar redan med lösningar för detta, som inte bara gäller mobil. Multiview-rendering stöds i OpenGL 3.0 och ES 3.0 och har utvecklats av bidragsgivare från Oculus, Qualcomm, Nvidia, Google, Epic, ARM och Sony. Multiview möjliggör stereoskopisk återgivning med bara ett enda samtal snarare än en för varje visningspunkt, vilket minskar CPU-kraven och krymper också GPU-vertexjobbet. Denna teknik kan förbättra prestandan med mellan 40 och 50 procent. På mobilutrymmet stöds redan Multiview av ett antal ARM Mali- och Qualcomm Adreno-enheter.

En annan innovation som förväntas dyka upp i kommande mobila VR-produkter är eftertraktad rendering. Används i samband med ögonspårningsteknologi, underlättar framförd rendering belastningen på en GPU genom att endast göra användarens exakta fokuspunkt i full upplösning och minska upplösningen av objekt i perifera syn. Komplementet kompletterar det mänskliga visionsystemet och kan reducera GPU-belastningen avsevärt, vilket sparar på ström och / eller frigör mer energi för andra CPU- eller GPU-uppgifter.

Bandbredd och högupplösta

Medan processorkraften är begränsad i mobila VR-situationer, ser plattformen fortfarande till samma krav som andra virtual reality-plattformar, inklusive kraven på skärmar med hög latens, högupplösta skärmar. Även de som har sett VR-skärmar som kan skryta med en QHD-upplösning (2560 x 1440) eller Rift-headsetets upplösning på 1080 × 1200 per öga kommer förmodligen att ha varit lite undertryckta av bildens tydlighet. Aliasing är särskilt problematiskt med tanke på att våra ögon är så nära skärmen, med kanter som verkar särskilt grovt snygga eller taggade under rörelse.

Den brute force-lösningen är att öka skärmupplösningen, med 4K som nästa logisk utveckling. Men enheter måste upprätthålla en hög uppdateringshastighet oavsett upplösning, med 60 Hz anses som det minsta men 90 eller till och med 120 Hz är mycket mer föredraget. Detta lägger en stor börda på systemminnet, med allt från två till åtta gånger mer än dagens enheter. Minne bandbredd är redan mer begränsad i mobil VR än det är i stationära produkter, som använder snabbare dedikerat grafikminne snarare än en delad pool.

Möjliga lösningar för att spara på grafisk bandbredd inkluderar användning av komprimeringsteknologier, såsom ARM och AMD: s Adaptive Scalable Texture Compression (ASTC) -standard eller det förlustfria Ericsson Texture Compression-formatet, som båda är officiella förlängningar av OpenGL och OpenGL ES. ASTC stöds också inom hårdvara i ARM: s senaste Mali GPU: er, Nvidias Kepler och Maxwell Tegra SoC: er, och Intels senaste integrerade GPU: er, och kan spara på mer än 50 procent bandbredd i vissa scenarier mot användning av okomprimerade strukturer.

Användning av texturkomprimering kan avsevärt minska bandbredd, latens och minne som krävs av 3D-applikationer. Källa - ARM.

Andra tekniker kan också implementeras.Användningen av tessellering kan skapa mer detaljerad geometri från enklare objekt, om än genom att kräva några andra stora GPU-resurser. Uppskjuten rendering och framåt Pixel Kill kan undvika att rendera pixlar, medan Binning / Tiling-arkitekturer kan användas för att dela upp bilden i mindre rutnät eller brickor som alla återges separat, vilket alla kan spara på bandbredd.

Alternativt, eller företrädesvis dessutom, kan utvecklare offra bildkvaliteten för att minska belastningen på systembandbredden. Geometri täthet kan offras eller mer aggressiv utrullning används för att minska belastningen, och toppunktdataupplösning kan sänkas till 16-bitar, ner från den traditionellt använda 32-bitars noggrannhet. Många av dessa tekniker används redan i olika mobilpaket, och tillsammans kan de bidra till att minska belastningen på bandbredden.

Inte bara är minnet en stor begränsning i det mobila VR-utrymmet, utan det är också en ganska stor strömförbrukare också, ofta lika med CPU- eller GPU-förbrukningen. Genom att spara på minnesbandbredd och användning bör bärbara virtual reality-lösningar få längre batteritid.

Låg latens och visningspaneler

På tal om fördröjningsproblem har vi hittills bara sett VR-headset som spelar OLED-displaypaneler, och det beror främst på snabba pixelomkopplingstider under ett millisekund. Historiskt sett har LCD varit förknippat med ghosting-problem med mycket snabba uppdateringsfrekvenser, vilket gör dem ganska olämpliga för VR. LCD-paneler med mycket hög upplösning är emellertid fortfarande billigare att producera än OLED-ekvivalenter, så att byta till denna teknik kan hjälpa priset på VR-headset ner till mer överkomliga nivåer.

Rörelse för foton latens bör vara under 20ms. Detta inkluderar registrering och bearbetning av rörelser, bearbetning av grafik och ljud och uppdatering av skärmen.

Skärmar är en särskilt viktig del i den totala latensen för ett virtuell verklighetssystem, vilket ofta gör skillnaden mellan en uppenbar och en sub-par upplevelse. I ett idealiskt system bör rörelse-till-foton-latens - den tid det tar mellan att flytta huvudet och displayen svara - vara mindre än 20 millisekunder. Det är uppenbart att en 50 ms display inte är bra här. Helst måste panelerna vara under 5 ms för att också kunna ta emot sensorer och bearbetningslatens.

För närvarande finns det en kostnadseffektiv avvägning som gynnar OLED, men det kan snart förändras. LCD-paneler med stöd för högre uppdateringsfrekvenser och låga svartvita responstider som använder sig av banbrytande tekniker, som blinkande bakgrundsbelysning, kan passa in i räkningen. Japan Display visade just en sådan panel förra året, och vi kan se andra tillverkare tillkännage liknande tekniker också.

Ljud och sensorer

Medan mycket av de vanliga ämnena för virtuell verklighet kretsar kring bildkvalitet, kräver uppslukande VR också högupplöst, rumsligt exakt 3D-ljud och sensorer med låg latens. På mobilområdet måste allt detta göras inom samma begränsade strömbudget som påverkar CPU, GPU och minne, vilket ger ytterligare utmaningar.

Vi har tidigare berört problem med sensorns latens, där en rörelse måste registreras och behandlas som en del av under 20ms rörelse-till-foton-latensgränsen. När vi tänker på att VR-headset använder 6 rörelsegrader - rotation och gir i var och en av X-, Y- och Z-axeln - plus ny teknik som ögonspårning, finns det en betydande mängd konstant data att samla in och bearbeta, allt med minimal latens.

Lösningar för att hålla denna latens så låg som möjligt, ganska mycket, kräver en end-to-end-strategi, med både hårdvara och mjukvara som kan utföra dessa uppgifter parallellt. Lyckligtvis för mobila enheter är användningen av dedikerade processorer med låg effektgivare och alltid på-teknik mycket vanliga, och dessa körs med ganska låg effekt.

För ljud är 3D-position en teknik som länge används för spel och sådant, men användningen av en head-relaterad överföringsfunktion (HRTF) och konvolverings-reverbbehandling, som krävs för realistisk ljudkällpositionering, är ganska processorintensiva uppgifter. Även om dessa kan utföras på CPU, kan en dedikerad digital signalprocessor (DSD) utföra dessa typer av processer mycket mer effektivt, både vad gäller behandlingstid och även ström.

Genom att kombinera dessa funktioner med grafik- och displaykraven som vi redan har nämnt är det tydligt att användningen av flera specialiserade processorer är det mest effektiva sättet att tillgodose dessa behov. Vi har sett Qualcomm göra mycket av den heterogena beräkningsförmågan för dess flaggskepp och de senaste mellanliggande Snapdragon-mobilplattformarna, som kombinerar en mängd olika behandlingsenheter till ett enda paket med funktioner som lämpar sig bra för att möta många av dessa mobila VR-behov. Vi kommer troligtvis se typ av paketkraft i ett antal mobila VR-produkter, inklusive fristående bärbar hårdvara.

Utvecklare och programvara

Slutligen är inga av dessa hårdvaruframsteg mycket bra utan mjukvarusviter, spelmotorer och SDK: er för att stödja utvecklare. När allt kommer omkring kan vi inte få alla utvecklare att uppfinna hjulet igen för varje applikation. Att hålla utvecklingskostnaderna låga och hastigheterna så snabbt som möjligt är nyckeln om vi kommer att se ett brett utbud av applikationer.

SDK: er är särskilt viktiga för att implementera viktiga VR-bearbetningsuppgifter, såsom asynkron timewarp, linsförvrängningskorrigering och stereoskopisk återgivning. För att inte tala om ström-, termisk- och processhantering i heterogena maskinvaruprogram.

Lyckligtvis erbjuder alla de stora tillverkarna av hårdvaruplattformar SDK till utvecklare, även om marknaden är en ganska fragmenterad vilket resulterar i brist på plattformsstöd. Till exempel har Google sin VR SDK för Android och en dedicerad SDK för den populära Unity-motorn, medan Oculus har sin mobila SDK inbyggd i samarbete med Samsung för Gear VR. Det är viktigt att Khronos-gruppen avslöjade nyligen sitt OpenXR-initiativ som syftar till att tillhandahålla ett API för att täcka alla de viktigaste plattformarna på både enhetens och applikationsnivålagren, för att underlätta en plattformsutveckling över flera plattformar. OpenXR kunde se stöd i sin första virtual reality-enhet någon gång före 2018.

Sammanfatta

Trots vissa problem är teknik under utveckling, och till viss del redan här, vilket gör mobil virtuell verklighet användbar för ett antal applikationer. Mobile VR har också ett antal fördelar som helt enkelt inte gäller skrivbordsekvivalenter, vilket kommer att fortsätta göra det till en plattform som är värd att investera och intriger. Bärbarhetsfaktorn gör mobil VR till en tvingande plattform för multimediaupplevelser och till och med lätt spel, utan att kablar är anslutna till en kraftfullare PC.

Dessutom gör det stora antalet mobila enheter på marknaden som i allt högre grad är utrustade med virtual reality-funktioner det plattformen att välja den största målgruppen. Om virtual reality ska bli en mainstream-plattform behöver den användare och mobil är den största användarbasen som man kan knacka på.