Innehåll
Hype för virtuell verklighet har säkert dött ned under de senaste åren, på grund av en kombination av dyr hårdvara, så att prestanda och rörelsesjuka och brist på användarinnehåll. Branschen fastnar för närvarande i lite av ett kyckling vs. äggscenario, där bristen på konsumenter hindrar investeringar i avancerat innehåll. Mer kraftfull och kostnadseffektiv VR-hårdvara för massorna kommer att behövas för att bryta dödläget.
Arm letar efter att övervinna några av dessa tekniska hinder med sin första displayprocessor någonsin (DPU) designad specifikt för VR: Mali-D77. Sammanfattningsvis laddar Mali-D77 bort vanliga VR-bearbetningsuppgifter från GPU, vilket frigör resurser för högre bildhastigheter samtidigt som det hjälper till att minska rörelsesjuka.
Inuti armen Mali-D77
Mycket av Mali-D77 är baserat på 2017's Mali-D71 för flaggskeppssmartphones och andra avancerade applikationer. Den har samma komprimeringsavkodare, lagerskalning, HDR-stöd och färghanteringsenheter. Den nya designen har emellertid optimerats för att stödja 3K-upplösningar vid 120 fps, med stöd för 4K-upplösningar på upp till 90 fps.
De stora förändringarna kommer i form av två helt nya hårdvaruaccelerationsenheter för VR-applikationer. Mali-D77 stöder Lens Correction och Asynchronous Timewarp i hårdvara, snarare än att köra dessa algoritmer på GPU. Arm uppskattar att detta kan frigöra cirka 15 procent av GPU-resurserna, vilket kan sättas i riktning mot att höja bildhastigheterna. Att överföra denna last till DPU ger också 40 procent bandbreddbesparing och 180 mW effekt per VR-lager. Trevlig.
Linsekorrigering krävs i VR-headset för att kompensera ljusspänningen i headsetets linser. Barrel Distortion appliceras på varje renderad ram för att kompensera Pincushion Distortion-effekten hos linserna. Tänk på detta som överkompensering eller "omvänd distorsion" så att linsförvrängningen faktiskt hamnar med rätt bild. Traditionellt görs detta på GPU, vilket tar extra cykler och tid. Mali-D77 gör allt på DPU.
Dessutom utför Mali-D77 kromatisk aberrationskorrigering med en liknande omvänd distorsionsmetod. Med denna tillämpning visas bildfärger korrekt över hela linsen, inklusive i de hörn där färgseparationsförvrängning kan uppstå.
Vad är asynkron timewarp?
Lenskorrigering är ganska självförklarande, men Asynchronous Timewarp är lite mer involverad. Här använder Arm skärmprocessorn för att rotera, skeva och varpa bilder för att kompensera för bärarens rörelser samtidigt som man minskar någon GPU eller annan visning på rörledningen.
Med den nuvarande generationens hårdvara uppdateras X, Y, Z-axels rörelsespårning synkroniseras med GPU, eftersom GPU måste göra ändringen i vyn varje gång du flyttar. Med Asynchronous Timewarp uppdateras de två inte längre tillsammans. Du kan flytta huvudet mellan GPU-ramuppdateringar, och Mali-D77 kan varpa den nuvarande ramen så att den matchar din huvudrörelse.
Det här är en subtil effekt, eftersom den bara varar i en bråkdel av en sekund mellan de återgivna ramarna och inte utrotar behovet av snabb bildframställning. Det ökar emellertid kraftigt fluiditeten och jämnheten i rörelse och rörelse, eftersom uppdateringar kan inträffa ännu oftare än GPU-bildhastigheten. Kopplingen mellan kroppen rör sig och att se en visuell uppdatering är den ledande orsaken till rörelsesjuka i VR, så Mali-D77 kan hjälpa mycket i detta avseende.
X, Y, Z-axels rörelsesdata matas direkt till Mali-D77 från CPU, genom att kringgå GPU-steget helt. Detta är ett väldigt annorlunda sätt att göra saker och som sådan kräver utvecklare att använda en ny uppsättning utvecklingsverktyg och tekniker. Detta är utan tvekan det största hinderet med D77. Lyckligtvis arbetar Armingenjörer nära med initiativ som OpenXR, så vi kunde se ett API-tillkännagivande för förenklat utvecklingsstöd i framtiden.
Sammantaget är Arm Mali-D77 en intelligent och logisk utveckling av den heterogena datoridén för att hjälpa till att lösa några av virtuella verklighetens största hårdvaruproblem. Det finns fortfarande andra hinder i den trådlösa kommunikations-, spårnings- och kostnadssegmenten för VR som finns kvar för att lösa innan mainstream-antagandet kan omprövas, men Mali-D77 hjälper till att knäcka några av prestandaproblemen.
