Gli utilizzi dell’Eye Tracking in VR

All’interno di questo articolo esploreremo in dettaglio l’Eye Tracking e il suo funzionamento. Inoltre, ci concentreremo sugli ambiti di utilizzo tipici di questa sempre più interessante tecnologia nel contesto della realtà virtuale.

L’Eye tracking o tracciamento oculare, è una tecnologia che permette di monitorare il movimento degli occhi utilizzando delle telecamere integrate all’interno del visore. Questa tecnologia ha molteplici ambiti di utilizzo, tra cui:

• Regolazione IPD (distanza interpupillare)
• Avatar, social e multiplayer
• Interazioni con oggetti, menù e narrazione
• Ottimizzazione delle performance (ETFR)

Regolazione IPD

L’IPD (Inter Pupillary Distance) è la distanza tra le pupille espressa in millimetri, ed è fondamentale per la messa a fuoco degli oggetti virtuali. Siccome è molto importate che la misura dell’IPD sia il più corretta possibile, l’Eye Tracking ci semplifica notevolmente il compito consentendo al visore di ricavare da solo l’informazione e di posizionare le lenti nella posizione corretta, quando possibile, o di indicarci a schermo la posizione migliore delle lenti.

Di seguito vi lasciamo un video in cui potete approfondire meglio l’IPD ed altri termini tecnici inerenti alla Realtà Virtuale.

Avatar, social e multiplayer

Questo è l’utilizzo più semplice: il movimento degli occhi viene replicato dall’avatar per avere la sensazione del contatto visivo.

Può sembrare un utilizzo inutile, ma migliora notevolmente l’interazione tra gli avatar: in presenza di più utenti è intuitivo capire con chi si sta parlando o se questo stia prestando attenzione.

Interazioni con oggetti, menù e narrazione

Questa è l’opzione potenzialmente più creativa, poiché molti sviluppatori hanno dato sfogo alla loro immaginazione per applicare questa tecnologia nel campo dei videogiochi e non solo.

Ecco alcuni esempi di come è stata utilizzata:

• Consentire di selezionare o pre-selezionare una voce di menù (Demeo e Horizon Call of the Mountain per PSVR2),
• Cambiare un’arma (Firewall Ultra per PSVR2),
• Far avvicinare il nemico o cambiare scena battendo le palpebre (The Dark Pictures: Switchback VR e Before Your Eyes per PSVR2),
• Attivare l’interazione con un oggetto o un personaggio del gioco (Moss e Tentacular per PSVR2).

Recentemente è stata rilasciata anche una demo per Quest Pro che dovrebbe simulare il funzionamento di Apple Vision Pro: lo sguardo attiva le voci di menù rendendo più efficaci le gesture delle mani.

Ottimizzazione delle performance

Approfondiamo ora quello che per la comunità dei videogiocatori è probabilmente il punto più interessante: L’Eye Tracked Foveated Fendering (o ETFR).

Da anni buona parte dei giochi VR utilizzano la tecnica di Fixed Foveated Rendering (o FFR) per ottimizzare le prestazioni.

La tecnica consiste nel ‘renderizzare‘ il contenuto alla massima risoluzione al centro della lente e ridurla nelle parti periferiche.

Il problema di FFR è che, non sapendo esattamente in che zona della parte centrale della lente l’utente stia guardando, non è possibile ridurre la dimensione della zona a massima risoluzione per spremere al massimo le performance.

L’eye tracking consente di poter avere quella zona molto più piccola e dinamica, spostandola attraverso il movimento degli occhi in modo da ottimizzare le risorse computazionali e concentrando la maggior qualità di visione solo dove effettivamente serve.

Limitazioni e (auspicabili) soluzioni

Non tutti i contenuti VR possono avere un output compatibile con ETFR, perché dipende tantissimo dalla tecnica di realizzazione. Anche PSVR2 ha solo una manciata di titoli che sfruttano la funzionalità, seppure sia disponibile per il visore.

Per approfondire: Save GPU with Eye Tracked Foveated Rendering.

Esiste però una soluzione chiamata Quad Views Rendering, che vi permetterà di applicare virtualmente l’ETFR a tutti i contenuti, tramite OpenXR. Infatti, se normalmente l’output VR consiste in due immagini stereo già complete del livello di rendering in ogni zona.

Con Quad Views Rendering avremo invece come output quattro immagini: due a risoluzione più bassa a coprire completamente la visuale e due molto più piccole alla massima risoluzione, Muovendo lo sguardo, si creerà un effetto simile a quello ottenibile su dispositivi come il PSVR2. Questa tecnica ha il vantaggio rispetto all’Eye Tracked Foveated Fendering (ETFR) tradizionale di non richiedere che il gioco sia sviluppato secondo criteri specifici. Vi lasciamo una guida su come abilitarlo QUI.

Curiosi di provare qualche funzionalità ora?

Di seguito trovate una lista delle varie funzioni dell’Eye Tracking e con quali visori è possibile utilizzare tali feature.

Avatar, social e multiplayer

Quest Pro stand alone:

• in tutte le app multiplayer che usano avatar Meta, nella propria home
• nella demo Aura

PSVR2:

• Cosmonious High (guardandosi nello specchio)

Interazioni con oggetti, menù e narrazione

Quest Pro stand alone:

• Demo della simulazione di Apple Vision Pro

PSVR2:

• Before Your Eyes (battendo le palpebre si passa alla scena successiva)
• Demeo (si interagisce con i menù con il movimento degli occhi)
• Moss & Moss: Book II (guardando un oggetto si illumina se è interattivo)
• Tentacular (la conversazione con un personaggio inizia guardandolo)
• The Dark Pictures: Switchback VR (battendo le palpebre il nemico si avvicina)
• Horizon Call of the Mountain (è presente l’opzione per navigare nel menù usando lo sguardo)
• Firewall Ultra (si dovrebbe poter cambiare le armi con lo sguardo, uso il condizionale perché è uscito oggi)

Ottimizzazione delle performance (ETFR)

Quest Pro stand alone:

• Red Matter
• The Light Brigade

PSVR2:

• Red Matter
• Synapse
• Resident Evil 8
• Horizon Call of the Mountain
• Song in the Smoke
• Gran Turismo 7
• No Man’s Sky (novità di oggi)

Per restare aggiornati sulle funzionalità dei titoli PSVR2 consiglio di controllare questa lista aggiornata dagli utenti.

Quest Pro, Varjo Aero, Pimax Crystal, Pimax 5K/8K (con Droolon Pi1), Vive Pro Eye attraverso Quad Views Rendering:

• Digital Combat Simulator
• Pavlov VR

Quest Pro, Varjo Aero, Pimax 5K/8K (con Droolon Pi1), HP Reverb G2 Omnicept attraverso OpenXr Toolkit:

• Contractors
• Fallout 4 VR
• Ghosts of Tabor
• Hubris
• iRacing
• Microsoft Flight Simulator 2020
• Pavlov VR (Beta)
• Praydog’s UE4VR Injector
• The Elder Scrolls V: Skyrim VR

Avete altri utilizzi o contenuti da segnalare? Scrivetecelo qui sotto e seguiteci sui canali VR-Italia per restare aggiornati su tutte le novità!

---

Iscrivetevi al nostro canale Discord per restare sempre aggiornati sulle ultime novità e stare in compagni di appassionati come voi!
Link: Gruppo VR-ITALIA