La sfida tecnica della Mixed Reality su Meta Quest 3

È appena uscito Meta Quest 3 e in molti lamentano che la Mixed Reality non sia a livello delle aspettative.

Vediamo di capire perché sia così complesso rendere la realtà attraverso un dispositivo VR.

La Mixed Reality (realtà mista) utilizza due videocamere per rendere la disposizione degli oggetti e le loro texture nello spazio virtuale. Cerchiamo di esplorare insieme come funziona.

Le fotocamere

Quest 3 monta due fotocamere RGB (quindi a colori) da 4 megapixel ed un sensore di profondità.

Sembrano pochi 4MP, giusto? Meno di un iPhone 4 di 10 anni fa.

Perché così pochi nel 2023, quando si trovano in commercio videocamere con una risoluzione molto più alta per pochi euro?

Semplicemente perché maggior risoluzione aumenterebbe di molto i dati da elaborare e servirebbe un processore decisamente più performante per riuscire a gestire il rendering in tempo reale.

Pico 4 monta una sola fotocamera da 16 megapixel: la qualità dell’immagine è decisamente più alta, ma la resa 3D è praticamente nulla in quanto una sola fotocamera non può fornire i dati necessari per la disposizione nello spazio. Di fatto può essere comodo come passthrough (quindi per vedere la realtà mentre si indossa il visore), ma non per la rappresentazione di oggetti reali in un ambiente VR.

L’elaborazione

Partendo dalle due immagini di input (una dalla videocamera destra, una dalla sinistra), prima viene rimossa la distorsione, poi vengono passate al codec hardware da cui vengono estratti e filtrati i vettori di movimento.

Viene trovata una corrispondenza tra i risultati delle due immagini e questi vengono convertiti in valori di profondità dopo aver applicato un raffinamento temporale.

Nello stesso tempo vengono estratte le texture per le coordinate corrispondenti.

Dati i valori di profondità e le texture sarà ora possibile ricreare in 3D gli oggetti nello spazio virtuale, a cui possono essere aggiunte ancore spaziali, altri oggetti in VR o la posizione dell’utente.

Insomma: un calcolo incredibile per essere eseguito in tempo reale.

Il sensore di profondità

La vera novità di Quest 3 è l’introduzione del sensore di profondità.

In teoria dovrebbe alleggerire il calcolo, in quanto i valori di profondità dovrebbero arrivare senza dover essere estratti dalla differenza tra le due immagini, ma non si sa ancora  se riesca ad eliminare completamente quello strato od agisca da fattore correttivo.

E Vision Pro?

Apple Vision Pro avrà un processore dedicato per la MR (chiamato R1) che probabilmente riuscirà a processare molti più dati e quindi a consentire l’utilizzo di videocamere a definizione parecchio più alta, oltre al Lidar come sensore di profondità.

Quindi risolto?
Purtroppo no, resta un altro grosso problema, soprattutto per la gestione degli oggetti molto vicini.

La posizione delle videocamere

Per quanto siano disposte bene, le videocamere non possono avere una posizione corrispondente a quella dei nostri occhi e questo è decisamente il problema più grosso da superare.

Per rispondere a questa problematica Meta ha sviluppato un prototipo chiamato Flamera.

La sue fotocamere utilizzano una complessa tecnologia basata su lenti multiple (tipo gli occhi di una mosca), sensori ed intelligenza artificiale per determinare nel modo più preciso possibile la posizione dell’occhio dell’utente.

Al momento Flamera costa quanto un appartamento (parafrasando Sadlyitsbradley), per cui non ci resta che aspettare (parecchio).

In questo video un’interessante panoramica di come funziona Flamera:

 

Già possedete un Quest 3 e siete curiosi di vedere la Mixed Reality in azione? Qui trovate una lista di applicazioni da provare.

Avete altre domande? Commentate qui sotto e seguite i nostri canali.

---

Iscrivetevi al nostro canale Discord per restare sempre aggiornati sulle ultime novità e stare in compagni di appassionati come voi!
Link: Gruppo VR-ITALIA