Featured

La sfida tecnica della Mixed Reality su Meta Quest 3

È appena uscito Meta Quest 3 e in molti lamentano che la Mixed Reality non sia a livello delle aspettative.

Vediamo di capire perché sia così complesso rendere la realtà attraverso un dispositivo VR.

La Mixed Reality (realtà mista) utilizza due videocamere per rendere la disposizione degli oggetti e le loro texture nello spazio virtuale. Cerchiamo di esplorare insieme come funziona.

MR esempio funzionamento

Le fotocamere

Quest 3 monta due fotocamere RGB (quindi a colori) da 4 megapixel ed un sensore di profondità.

Sembrano pochi 4MP, giusto? Meno di un iPhone 4 di 10 anni fa.

Perché così pochi nel 2023, quando si trovano in commercio videocamere con una risoluzione molto più alta per pochi euro?

Semplicemente perché maggior risoluzione aumenterebbe di molto i dati da elaborare e servirebbe un processore decisamente più performante per riuscire a gestire il rendering in tempo reale.

Pico 4 monta una sola fotocamera da 16 megapixel: la qualità dell’immagine è decisamente più alta, ma la resa 3D è praticamente nulla in quanto una sola fotocamera non può fornire i dati necessari per la disposizione nello spazio. Di fatto può essere comodo come passthrough (quindi per vedere la realtà mentre si indossa il visore), ma non per la rappresentazione di oggetti reali in un ambiente VR.

L’elaborazione

Dettaglio dell’elaborazione per la MR in una pubblicazione Meta di maggio 2020

Partendo dalle due immagini di input (una dalla videocamera destra, una dalla sinistra), prima viene rimossa la distorsione, poi vengono passate al codec hardware da cui vengono estratti e filtrati i vettori di movimento.

Viene trovata una corrispondenza tra i risultati delle due immagini e questi vengono convertiti in valori di profondità dopo aver applicato un raffinamento temporale.

Nello stesso tempo vengono estratte le texture per le coordinate corrispondenti.

Dati i valori di profondità e le texture sarà ora possibile ricreare in 3D gli oggetti nello spazio virtuale, a cui possono essere aggiunte ancore spaziali, altri oggetti in VR o la posizione dell’utente.

Insomma: un calcolo incredibile per essere eseguito in tempo reale.

Il sensore di profondità

La vera novità di Quest 3 è l’introduzione del sensore di profondità.

In teoria dovrebbe alleggerire il calcolo, in quanto i valori di profondità dovrebbero arrivare senza dover essere estratti dalla differenza tra le due immagini, ma non si sa ancora  se riesca ad eliminare completamente quello strato od agisca da fattore correttivo.

E Vision Pro?

Apple Vision Pro avrà un processore dedicato per la MR (chiamato R1) che probabilmente riuscirà a processare molti più dati e quindi a consentire l’utilizzo di videocamere a definizione parecchio più alta, oltre al Lidar come sensore di profondità.

Quindi risolto?
Purtroppo no, resta un altro grosso problema, soprattutto per la gestione degli oggetti molto vicini.

La posizione delle videocamere

MR posizione fotocamere

Per quanto siano disposte bene, le videocamere non possono avere una posizione corrispondente a quella dei nostri occhi e questo è decisamente il problema più grosso da superare.

Per rispondere a questa problematica Meta ha sviluppato un prototipo chiamato Flamera.

Flamera

La sue fotocamere utilizzano una complessa tecnologia basata su lenti multiple (tipo gli occhi di una mosca), sensori ed intelligenza artificiale per determinare nel modo più preciso possibile la posizione dell’occhio dell’utente.

Al momento Flamera costa quanto un appartamento (parafrasando Sadlyitsbradley), per cui non ci resta che aspettare (parecchio).

In questo video un’interessante panoramica di come funziona Flamera:

 

Già possedete un Quest 3 e siete curiosi di vedere la Mixed Reality in azione? Qui trovate una lista di applicazioni da provare.

Avete altre domande? Commentate qui sotto e seguite i nostri canali.






Iscrivetevi al nostro canale Discord per restare sempre aggiornati sulle ultime novità e stare in compagni di appassionati come voi!
Link: Gruppo VR-ITALIA

Barbara Schiavinato

Disqus Comments Loading...

Recent Posts

Dal Futuro al Presente: Pimax Dream Air, il Visore VR più Leggero e Avanzato

Il Pimax Dream Air è il più piccolo visore VR ad alta risoluzione mai realizzato.…

6 giorni ago

Oppo Find X8 Pro |Recensione|

Oppo è un’azienda fondata in Cina nel 2004 e, insieme a OnePlus, Realme e Vivo,…

1 settimana ago

Maestro diventa ancora più magico grazie ad Harry Potter

Double Jack ha appena lanciato il primo DLC per il suo acclamato gioco ritmico VR,…

2 settimane ago

Home Sports |Recensione| Meta Quest 3/3s

Home Sports è il nuovo gioco multi-sports di Resolution Games, già autori di Demeo e…

3 settimane ago

Path of Fury: il nuovo gioco Horror dal creatore di Trek to Yomi

Lo sviluppatore indipendente Leonard Menchiari, noto per Trek to Yomi e The Eternal Castle Remastered, insieme al publisher…

3 settimane ago

Synth Riders: la nuova esperienza VR “Barbie Dance ‘n Dream” è qui!

Barbie è l'ultimo crossover di Synth Riders Experience ed è disponibile oggi sulla maggior parte…

3 settimane ago