Facebook già al lavoro su Quest 3 e 4, Zuckerberg vuole Face e Eye Tracking

In una lunga intervista nel podcast The Information’s 411, Zuckerberg ha parlato della strategia e della direzione dell’azienda in ambito VR e AR.

“A causa del modo in cui l’hardware viene sviluppato, devi sapere come saranno i tuoi prossimi tre prodotti nello stesso tempo. Non è come il software, dove lo cambiamo ogni due settimane. Abbiamo team specializzati che stanno lavorando sulle prossime generazioni di visori per realtà virtuale e su come saranno Quest 3 e 4“.

Zuckerberg ha rivelato una delle caratteristiche che più desidera nei prossimi visori  Oculus; il tracciamento degli occhi e del volto per animare gli avatar nelle esperienze sociali.

“Una delle cose di cui sono davvero entusiasta per le versioni future è il tracciamento degli occhi e dei volti, perché se sei davvero entusiasta della presenza sociale vuoi essere sicuro che il dispositivo abbia tutti i sensori per animare avatar realistici in modo da poter comunicare al meglio“.

Più avanti nell’intervista ha parlato di alcune delle difficoltà nel rendere questo una realtà:

“Sul lato VR, penso che una delle cose principali su cui siamo molto concentrati ora è: come si impacchettano più sensori, per creare una migliore esperienza sociale, nel dispositivo? Il funzionamento di ogni sensore richiede più potenza della CPU, questo genera più calore e crea diversi problemi.

Quando penso al punto in cui siamo oggi con la VR, vedo che ci sono alcuni giochi piuttosto grandi e diverse esperienze, ma mi piacerebbe arrivare al punto in cui si hanno avatar realistici di se stessi, dove si può stabilire un contatto visivo autentico con qualcuno e avere espressioni reali che si riflettono sul tuo avatar.

Quindi cosa vi serve per questo? Beh, dovete essere in grado di fare l’eye tracking per stabilire il contatto visivo. È necessario avere una sorta di tracciamento del volto o avere un senso di ciò che sta accadendo con le espressioni della persona per essere in grado di far passare quelle emozioni in modo naturale“.

I visori VR con eye tracking o face tracking oggi sono più orientati agli utenti aziendali che non quelli consumer. Neo 2 Eye, Vive Pro Eye, Pimax Eye Tracking, e il futuro HP Reverb G2 Omnicept Edition hanno questo tipo di sensori, ma non ci sono applicazioni consumer che li sfruttano, il target sono le applicazioni professionali.

Facebook ha mostrato per la prima volta la sua ricerca a lungo termine sui “Codec Avatar” fotorealistici nel marzo 2019.

Alimentati dal machine learning, gli avatar sono generati utilizzando un impianto di acquisizione specializzato con 132 telecamere. Una volta generati, possono essere animati in tempo reale da un prototipo di visore VR con telecamere di tracciamento degli occhi e del viso.

Quando ha presentato per la prima volta gli avatar codec, Facebook ha avvertito che la tecnologia era ancora “lontana anni” per i prodotti consumer.

Oculus Quest oggi ha un sistema di avatar di base integrato, Oculus Avatars. È usato in alcune applicazioni come Poker Stars VR e Tribe XR DJ, ma non molto altro. Piattaforme come Bigscreen, VRChat e Rec Room usano i loro sistemi di avatar separati.

Gli attuali visori Oculus non hanno il tracciamento degli occhi o del volto, ma Oculus Avatars usa una rete neurale per simulare il movimento delle labbra, e gli sviluppatori possono impostare dei punti di vista prioritari per simulare il movimento degli occhi.

A settembre, Facebook ha annunciato il nuovo sistema Facebook Avatars che sostituirà Oculus Avatars. Si tratta apparentemente di un’evoluzione degli attuali avatar di Facebook VR utilizzati in Facebook Horizon e nella beta del nuovo Venues. Lo staff che lavora al progetto include ex animatori della Pixar.

Facebook Avatars sembra fare un passo indietro come realismo, ma aggiunge un torso completo e braccia simulate.

Nell’intervista di oggi Zuckerberg ha annunciato che Facebook Avatars verrà rilasciato quest’anno, dicendo che “diventerà sempre più realistico nel tempo“, suggerendo che l’azienda intende adottare un approccio iterativo.

Zuckerberg ha anche commentato sulla strategia hardware a basso costo di Facebook.

“Sono abbastanza incline a prendere qualsiasi guadagno che potremmo ottenere, da cose come un app store, e usarlo per rendere il prezzo più basso“, ha detto Zuckerberg.

“Probabilmente il modello di business ruoterà in gran parte intorno a quelle esperienze [sociali], tipo le app che già abbiamo, ampliandole e costruendoci nuove cose sopra. Se l’app store finirà per essere significativo, allora sarà fantastico. Ma penso che la nostra inclinazione sarà probabilmente quella di cercare di offrire questi prodotti al più basso costo possibile per essere in grado di farli arrivare a tutti. Quindi, a differenza di alcune delle altre aziende in questo spazio che fondamentalmente fanno pagare prezzi premium come loro modello di business, uno dei nostri principi fondamentali è che vogliamo servire tutti. Sono molto concentrato non solo su come si crea un buon dispositivo VR e AR, ma come si fa a farlo in modo che costi 300 dollari invece di 1000. Penso che questo sia un grosso problema“.

 

---

Iscrivetevi al nostro canale Discord per restare sempre aggiornati sulle ultime novità e stare in compagni di appassionati come voi!
Link: Gruppo VR-ITALIA