La realtà virtuale può tagliare il cavo?

Annuncio pubblicitario

Non tritiamo le parole: sono visibilmente eccitato da Valve nuovo auricolare per realtà virtuale Valve e HTC annunciano le nuove cuffie VR da spedire entro Natale 2015Le nuove cuffie VR di Valve sono le migliori che il mondo abbia mai visto. Oculus ha una possibilità? Leggi di più .

Il Vive, creato in collaborazione con HTC, vanta un perfetto tracciamento della testa e due controller, una comoda risoluzione 2160 x 1200 e un display OLED ultra nitido a 90 Hz. Suo uscendo quest'annoe offre esperienze VR interattive che forniscono un senso sostenuto di presenza fisica nella scena virtuale.

Per avere un'idea di quanto sia buono il tracciamento, guarda questo video di "The Gallery", un gioco VR riprodotto su Vive.

La sfida della realtà virtuale in roaming gratuito

The Vive è fantastico. Tuttavia, se leggi le recensioni delle cuffie prototipo che si stanno diffondendo, inizi a notare che un reclamo specifico continua a spuntare.

Venture Beat:

"Durante il periodo di prova con il prototipo, ho indossato una cintura per tenere lontano un fascio di cavi - e ora che ci penso, Valve deve aver avuto qualcuno in giro con me per assicurarsi che non inciampassi in alcun gioco che ho creato mentre mi muovevo camera."

instagram viewer

PC MAG:

"Poiché si tratta di un'esperienza completamente interattiva e in movimento, è necessario liberare i mobili dal centro di una stanza e cercare di non inciampare sul cavo che torna al PC."

Gizmodo:

"E questo è probabilmente il principale punto debole di HTC Vive. È come La matrice in quello sembra reale, ma anche nel fatto che sei collegato a un PC con un cavo che esce dalla parte posteriore della testa. Ciò a volte limiterà la tua libera circolazione e talvolta (ma non spesso, nella mia esperienza) rappresenta un rischio di inciampo. Non è un molto grosso problema ma evidente comunque. ”

Alcuni di questi sono dovuti al fatto che l'auricolare è un prototipo con cinque cavi (la versione consumer dovrebbe avere solo uno, un cavo USB e HDMI combinato che collega l'auricolare al PC). Tuttavia, il problema sembra essere fondamentale per le cuffie cablate che ti permettono di camminare liberamente Guardaci mentre prova Oculus Rift Crescent Bay al CES 2015Oculus Rift Crescent Bay è un nuovissimo prototipo che mostra alcuni entusiasmanti miglioramenti nella tecnologia della realtà virtuale. Lo proviamo al CES 2015. Leggi di più . I cavi rappresentano un rischio di inciampo e anche solo una specie di seccatura. Ti impediscono di portare il tuo dispositivo VR fuori dalla stanza, e tanto meno la casa.

Questo diventerà più un problema quando inizieremo a utilizzare la VR come interfaccia di base per i nostri sistemi operativi.

Non avevamo PC da molto tempo prima di desiderare una versione mobile dell'esperienza (laptop, smartphone e tablet). La realtà virtuale sarà allo stesso modo, in particolare quando inizieremo a integrare le funzionalità di realtà aumentata lungo le linee di Microsoft HoloLens 8 usi del mondo reale per Microsoft HoloLensHoloLens di Microsoft è interessante, ma per cosa lo userete? Stiamo esaurendo le possibilità più eccitanti. Leggi di più .

Sfortunatamente, si scopre che scollegare gli auricolari VR dai PC è una grande sfida tecnologica e che ancora non sappiamo come risolvere. Ci sono, tuttavia, due tecnologie promettenti all'orizzonte che possono aiutare a risolvere il problema.

Soluzione n. 1: streaming PC

Un approccio ovvio al programma è quello di utilizzare il PC per rendere il mondo virtuale e quindi trasmettere le immagini renderizzate all'auricolare tramite WiFi (come Steamlink, che trasmette i giochi dal PC alla TV). Il problema con questo approccio è la latenza. Nella realtà virtuale, vuoi ridurre al minimo il ritardo tra lo spostamento e la visione di quel movimento riflesso sullo schermo. Generalmente si concorda che il punto debole è inferiore a 20 millisecondi.

Lo streaming video moderno può scendere a meno di un millisecondo di latenza, il che è un ottimo inizio. Sfortunatamente, un flusso video non compresso a 1440p 90hz è quasi 8 gigabit al secondo di dati. I router WiFi consumer possono gestire circa 100 megabit. Anche i router industriali di fascia più alta arrivano al massimo circa 800 megabit, otto volte meno del necessario. Per risolvere questo problema, è necessario comprimere le immagini prima di inviarle. Il processo di compressione e decompressione aggiunge circa 80 ms di latenza, che volere farti star male.

Esistono alcune possibili soluzioni a questo problema:

Miglioramenti della larghezza di banda

Un approccio consiste nel cercare di aumentare la larghezza di banda disponibile. Le reti 5G, che dovrebbero essere disponibili tra cinque anni, possono consentire velocità di circa un terabit al secondo, in grado di gestire HMD 8K futuristici senza compressione. Nel breve termine, Li-Fi (una tecnologia Internet basata su LED a impulso rapido) potrebbe consentire velocità di trasferimento di 10 GB / s a ​​latenze molto basse, il che consentire versioni wireless di cuffie VR di nuova generazione nei prossimi anni, sebbene la tecnologia non sia disponibile per i consumatori ancora.

Questa è probabilmente la migliore soluzione al problema, ma non sarà disponibile per i consumatori per almeno un anno o due, potrebbe essere costoso e la risoluzione probabilmente rimarrà indietro rispetto alle cuffie cablate di fascia più alta fino alle reti 5G appropriate arrivo.

Deformazione locale

Un'opzione più complessa sarebbe quella di accettare gli 80 ms di latenza e provare a correggerlo dopo il fatto, deformando la vecchia immagine nella nuova posizione della testa. Ciò produce ancora un certo ritardo di input, ma non il tipo nauseabondo di movimento della testa.

L'approccio standard a questo tipo di problema è il time-warp asincrono, che raccoglie i dati dal PC e li deforma usando un piccolo GPU sull'auricolare per visualizzare la vecchia immagine da una nuova prospettiva, consentendo all'auricolare di aggiornarsi in modo fluido nonostante l'alta latenza.

A prima vista, sembra un proiettile magico. Sfortunatamente, ci sono alcune grosse catture. Per citare Michael Antonov, un ricercatore di Oculus,

“Il Judder posizionale è uno dei manufatti più ovvi con il timewarp di solo orientamento. Quando muovi la testa, solo il componente rotazionale aggiuntivo viene riflesso nelle immagini generate da ATW, mentre qualsiasi movimento della testa traslazionale da quando è stato eseguito il rendering del fotogramma viene ignorato. Ciò significa che mentre muovi la testa da un lato all'altro, o anche solo ruotando la testa che traduce i tuoi occhi, vedrai un avvocato a più immagini su oggetti che ti sono vicini.

[…]

Un modo possibile per indirizzare il judder posizionale è implementare il warping posizionale completo, che applica sia le correzioni di traduzione che di orientamento al frame renderizzato originale. La deformazione posizionale deve considerare la profondità della cornice di rendering originale, spostando parti dell'immagine di diverse quantità. Tuttavia, tale spostamento genera artefatti di disocclusione ai bordi degli oggetti, in cui vengono scoperte aree di spazio che non contengono dati nella cornice originale ".

Ci sono diverse tecniche per creare dati per riempire i buchi creati dal timewarp posizionale, ma tutti lasciano artefatti e quelli che lasciano il minor numero di artefatti sono i più costosi dal punto di vista computazionale. Il problema è simile a quello affrontato da quelli tentando di visualizzare video di profondità VR La realtà virtuale sta per cambiare il cinema per sempre: ecco comeLa realtà virtuale è un nuovo modo di comunicare con il tuo spettatore e molte persone con un background nel cinema tradizionale trovano interessanti le possibilità. Leggi di più .

Per risolvere perfettamente questo problema, gli sviluppatori devono trovare un modo per trasmettere dati extra per riempire i buchi. Alcuni approcci possibili:

• Rendering di oggetti in campo lontano e campo vicino separatamente e streaming di entrambe le immagini
• Rendering a campo luminoso, che può essere riproiettato da grandi offset della testa senza disocclusione
• Sviluppa modelli di movimento della testa estremamente sofisticati e utilizza la previsione per ridurre al minimo gli errori di disocclusione

Non è chiaro quale sia la soluzione migliore qui. Nessuno degli approcci di cui siamo a conoscenza è perfetto e alcuni di essi richiedono ulteriori ricerche. Capire se la riproiezione è una buona idea si riduce a quanto possiamo minimizzare i manufatti. È una possibilità promettente, ma ci sono molte domande senza risposta.

Soluzione n. 2: rendering locale

Una strategia completamente diversa è quella di dimenticare il PC ed eseguire il rendering localmente sull'auricolare. Ecco come funzionano Microsoft HoloLens e Samsung Gear VR. Non si sa molto sull'HoloLens Cinque domande sul "Progetto HoloLens" di MicrosoftLe nuove cuffie con tecnologia a realtà aumentata di Microsoft sono molto interessanti, ma possono risolvere i problemi fondamentali dell'AR? Leggi di più , ma Gear VR presenta una serie di gravi limitazioni. La sua GPU mobile può gestire alcune esperienze VR modeste (con un'ottimizzazione intensiva), ma a malapena. La gestione del calore è un problema, la risoluzione e la frequenza di aggiornamento non raggiungono il livello necessario per la presenza sulla scena e l'auricolare non ha tracciamento della posizione. Alcuni di questi sono dovuti alle limitazioni della tecnologia mobile e presto miglioreranno, sostenuti dall'ondata della Legge di Moore.

Tuttavia, alcuni di questi problemi sono il risultato della necessità di progettare uno smartphone non progettato per la realtà virtuale. Se stavi costruendo un auricolare VR mobile da zero, potresti fare molte cose in modo diverso. I progettisti potrebbero avere due GPU mobili di fascia alta, uno schermo di aggiornamento molto elevato e una batteria di grandi dimensioni. Potrebbero anche distribuire i componenti per una migliore distribuzione del peso e una migliore gestione del calore. Il fattore di forma risultante potrebbe assomigliare molto al Morpheus di Sony.

Oppure, se gli ingegneri volessero diventare ambiziosi, potrebbero costruire qualcosa di più simile al mini-PC: un piccolo blocco indossabile di computronio contenente una o più GPU per laptop, una ventola e una batteria di grandi dimensioni. Questo dispositivo avrebbe un fattore di forma simile a un Walkman e guiderà un HMD tramite un singolo cavo.

L'attuale GPU di punta NVIDIA, la GTX 980, che è quella che Oculus utilizza internamente, lo è solo circa il 40% più veloce della sua controparte mobile, la 980M, e lo è minuscolo. Probabilmente è possibile inserirne due in un marsupio, con spazio per il resto delle budella di un piccolo PC portatile.

Nota per gli sviluppatori di hardware: in nessun caso consentire alla stampa di descrivere il proprio prodotto come un "marsupio".

Questo fattore di forma sarebbe più pesante di un auricolare autonomo, per non parlare dei costosi - il retro della busta matematica suggerisce un prezzo di circa $ 2500. È possibile che i consumatori moderni non siano interessati a prodotti ingombranti. Tuttavia, è l'unico modo per un auricolare VR mobile di offrire prestazioni competitive con PC VR, e sospetto che i giocatori hardcore e altri beni irredimibili lo faranno. C'è una lunga storia di secchioni che guidano l'avanguardia della tecnologia essendo disposti a indossare prodotti che li rendono ridicoli.

In questo momento, le cuffie mobili soffrono dell'incapacità di fornire il rilevamento della posizione, causando la sensazione nauseabonda che il mondo sia attaccato al busto quando provi a muoverti. Tuttavia, questo problema potrebbe presto essere risolto. A breve termine, Valve's Tecnologia di localizzazione posizionale "faro" è un'ottima soluzione: i proiettori laser sono stupidi, il che significa che possono essere piastrellati per coprire ampi spazi e possono servire molti dispositivi contemporaneamente. Di conseguenza, nei prossimi anni, il monitoraggio dei fari potrebbe diventare un servizio economico per le case e le aziende forniscono, proprio come il WiFi oggi, permettendoti di utilizzare l'hardware VR mobile nella maggior parte degli ambienti chiusi spazi.

A più lungo termine, poiché le telecamere di profondità migliorano in termini di risoluzione e livello di rumore, dovrebbe iniziare a essere possibile utilizzarle per il rilevamento della posizione, con sufficiente precisione per fornire un senso di presenza VR. Ciò consentirà prodotti VR autonomi adatti per l'uso in realtà esterna e aumentata.

Il futuro della realtà virtuale mobile

A lungo termine, le cuffie mobili sono il punto di riferimento della tecnologia VR.

Possiamo fare i conti con la legge di Moore scoprendo quanti raddoppi siamo lontani dall'essere in grado di eseguire il rendering di mondi virtuali fotorealistici su dispositivi mobili. I PC di fascia alta sono forse cinque doppi (un'altra generazione di console) lontani dall'essere in grado di offrire esperienze di gioco fotorealistiche a 1080p. Per la realtà virtuale, ne abbiamo bisogno di un raddoppio per il 3D e altri tre per il rendering a 8K per occhio necessari per eliminare la sfocatura e l'effetto della porta sullo schermo. Per tenere conto della piattaforma mobile, abbiamo bisogno di circa altri quattro duplicati per raggiungere i PC di fascia alta.

Se sommi tutti i raddoppi e moltiplichi per i diciotto mesi dettati dalla legge di Moore, ottieni circa venti anni (2035), che è il punto in cui nessuno sarà in grado di dire la differenza tra una scena VR resa su uno smartphone e una resa su un PC da gioco di fascia alta. A quel punto, non ci sarà motivo di riutilizzare mai un auricolare per PC.

Fino a quel giorno, sospetto che vedremo per un po 'le cuffie VR sia cablate che wireless basate su PC VR. Le cuffie wireless saranno più convenienti, ma le cuffie cablate offriranno una risoluzione migliore, almeno fino a quando le reti 5G non saranno completamente mature.

Dall'altro lato del divario, le cuffie mobili continueranno a migliorare e sposteranno la quota di mercato dal PC mentre scivoliamo lontano abbastanza su per la curva dei rendimenti decrescenti, con sempre più persone disposte a sacrificare una modesta quantità di fedeltà per flessibilità. La concorrenza sarà agguerrita e, si spera, buona per il consumatore. Personalmente, non vedo l'ora.

Sei entusiasta delle cuffie wireless? Conosci una tecnologia che ci siamo persi? Fateci sapere nei commenti!

Crediti immagine: Barone Firenze Via Shutterstock, "Recording Isan’s ...", di Edvvc, "Phubby, "Di Kevin Lin," HTC VR ", di HTC,"Steam Link, "Di Valve,"La legge di Moore, "Di Wikimedia