Cinque domande sul "Progetto HoloLens" di Microsoft

Annuncio pubblicitario

Mercoledì mattina, Microsoft ha mostrato un progetto a cui ha lavorato per sette anni, chiamato un auricolare in realtà aumentata Progetto HoloLens.

La visione è ambiziosa: vogliono cambiare radicalmente il modo in cui le persone interagiscono con i computer costruire un paio di occhiali in grado di mescolare fluidamente contenuti virtuali e reali nello spazio fisico di l'utente. Questo è come tecnologia di realtà virtuale Perché la tecnologia della realtà virtuale ti lascerà a bocca aperta in 5 anniIl futuro della realtà virtuale include il monitoraggio della testa, degli occhi e delle espressioni, il tocco simulato e molto altro. Queste incredibili tecnologie saranno disponibili tra 5 anni o meno. Leggi di più , ma fondamentalmente più potente. Inoltre, vogliono eseguire tutte le elaborazioni localmente sugli occhiali: nessun computer, nessun telefono, nessun cavo. Stanno persino lanciando una versione speciale di Windows solo per il nuovo hardware. Questa è la fase successiva dell'evoluzione tecnologica per tutti quelli

Giochi AR App in realtà aumentata: utili o semplicemente pubblicitarie? MakeUseOf TestsNel 2011, gli analisti hanno previsto l'ascesa delle app mobili di Realtà Aumentata. La tecnologia nascente rivoluzionerebbe il modo in cui interagiamo con i nostri dispositivi mobili. Flash forward di due anni e dozzine di app AR popolano tutti ... Leggi di più hai installato sul telefono una volta e da allora non hai più toccato.

Il loro arco di tempo è ancora più ambizioso dei loro obiettivi: vogliono spedire i kit di sviluppo questa primavera e il prodotto di consumo "durante il periodo di Windows 10". Ecco il tono.

Tutto questo suona alla grande, ma lo ammetto con un livello abbastanza alto di scetticismo.

Le tecnologie che Microsoft sta utilizzando presentano sfide serie e fondamentali e finora Microsoft è stata molto attenta a come (o se) le hanno risolte. Se non li hanno risolti, il loro obiettivo di spedizione entro un anno è molto preoccupante. L'ultima cosa di cui VR e AR hanno bisogno è una grande azienda che spedisce un altro prodotto cotto come il Kinect. Ricorda il Demo del progetto Natal dal 2009?

Senza ulteriori indugi, ecco le cinque cose più importanti che vorrei sapere sull'HoloLens.

È un display a campo chiaro?

Per capire questo, dobbiamo guardare un po 'più in profondità nel 3D e come funziona. Per avere la sensazione di un mondo 3D reale e tangibile, i nostri cervelli integrano molti tipi diversi di informazioni. Otteniamo spunti di approfondimento sul mondo in tre modi principali:

• Profondità stereo - la disparità tra ciò che entrambi i nostri occhi vedono. Fingere questo è come funzionano i film in 3D
• Parallax di movimento - i sottili movimenti della testa e del busto ci forniscono ulteriori spunti di profondità per oggetti più lontani
• Messa a fuoco ottica - quando ci concentriamo su qualcosa, le lenti dei nostri occhi si deformano fisicamente fino a quando non vengono messe a fuoco; gli oggetti in campo vicino richiedono una maggiore distorsione dell'obiettivo, che fornisce informazioni di profondità su ciò che stiamo osservando

La messa a fuoco ottica è facile da verificare: chiudi un occhio e tieni il pollice davanti a un muro attraverso la stanza. Quindi, sposta la messa a fuoco dalla tua miniatura alla superficie dietro di essa. Quando guardi oltre il pollice, il pollice si sposterà fuori fuoco perché la lente dell'occhio è ora meno deformata e non riesce a raccogliere correttamente la luce proveniente da esso.

Le cuffie VR come Oculus Rift forniscono i primi due segnali in modo estremamente preciso, ma non l'ultimo, che funziona sorprendentemente bene: i nostri occhi si rilassano completamente, poiché l'ottica focalizza le immagini mentre attraverso la luce venivano da infinitamente lontani lontano. La mancanza dell'indicazione della messa a fuoco ottica non è realistica, ma di solito non distrae. Puoi ancora avere esperienze di gioco molto interessanti 5 esperienze di gioco Oculus Rift che ti lasceranno a bocca apertaOra che la seconda generazione del kit di sviluppo di Oculus Rift è disponibile e nelle mani degli sviluppatori di tutto il mondo, diamo un'occhiata ad alcune delle migliori cose che hanno colpito Rift finora. Leggi di più Senza esso.

Nella realtà aumentata, il problema è diverso, perché devi mescolare la luce da oggetti reali e virtuali. La luce del mondo reale sarà naturalmente focalizzata su una varietà di profondità. Il contenuto virtuale, tuttavia, sarà focalizzato a una distanza fissa e artificiale dettata dall'ottica, probabilmente sull'infinito. Gli oggetti virtuali non sembreranno davvero parte della scena. Saranno fuori fuoco quando guarderai le cose reali alla stessa profondità e viceversa. Non sarà possibile muovere fluentemente l'occhio attraverso la scena, mantenendolo a fuoco, come fai normalmente. Gli indizi di profondità contrastanti saranno nel migliore dei casi confusi e nel peggiore dei casi disgustosi.

Per risolvere questo problema, hai bisogno di qualcosa chiamato display del campo luminoso. I display a campo luminoso sono display che utilizzano una serie di minuscoli obiettivi per visualizzare la luce focalizzata su più profondità contemporaneamente. Ciò consente all'utente di concentrarsi naturalmente sul display e (per la realtà aumentata) risolve il problema sopra descritto.

Vi è, tuttavia, un problema: i display dei campi luminosi essenzialmente mappano un singolo schermo 2D su un campo luminoso tridimensionale, il che significa che ogni "profondità pixel "che l'utente percepisce (ed esiste ad una particolare profondità focale nella scena) è in realtà costituito da luce proveniente da molti pixel dell'originale Schermo. Quanto più fine è la profondità che vuoi rappresentare, tanto più risoluzione devi rinunciare.

Generalmente, i campi luminosi hanno circa un otto volte riduzione della risoluzione per fornire un'adeguata precisione della profondità. I migliori microdisplays disponibili hanno una risoluzione di circa 1080p. Supponendo un microdisplay di fascia alta che guida ogni occhio, ciò renderebbe la risoluzione effettiva dell'auricolare Microsoft solo di circa 500 x 500 pixel per occhio, meno persino di Oculus Rift DK1. Se il display ha un campo visivo elevato, gli oggetti virtuali saranno chiazze di pixel incomprensibili. In caso contrario, l'immersione subirà proporzionalmente. In realtà non riusciamo mai a vedere attraverso l'obiettivo (solo ricreazioni al computer di ciò che l'utente sta vedendo), quindi non abbiamo idea di come sia realmente l'esperienza dell'utente.

È possibile che Microsoft abbia escogitato una nuova soluzione a questo problema, per consentire l'uso di un display a campo chiaro senza il compromesso della risoluzione. Tuttavia, Microsoft è stata estremamente cauta riguardo alla sua tecnologia di visualizzazione, il che mi fa sospettare che non lo siano. Ecco la migliore spiegazione che abbiamo ottenuto finora (dal CABLATA dimostrazione).

Per creare immagini di Project HoloLens, le particelle di luce rimbalzano circa milioni di volte nel cosiddetto motore di luce del dispositivo. Quindi i fotoni entrano nelle due lenti degli occhiali, dove rimbalzano tra strati di vetro blu, verde e rosso prima di raggiungere la parte posteriore dell'occhio.

Questo tipo di descrizione della tecnologia potrebbe significare praticamente qualsiasi cosa (anche se, in tutta onestà con Microsoft, l'hardware ha impressionato WIRED, sebbene l'articolo fosse leggero sui dettagli).

Non ne sapremo di più fino a quando Microsoft non inizierà a rilasciare le specifiche tecniche, probabilmente tra mesi. In un'ulteriore nota del nit picking, è davvero necessario affogare il progetto in questo discorso di marketing? Il processore dedicato che stanno utilizzando per il monitoraggio della testa è chiamato "processore olografico" e le immagini sono chiamate "ologrammi", senza motivo particolare. Il prodotto è fondamentalmente abbastanza fresco da non essere davvero necessario dorarlo in questo modo.

Il monitoraggio è abbastanza buono?

L'auricolare Project HoloLens è dotato di una videocamera ad alta profondità FOV (come il Kinect), che utilizza per capire dove l'auricolare è nello spazio (cercando di allineare l'immagine di profondità che sta vedendo con il suo modello del mondo, composto da profondità passate immagini). Ecco la loro demo live dell'auricolare in azione.

Il tracciamento è impressionante considerando che non utilizza marcatori o altri trucchi, ma anche in quel video (sotto condizioni fortemente controllate), è possibile notare una certa oscillazione: il tracciamento non è completamente stabile. C'è da aspettarselo: questo tipo di tracciamento al rovescio è estremamente difficile.

Tuttavia, la grande lezione del vari prototipi di Oculus Rift Guardaci mentre prova Oculus Rift Crescent Bay al CES 2015Oculus Rift Crescent Bay è un nuovissimo prototipo che mostra alcuni entusiasmanti miglioramenti nella tecnologia della realtà virtuale. Lo proviamo al CES 2015. Leggi di più è che l'accuratezza del tracciamento conta molto. Il tracking jittery è semplicemente fastidioso quando si tratta di alcuni oggetti in un mondo reale sostanzialmente stabile, ma in scene come la demo di Marte hanno mostrato nel loro concetto video, in cui quasi tutto ciò che vedi è virtuale, un tracciamento impreciso potrebbe portare a una mancanza di "presenza" nella scena virtuale, o addirittura al simulatore malattia. Microsoft può ottenere il tracciamento fino allo standard impostato da Oculus (precisione di tracciamento sotto il millimetro e latenza totale inferiore a 20 ms) entro la data di spedizione alla fine di quest'anno?

Ecco Michael Abrash, un ricercatore di realtà virtuale che ha lavorato sia per Valve che per Oculus, parlando del problema

[Poiché c'è sempre un ritardo nella generazione di immagini virtuali, [...] è molto difficile ottenere immagini virtuali e reali da registrare abbastanza da vicino in modo che l'occhio non se ne accorga. Ad esempio, supponiamo di avere una lattina di Coca Cola reale che desideri trasformare in una lattina Pepsi AR disegnando un logo Pepsi sul logo Coke. Se ci vogliono decine di millisecondi per ridisegnare il logo Pepsi, ogni volta che ruoti la testa l'effetto sarà quello il logo Pepsi sembrerà spostarsi di alcuni gradi rispetto alla lattina e una parte del logo Coke diventerà visibile; quindi il logo Pepsi tornerà al punto giusto quando smetti di muoverti. Questo chiaramente non è abbastanza buono per AR difficile

Il display può disegnare nero?

Un altro problema insieme alla profondità focale e al tracciamento riguarda il disegno di colori scuri. Aggiungere più luce a una scena è relativamente semplice, usando i divisori del raggio. Prendere la luce è molto più difficile. Come si scuriscono selettivamente parti del mondo reale? Montare uno schermo LCD selettivamente trasparente non lo taglierà, poiché non può sempre essere nella messa a fuoco corretta per bloccare ciò che stai guardando. Gli strumenti ottici per risolvere questo problema, a meno che Microsoft non li abbia inventati segretamente, semplicemente non esistono.

Questo è importante, perché per molte applicazioni che Microsoft mette in mostra (come guardare Netflix sul tuo muro), le cuffie hanno davvero bisogno la possibilità di rimuovere la luce proveniente dal muro, altrimenti il ​​tuo film avrà sempre un motivo a stucco visibile sovrapposto ad esso: sarà impossibile per le immagini bloccare gli oggetti reali nella scena, rendendo l'uso dell'auricolare fortemente dipendente dall'illuminazione ambientale condizioni. Torna a Michael Abrash:

[S] o nulla del genere è emerso nell'industria o nella letteratura dell'AR, e se non fino a quando, AR dura, nel senso di SF che tutti conosciamo e amiamo, non può accadere, tranne nel quasi buio.

Ciò non significa che l'AR sia fuori dal tavolo, solo che per un po 'sarà comunque un AR morbido, basato sulla fusione additiva [...] Ancora una volta, pensa traslucido come "Acchiappafantasmi". Anche le immagini virtuali ad alta intensità senza aree scure funzioneranno, specialmente con l'aiuto dell'oscuramento regionale o globale: non sembreranno solo parte del reale mondo.

Che dire dell'occlusione?

"Occlusione" è il termine per ciò che accade quando un oggetto passa davanti a un altro e ti impedisce di vedere cosa c'è dietro. Affinché lo scenario virtuale sembri una parte tangibile del mondo, è importante che gli oggetti reali occludano il virtuale oggetti: se tieni la mano davanti a un pezzo di immagini virtuali, non dovresti riuscire a vederlo attraverso il tuo mano. A causa dell'utilizzo di una videocamera di profondità sull'auricolare, questo è effettivamente possibile. Ma guarda di nuovo la demo dal vivo:

In generale, controllano attentamente gli angoli della telecamera per evitare che oggetti reali passino davanti a quelli virtuali. Tuttavia, quando il dimostratore interagisce con il menu di Windows, puoi vedere che la sua mano non lo nasconde affatto. Se questo è al di fuori della portata della loro tecnologia, questo è un brutto segno per la fattibilità del loro prodotto di consumo.

E a proposito di quell'interfaccia utente ...

È davvero questa l'interfaccia utente finale?

L'interfaccia utente mostrata da Microsoft nei loro video dimostrativi sembra funzionare usando una combinazione di sguardo e mano tracciamento per controllare un cursore nella scena virtuale, usando i comandi vocali per selezionare tra diversi opzioni. Ciò ha due principali inconvenienti: ti fa sembrare il bambino nello Shining che parla al suo dito, ma, soprattutto, rappresenta anche un paradigma progettuale fondamentalmente imperfetto.

Storicamente, le migliori interfacce utente sono state quelle che portano intuizioni fisiche sul mondo nel mondo virtuale. Il mouse ha portato clic, trascinamento e finestre. L'interfaccia touch ha portato scorrere per scorrere e pizzicare per ingrandire. Entrambi sono stati fondamentali per rendere i computer più accessibili e utili alla popolazione in generale, perché erano fondamentalmente più intuitivi di quanto non fosse prima.

VR e AR ti danno molta più libertà come designer: puoi posizionare gli elementi dell'interfaccia utente ovunque su uno spazio 3D e far interagire gli utenti con loro in modo naturale, come se fossero oggetti fisici. Un numero enorme di metafore ovvie si suggerisce. Tocca un elemento dell'interfaccia utente virtuale per selezionarlo. Pizzica per raccoglierlo e spostarlo. Sfilalo per riporlo temporaneamente. Schiacciarlo per eliminarlo. Puoi immaginare di costruire un'interfaccia utente così totalmente intuitiva da non richiedere spiegazioni. Qualcosa che tua nonna può capire all'istante, perché è costruita su una base di intuizioni fisiche di base che tutti costruiscono nel corso di una vita di interazione con il mondo. Prenditi un minuto e ascolta questa persona intelligente descrivere quali potrebbero essere le interfacce immersive.

In altre parole, sembra ovvio (per me) che dovrebbe essere un'interfaccia utente immersiva almeno intuitivo come le interfacce touch introdotte da iPhone per schermi multitouch 2D. Costruire un'interfaccia attorno alla manipolazione di un "mouse" VR è un passo indietro e rivela una profonda tecnologia carenze nella loro tecnologia di localizzazione manuale o un fondamentale fraintendimento di ciò che è interessante di questo nuovo medio. Ad ogni modo, è un brutto segno che questo prodotto sia più di un colossale flop su scala Kinect.

Speriamo che Microsoft abbia il tempo di ricevere feedback su questo e fare un lavoro migliore. Ad esempio, ecco un'interfaccia progettata da un hobbista per Oculus Rift DK2 e Leap Motion. Un'interfaccia utente coinvolgente progettata da una grande azienda dovrebbe essere almeno così buona.

Un segno di cose a venire

Nel complesso, sono estremamente scettico sul progetto HoloLens nel suo insieme. Sono molto contento che un'azienda con risorse di Microsoft stia indagando su questo problema, ma sono preoccupato che lo siano cercando di accelerare un prodotto senza risolvere alcuni problemi tecnici di base critici o inchiodare una buona interfaccia utente paradigma. HoloLens è un segnale delle cose a venire, ma ciò non significa che il prodotto stesso fornirà una buona esperienza ai consumatori.

Credito d'immagine: per gentile concessione di Microsoft