Le nuove cuffie Apple sono dotate di un chip completamente nuovo.
Vision Pro porta il nuovo silicio Apple, il chip R1, dedicato all'elaborazione dei dati in tempo reale da tutti i sensori integrati. È responsabile del tracciamento di occhi, mani e testa, del rendering senza ritardi dell'ambiente dell'utente in modalità passthrough video e di altre funzionalità di visionOS.
Scaricando il carico di elaborazione dal processore principale e ottimizzando le prestazioni, R1 riduce cinetosi a livelli impercettibili, sia che si utilizzi l'auricolare nella realtà aumentata o nella realtà virtuale modalità. Esploriamo come funziona il chip Apple R1 e lo confrontiamo con il chip M2 principale, le funzionalità Vision Pro che abilita e altro ancora.
Cos'è il chip R1 di Apple? Come funziona?
L'Apple R1, non il chip M2 principale, elabora un flusso continuo di dati in tempo reale inviati a Vision Pro dalle sue dodici telecamere, cinque sensori e sei microfoni.
Due telecamere esterne principali registrano il tuo mondo, spingendo oltre un miliardo di pixel sugli schermi 4K delle cuffie ogni secondo. Inoltre, un paio di videocamere laterali, insieme a due videocamere montate sul fondo e due illuminatori a infrarossi, monitorano il movimento delle mani da un'ampia gamma di posizioni, anche in condizioni di scarsa illuminazione.
I sensori rivolti verso l'esterno includono anche lo scanner LiDAR e la fotocamera TrueDepth di Apple che catturano a mappa di profondità dell'ambiente circostante, consentendo a Vision Pro di posizionare accuratamente gli oggetti digitali nel tuo spazio. All'interno, un anello di LED attorno a ogni schermo e due telecamere a infrarossi tracciano il movimento degli occhi, che costituisce la base della navigazione visionOS.
L'R1 ha il compito di elaborare i dati di tutti quei sensori, comprese le unità di misura inerziali, con un ritardo impercettibile. Questo è della massima importanza in termini di rendere l'esperienza spaziale fluida e credibile.
Come si confronta l'Apple R1 con M1 e M2?
M1 e M2 sono processori generici ottimizzati per i computer Mac. L'R1 è un coprocessore a fuoco ristretto progettato per supportare esperienze AR fluide. Fa il suo lavoro più velocemente di quanto potrebbero fare M1 o M2, consentendo vantaggi come un'esperienza senza ritardi.
Apple non ha specificato quanti core CPU e GPU ha l'R1 né dettagliato la frequenza della CPU e la RAM, rendendo difficile un confronto diretto tra R1, M1 e M2.
I domini principali dell'R1 sono il tracciamento degli occhi e della testa, i gesti delle mani e la mappatura 3D in tempo reale tramite il sensore LiDAR. L'offload di tali operazioni ad alta intensità di calcolo consente a M2 di eseguire in modo efficiente i vari sottosistemi, algoritmi e app di visionOS.
Le caratteristiche principali del chip R1 di Vision Pro
L'R1 ha queste funzionalità chiave:
- Elaborazione rapida: Gli algoritmi specializzati e l'elaborazione del segnale dell'immagine in R1 sono ottimizzati per comprendere gli input di sensori, fotocamera e microfono.
- Bassa latenza: L'architettura hardware ottimizzata si traduce in una latenza molto bassa.
- Efficienza Energetica: L'R1 gestisce un particolare insieme di attività utilizzando un'energia minima, grazie alla sua efficace architettura di memoria e al processo di produzione a 5 nm di TSMC.
L'aspetto negativo è che il design a doppio chip del Vision Pro e la raffinatezza dell'R1 contribuiscono al prezzo elevato dell'auricolare e alla durata della batteria di due ore.
Quali vantaggi offre R1 a Vision Pro?
L'R1 consente un tracciamento preciso di occhi e mani che "funziona". Per navigare in visionOS, ad esempio, dirigi lo sguardo verso pulsanti e altri elementi.
Vision Pro utilizza i gesti delle mani per selezionare elementi, scorrere e altro. La raffinatezza e la precisione del tracciamento di occhi e mani hanno permesso agli ingegneri di Apple di creare un visore per realtà mista che non richiede controller fisici.
La precisione di tracciamento e il ritardo minimo dell'R1 consentono funzionalità aggiuntive, come la digitazione ad aria sulla tastiera virtuale. L'R1 consente inoltre un affidabile rilevamento della testa, fondamentale per creare una tela di calcolo spaziale che circonda l'utente. Ancora una volta, la precisione è fondamentale qui: vuoi che tutti gli oggetti AR mantengano la loro posizione indipendentemente da come inclini e giri la testa.
La consapevolezza spaziale è un altro fattore che contribuisce all'esperienza. L'R1 acquisisce i dati di profondità dal sensore LiDAR e dalla fotocamera TrueDepth, eseguendo la mappatura 3D in tempo reale. Le informazioni sulla profondità consentono al visore di comprendere l'ambiente circostante, come pareti e mobili.
Questo, a sua volta, è importante per la persistenza AR, che si riferisce al posizionamento fisso di oggetti virtuali. Aiuta anche Vision Pro a informare l'utente prima che si imbatta in oggetti fisici, contribuendo a ridurre il rischio di incidenti nelle applicazioni AR.
In che modo R1 Sensor Fusion mitiga la cinetosi da AR?
Il design a doppio chip di Vision Pro scarica l'elaborazione del sensore dal chip M2 principale, che esegue il sistema operativo e le app visionOS. Secondo il Comunicato stampa VisionPro, l'R1 trasmette le immagini dalle telecamere esterne ai display interni entro 12 millisecondi, ovvero otto volte più velocemente di un battito di ciglia, riducendo al minimo il ritardo.
Il ritardo si riferisce alla latenza tra ciò che vedono le telecamere e le immagini visualizzate sugli schermi 4K delle cuffie. Più breve è il ritardo, meglio è.
La cinetosi si verifica quando c'è un ritardo percettibile tra l'input che il tuo cervello riceve dai tuoi occhi e ciò che percepisce il tuo orecchio interno. Può verificarsi in molte situazioni, anche in un parco di divertimenti, su a giro in barca o in crociera, durante l'utilizzo di un dispositivo VR, ecc.
La realtà virtuale può far ammalare le persone a causa di conflitti sensoriali, con conseguenti sintomi di cinetosi come disorientamento, nausea, vertigini, mal di testa, affaticamento degli occhi, posizione seduta, vomito e altri.
La realtà virtuale può anche essere dannosa per i tuoi occhi a causa dell'affaticamento degli occhi, i cui sintomi includono dolore o prurito agli occhi, visione doppia, mal di testa e mal di collo. Alcune persone possono avvertire uno o più di questi sintomi per diverse ore dopo aver tolto l'auricolare.
Come regola generale, un dispositivo VR dovrebbe aggiornare il display almeno 90 volte al secondo (FPS) e il ritardo dello schermo dovrebbe essere inferiore a 20 millisecondi per evitare di provocare mal d'auto.
Con il ritardo dichiarato di soli 12 millisecondi, l'R1 riduce il ritardo a un livello impercettibile. Mentre l'R1 aiuta a ridurre al minimo gli effetti della cinetosi, alcuni tester di Vision Pro hanno riportato sintomi di cinetosi dopo aver indossato l'auricolare per oltre 30 minuti.
I coprocessori Apple Silicon specializzati offrono grandi vantaggi
Apple non è estranea ai processori specializzati. Nel corso degli anni, il suo team di silicio ha prodotto chip mobili e desktop che sono l'invidia del settore.
I chip di silicio Apple fanno molto affidamento su coprocessori specializzati per gestire funzionalità specifiche. Secure Enclave gestisce in modo sicuro i dati biometrici e di pagamento, ad esempio, mentre il Neural Engine accelera le funzioni AI senza distruggere la batteria.
Sono esempi perfetti di ciò che si può ottenere disponendo di un coprocessore altamente focalizzato per il giusto insieme di attività vs. utilizzando il processore principale per tutto.
