Cos'è il Neural Engine di Apple e come funziona?

Il tuo iPhone, iPad, Mac e Apple TV utilizzano un'unità di elaborazione neurale specializzata chiamata Apple Neural Engine (ANE) che è molto più veloce ed efficiente dal punto di vista energetico rispetto alla CPU o alla GPU.

ANE rende possibili funzionalità avanzate sul dispositivo come l'elaborazione del linguaggio naturale e l'analisi delle immagini senza attingere al cloud o utilizzare una potenza eccessiva.

Esploriamo come funziona ANE e la sua evoluzione, inclusa l'inferenza e l'intelligenza che alimenta sulle piattaforme Apple e come gli sviluppatori possono utilizzarlo nelle app di terze parti.

Che cos'è l'Apple Neural Engine (ANE)?

Apple Neural Engine è un nome commerciale per un cluster di core di elaborazione altamente specializzati ottimizzati per l'esecuzione efficiente dal punto di vista energetico di reti neurali profonde su dispositivi Apple. Accelera gli algoritmi di machine learning (ML) e intelligenza artificiale (AI), offrendo enormi vantaggi in termini di velocità, memoria e potenza rispetto alla CPU o alla GPU principale.

ANE è una parte importante del motivo per cui gli ultimi iPhone, iPad, Mac e Apple TV sono reattivi e non si surriscaldano durante i pesanti calcoli di ML e AI. Sfortunatamente, non tutti i dispositivi Apple hanno un ANE: l'Apple Watch, i Mac basati su Intel e i dispositivi più vecchi del 2016 ne sono privi.

Il primo ANE che ha debuttato all'interno del chip A11 di Apple nell'iPhone X del 2017 era abbastanza potente da supportare Face ID e Animoji. In confronto, l'ultimo ANE nel chip A15 Bionic è 26 volte più veloce della prima versione. Al giorno d'oggi, ANE abilita funzionalità come Siri offline e gli sviluppatori possono utilizzarlo per eseguire modelli ML precedentemente addestrati, liberando CPU e GPU per concentrarsi su attività più adatte a loro.

Come funziona il motore neurale di Apple?

ANE fornisce il controllo e la logica aritmetica ottimizzati per l'esecuzione di operazioni di calcolo estese come la moltiplicazione e accumulo, comunemente utilizzato negli algoritmi ML e AI come la classificazione delle immagini, l'analisi dei media, la traduzione automatica e Di più.

Secondo Il brevetto di Apple intitolato "Motore planare multimodale per processore neurale", ANE è costituito da diversi core del motore neurale e uno o più circuiti planari multimodali.

Il design è ottimizzato per il calcolo parallelo, in cui molte operazioni, come le moltiplicazioni di matrici eseguite in trilioni di iterazioni, devono essere eseguite simultaneamente.

Per accelerare l'inferenza negli algoritmi AI, ANE utilizza modelli predittivi. Inoltre, ANE ha la propria cache e supporta solo pochi tipi di dati, il che aiuta a massimizzare le prestazioni.

Funzionalità AI fornite da ANE

Ecco alcune funzionalità sul dispositivo che potresti conoscere e che ANE rende possibili.

• Elaborazione del linguaggio naturale: Riconoscimento vocale più rapido e affidabile per Dettatura e Siri; Miglioramento dell'apprendimento del linguaggio naturale nell'app Translate e in tutto il sistema; Traduzione istantanea del testo in Foto, Fotocamera e altre app per iPhone.
• Visione computerizzata: trovare oggetti in immagini come punti di riferimento, animali domestici, piante, libri e fiori utilizzando l'app Foto o la ricerca Spotlight; Ottenere ulteriori informazioni su oggetti riconosciuti utilizzando Visual Look Up in luoghi come Safari, Mail e Messaggi.
• Realtà aumentata: Occlusione delle persone e tracciamento del movimento nelle app AR.
• Analisi video: Rilevamento di volti e oggetti su video in app come Final Cut Pro.
• Effetti della fotocamera: Ritaglio automatico con Center Stage; Sfocatura dello sfondo durante le videochiamate FaceTime.
• Giochi: Effetti fotorealistici nei videogiochi 3D.
• Testo dal vivo: Fornisce il riconoscimento ottico dei caratteri (OCR) in Fotocamera e Foto, consentendo di copiare facilmente la scrittura a mano o il testo come una password Wi-Fi o un indirizzo dalle immagini.
• Fotografia computazionale: Deep Fusion analizza i pixel per una migliore riduzione del rumore, una maggiore gamma dinamica e una migliore esposizione automatica e bilanciamento del bianco, sfruttando Smart HDR quando appropriato; Fotografia con profondità di campo ridotta, incluso lo scatto di ritratti in modalità notturna; Regolazione del livello di sfocatura dello sfondo con Controllo profondità.
• Bocconcini: ANE viene utilizzato anche per gli stili fotografici nell'app Fotocamera, la cura dei ricordi e gli effetti stilistici nelle foto, consigli personalizzati come suggerimenti per lo sfondo, sottotitoli delle immagini di VoiceOver, ricerca di duplicati di immagini in Foto, ecc.

Alcune delle funzionalità sopra menzionate, come il riconoscimento delle immagini, funzionano anche senza la presenza di ANE, ma funzioneranno molto più lentamente e metteranno a dura prova la batteria del dispositivo.

Una breve storia dell'Apple Neural Engine: dall'iPhone X ai Mac M2

Nel 2017, Apple ha implementato il suo primo ANE sotto forma di due core specializzati all'interno del chip A11 dell'iPhone X. Per gli standard odierni, era relativamente lento, con appena 600 miliardi di operazioni al secondo.

L'ANE di seconda generazione è apparso all'interno del chip A12 nel 2018, sfoggiando quattro volte i core. Valutato a cinque trilioni di operazioni al secondo, questo ANE era quasi nove volte più veloce e utilizzava un decimo della potenza del suo predecessore.

Il chip A13 del 2019 aveva lo stesso ANE a otto core ma funzionava un quinto più velocemente utilizzando il 15% in meno di energia, un prodotto del nodo semiconduttore a 7 nm potenziato di TSMC. TSMC (Taiwan Semiconductor Manufacturing Company) fabbrica chip progettati da Apple.

L'evoluzione del motore neurale di Apple

L'anno successivo, l'Apple A14 ha quasi raddoppiato le prestazioni ANE a 11 trilioni di operazioni al secondo, ottenute aumentando il numero di core ANE da 8 a 16. Nel 2021, l'A15 Bionic ha beneficiato del processo a 5 nm di seconda generazione di TSMC, che ha ulteriormente aumentato le prestazioni ANE a 15,8 trilioni di operazioni al secondo senza aggiungere altri core.

I primi chip M1, M1 Pro e M1 Max per Mac avevano lo stesso ANE dell'A14, portando per la prima volta ML e AI avanzati con accelerazione hardware sulla piattaforma macOS.

Nel 2022, l'M1 Ultra ha combinato due chip M1 Max in un unico pacchetto utilizzando l'interconnessione personalizzata di Apple chiamata UltraFusion. Con il doppio dei core ANE (32), l'M1 Ultra ha raddoppiato le prestazioni ANE a 22 trilioni di operazioni al secondo.

L'Apple A16 nel 2022 è stato fabbricato utilizzando il nodo N4 potenziato di TSMC, portando prestazioni ANE più veloci di circa l'8% (17 trilioni di operazioni al secondo) rispetto all'ANE dell'A15.

I primi iPad abilitati per ANE sono stati l'iPad mini di quinta generazione (2019), l'iPad Air di terza generazione (2019) e l'iPad di ottava generazione (2020). Tutti gli iPad rilasciati da allora hanno un ANE.

In che modo gli sviluppatori possono utilizzare ANE nelle app?

Molte app di terze parti utilizzano ANE per funzionalità che altrimenti non sarebbero realizzabili. Ad esempio, l'editor di immagini Pixelmator Pro fornisce strumenti come ML Super Resolution e ML Enhance. E in djay Pro, ANE separa beat, brani strumentali e vocali da una registrazione.

Tuttavia, gli sviluppatori di terze parti non ottengono un accesso di basso livello ad ANE. Invece, tutte le chiamate ANE devono passare attraverso il framework software di Apple per l'apprendimento automatico, Core ML. Con Core ML, gli sviluppatori possono creare, addestrare ed eseguire i loro modelli ML direttamente sul dispositivo. Tale modello viene quindi utilizzato per fare previsioni basate su nuovi dati di input.

"Una volta che un modello si trova sul dispositivo di un utente, puoi utilizzare Core ML per riaddestrarlo o perfezionarlo sul dispositivo, con i dati di quell'utente", secondo la panoramica di Core ML sul Sito web Apple.

Per accelerare gli algoritmi ML e AI, Core ML sfrutta non solo ANE ma anche CPU e GPU. Ciò consente a Core ML di eseguire un modello anche se non è disponibile alcun ANE. Ma con un ANE presente, Core ML funzionerà molto più velocemente e la batteria non si scaricherà così rapidamente.

Molte funzioni Apple non funzionerebbero senza ANE

Molte funzionalità sul dispositivo non sarebbero possibili senza la rapida elaborazione degli algoritmi AI e ML e l'impronta di memoria e il consumo energetico ridotti al minimo offerti da ANE. La magia di Apple è avere un coprocessore dedicato per l'esecuzione di reti neurali privatamente sul dispositivo invece di scaricare tali attività sui server nel cloud.

Con ANE, sia Apple che gli sviluppatori possono implementare reti neurali profonde e raccogliere i vantaggi dell'accelerazione apprendimento automatico per vari modelli predittivi come traduzione automatica, rilevamento di oggetti, classificazione delle immagini, eccetera.