Che cos'è TensorFlow Lite e in che modo è un framework di deep learning?

Potresti aver incontrato TensorFlow Lite durante le schede di sviluppo Edge AI o i progetti di accelerazione AI.

TensorFlow Lite è un framework di pacchetti software che consente la formazione ML localmente sull'hardware. Questa elaborazione e elaborazione sul dispositivo consente agli sviluppatori di eseguire i propri modelli su hardware mirato. L'hardware include schede di sviluppo, moduli hardware, dispositivi embedded e IoT.

Panoramica di TensorFlow Lite Framework

TensorFlow è un termine popolare nel deep learning, poiché molti sviluppatori ML utilizzano questo framework per vari casi d'uso. Fornisce la facilità di implementazione modelli di machine learning e inferenze per le applicazioni AI.

Ma TensorFlow Lite è un framework di apprendimento profondo per l'inferenza locale, in particolare per l'hardware di calcolo basso. Consente l'apprendimento automatico sul dispositivo assistendo gli sviluppatori nell'esecuzione dei loro modelli su dispositivi hardware e IoT compatibili.

Uno sviluppatore deve selezionare un modello adatto a seconda del caso d'uso. Il framework offre anche la possibilità di riqualificare il modello esistente anche su un set di dati personalizzato. Poiché il modello di buffer del protocollo di TensorFlow è di grandi dimensioni e richiede una potenza di calcolo avanzata, consente la conversione del modello TensorFlow nel modello TensorFlow Lite.

La personalizzazione dei parametri di ottimizzazione e quantizzazione consente la riduzione delle dimensioni e della latenza del modello.

Oltre ai vantaggi di latenza e dimensioni di TensorFlow Lite, il framework fornisce la sicurezza dei dati mentre l'addestramento avviene localmente sul dispositivo. Inoltre, non è necessaria la connettività Internet. Pertanto, la distribuzione delle applicazioni non è limitata ad aree specifiche con connettività.

Questi fattori alla fine riducono il carico di consumo energetico sul dispositivo eliminando il fattore di connettività e aumentando l'efficienza dell'inferenza del deep learning.

I modelli del framework TensorFlow Lite esistono in un formato multipiattaforma noto come FlatBuffers. È una libreria di serializzazione che memorizza i dati gerarchici in un buffer binario piatto in modo che sia possibile l'accesso diretto senza decompressione. È inoltre possibile osservare l'estensione ".tflite" per i modelli TensorFlow Lite. Questa tecnica di rappresentazione consente ottimizzazioni nei calcoli e riduce i requisiti di memoria. Quindi, rendendolo molto meglio dei modelli TensorFlow

TinyML su TensorFlow Lite Micro

Poiché TensorFlow Lite è compatibile con varie piattaforme per applicazioni Edge AI, era necessaria la necessità di far convergere ulteriormente la libreria. Pertanto, l'organizzazione ha creato una libreria di sottoinsiemi di TensorFlow Lite, nota come TensorFlow Lite Micro. TensorFlow Lite Micro esegue specificamente modelli di machine learning su microcontrollori in locale con requisiti di memoria minimi di circa pochi kilobyte.

Il core runtime della procedura si integra con 16KB su un Arm Cortex M3 e può funzionare su vari modelli. Il framework non richiede supporto del sistema operativo aggiuntivo o altre librerie di linguaggi di alto livello come dipendenze per l'esecuzione dell'inferenza sul dispositivo.

Lo sviluppo di TensorFlow Lite Micro è radicato in C ++ 11, che richiede un'architettura a 32 bit per la compatibilità. Parlando di più delle architetture, la libreria funziona bene su una robusta gamma di processori basati sull'architettura Arm Cortex-M Series ad altri architetture di design come ESP32.

Flusso di lavoro per i micro casi d'uso di TensorFlow Lite

Il processo di addestramento della rete neurale richiede un hardware computazionale elevato. Quindi, è addestrato sul generale Modello TensorFlow. Tuttavia, la formazione è necessaria solo se un set di dati personalizzato si adatta a un modello di apprendimento profondo, mentre i modelli pre-addestrati sul framework possono essere utilizzati anche per le applicazioni.

Supponendo un caso d'uso personalizzato con il set di dati specifico dell'applicazione, l'utente addestra il modello sul framework TensorFlow generale con un'elevata capacità di elaborazione e architettura. Al termine della formazione, la valutazione del modello utilizzando tecniche di test verifica l'accuratezza e l'affidabilità del modello. Inoltre, il processo è seguito dalla conversione del modello TensorFlow in un modello TensorFlow Lite compatibile con l'hardware nel formato .tflite.

Il formato .tflite è un file buffer piatto comune al framework TensorFlow Lite e all'hardware compatibile. Il modello può inoltre essere utilizzato per l'addestramento all'inferenza sui dati in tempo reale ricevuti sul modello. L'addestramento sull'inferenza ha ottimizzato i modelli per casi d'uso robusti. Quindi, l'opzione dell'addestramento all'inferenza è cruciale per Edge Applicazioni AI.

La maggior parte del firmware del microcontrollore non supporta il filesystem nativo per incorporare direttamente il formato flat buffer del modello TensorFlow Lite. Quindi, la conversione del file .tflite è necessaria in un formato con struttura ad array, compatibile con i microcontrollori.

Includere il programma nell'array C seguito dalla normale compilazione è una tecnica facile per tale conversione. Il formato risultante funge da file sorgente e consiste in una matrice di caratteri compatibile con i microcontrollori.

Dispositivi che supportano TensorFlow Lite Micro

TensorFlow Lite è adatto per dispositivi potenti, ma ha lo svantaggio di un carico di lavoro maggiore sul processore. Sebbene TensorFlow Lite Micro abbia file di piccole dimensioni soggetti a un adattamento insufficiente, ottimizzando la dimensione del file si adatta alla memoria può migliorare significativamente l'output per hardware a bassa potenza e bassa elaborazione come microcontrollori.

Di seguito è riportato l'elenco delle schede di sviluppo dalla documentazione ufficiale di TensorFlow che supporta TensorFlow Lite Micro:

• Arduino Nano 33 BLE Sense
• SparkFun Edge
• Kit Discovery STM32F746
• Adafruit EdgeBadge
• Kit Adafruit TensorFlow Lite per microcontrollori
• Adafruit Circuit Playground Bluefruit
• Espressif ESP32-DevKitC
• Espressif ESP-EYE
• Terminal Wio: ATSAMD51
• Himax WE-I Plus EVB Endpoint AI Development Board

TensorFlow Lite Micro è anche disponibile come libreria Arduino per un supporto esteso per microcontrollori. Può anche creare progetti per ambienti di sviluppo hardware simili a Mbed.

TensorFlow Lite offre molto

Il framework di deep learning TensorFlow Lite apre le possibilità a una serie di applicazioni AI edge. Poiché il framework è open source per gli appassionati di intelligenza artificiale, il supporto della community lo rende ancora più popolare per i casi d'uso di machine learning. La piattaforma complessiva di TensorFlow Lite migliora l'ambiente per la crescita delle applicazioni edge per dispositivi embedded e IoT

Inoltre, ci sono vari esempi per i principianti per assisterli con i casi d'uso pratici sul framework. Alcuni di questi esempi includono il rilevamento di persone in base ai dati raccolti dal sensore di immagine della scheda di sviluppo e il programma hello world standard per tutte le schede di sviluppo. Gli esempi includono anche applicazioni come il rilevamento dei gesti e il riconoscimento vocale per schede di sviluppo specifiche.

Per ulteriori informazioni su TensorFlow Lite e TensorFlow Lite Micro, puoi visitare la pagina della documentazione ufficiale dell'organizzazione. Ci sono molte sezioni concettuali e tutorial per una migliore comprensione del framework.

Inizia con il riconoscimento delle immagini utilizzando TensorFlow e Raspberry Pi

Vuoi fare i conti con il riconoscimento delle immagini? Grazie a Tensorflow e a un Raspberry Pi, puoi iniziare subito.

Leggi Avanti

Circa l'autore