Google rende pubblico il suo codec vocale Lyra Low Bitrate

Google ha rilasciato il suo codice sorgente beta del codec audio Lyra su GitHub, rendendo disponibile a tutti gli sviluppatori un'incredibile elaborazione audio a basso bitrate di qualità. Il codec è particolarmente utile in situazioni incorporate e con larghezza di banda limitata in cui è necessario salvare il maggior numero di dati possibile.

Lyra: Quasi niente non è mai sembrato così bello

Il codec audio funziona secondo il principio di fornire il parlato dal suono più naturale con la velocità di dati più bassa possibile. Riesce a creare livelli quasi inquietanti di riproduzione audio con bitrate fino a 3 kbps. Google utilizza la compressione Lyra in tempo reale già nella sua app Duo, anche se non verresti biasimato per non aver realizzato alcuna differenza rispetto all'audio della larghezza di banda normale.

Per dimostrare quanto sia migliore Lyra rispetto ad altri codec, Google fornisce esempi tramite un file post sul blog confrontando il codec di compressione basato sull'apprendimento automatico con altre alternative a 3 e 6 kbps.

È una differenza da notte a giorno e fornire agli sviluppatori di tutto il mondo questi strumenti sarà un driver significativo per migliorare la qualità della comunicazione dove la larghezza di banda è scarsa. È anche un eccellente motivatore per gli sviluppatori che cercano di creare nuove app nei mercati emergenti, qualcosa che Google sicuramente coprirà nel corso di quest'anno conferenza virtuale gratuita di Google I / O online.

Il codice sorgente beta è attualmente progettato pensando ai dispositivi Arm a 64 bit, sebbene gli esempi vengano eseguiti anche su sistemi Linux x86 a 64 bit. Il codice sorgente è fornito completamente documentato, sebbene sia in beta, e la pagina GitHub fornisce le istruzioni di installazione e come costruire Lyra su Linux per target Arm a 64 bit.

Per ottenere il codice sorgente beta di Lyra, vai al Pagina Lyra GitHub.

Come funziona Lyra?

Mentre il processo effettivo utilizzato da Lyra è una combinazione incredibilmente complessa di modelli di apprendimento automatico addestrati migliaia di ore di dati vocali e ottimizzazioni della tecnologia dei codec audio esistenti, la teoria è abbastanza semplice.

Ogni 40 ms, le funzionalità vengono prese dal parlato e compresse fino a 3 kbps. Queste caratteristiche rappresentano i punti di energia del parlato attraverso lo spettro di frequenze più vicini alla risposta del parlato uditivo umano - le cose che dobbiamo riconoscere e capire quando qualcuno parla.

La parte fondamentale di ciò che rende speciale Lyra è il modo in cui utilizza queste informazioni:

Tuttavia codec parametrici tradizionali, che estraggono semplicemente dal parlato i parametri critici che possono essere utilizzato per ricreare il segnale all'estremità ricevente, ottenere bitrate bassi, ma spesso suona robotico e innaturale. Queste carenze hanno portato allo sviluppo di una nuova generazione di modelli generativi audio di alta qualità che hanno ha rivoluzionato il campo potendo non solo differenziare i segnali, ma anche generarne di completamente nuovi quelli.

Dopo la trasmissione, Lyra ricostruisce la forma d'onda riempiendo ciò che manca usando questo processo, pur non essendo in qualche modo troppo complesso dal punto di vista computazionale.

Da un lato, è una meraviglia tecnologica che funzionerà quasi ovunque. D'altro canto, non sono ancora convinto al 100% che non sia stregoneria.

10 funzioni di Google Duo che dovresti davvero utilizzare

Google Duo è una delle migliori app per videochiamate in circolazione. Ha molte funzionalità e qui ci sono quelle che pensiamo dovresti davvero usare.

Leggi Avanti

Circa l'autore