Durante la WWDC23 Apple ha fatto solo degli accenni all’Intelligenza Artificiale AI, senza però mai pronunciare esattamente queste parole, ma in alcune sessioni della conferenza per sviluppatori sono state evidenziate peculiarità che permetteranno di velocizzare le funzioni AI in locale, a partire da macOS Sonoma, direttamente sul dispositivo dell’utente, anche quando l’accesso a internet non è disponibile.
Le modifiche in questione permettono a modelli di apprendimento come Stable Diffusion (noto per la possibilità di creare immagini a partire da descrizioni testuali) di funzionare più velocemente utilizzando meno memoria.
Hugging Face, azienda specializzata in questo settore, evidenzia le migliorie che è possibile ottenere in Stable Diffusion graie a Core ML (framework per l’apprendimento automatico di Apple) su iPhone, iPad e Mac. Apple ha ottimizzato il framework Corel ML e anche il toolbox coremltools (che consente di convertire i modelli nel formato Core ML) include nuovi strumenti di di compressione e ottimizzazione.
I cambiamenti permettono a modelli come Stable Diffusion di funzionare più velocemente e con meno memoria. Apple dichiara che queste nuove ottimizzazioni permettono di ottenere prestazioni Nural Engine migliori fino al 30% rispetto a quanto offerto in precedenza.
Altra novità è che il framework permette di sfruttare la paletizzazione a 6 bit, una modalità di rappresentazione dei numeri in virgola mobile (riferimento alle palette con un numero fisso di colori e a una tecnica che permette di rappresentare più colori quando sono in realtà disponibili meno colori).
Exciting updates to #stablediffusion with Core ML!
– 6-bit weight compression that yields just under 1 GB
– Up to 30% improved Neural Engine performance
– New benchmarks on iPhone, iPad and Macs
– Multilingual system text encoder support
– ControlNet https://t.co/wVMDG5FZjc 🧵— Atila (@atiorh) June 14, 2023
L’app Diffusers di Hugging Face dovrebbe essere aggiornata a breve per sfruttare nuove ottimizzazione AI del “motore” CorelML di Apple. Queste novità sono per il momento state testate su macOS Sonoma ma è probabile che funzionalità simili siano o saranno disponibili anche su iOS 17 e iPadOS 17, con ovvii benefici per app che poggiano il loro funzionamento sull’AI generativa.
A macOS 10.14 Sonoma stiamo dedicando man mano diversi articoli di approfondimento illustrando peculiarità e novità di rilievo: la sezione dedicata di macitynet con tutti gli articoli su Sonoma è disponibile da questa pagina.
