Un modello di intelligenza artificiale da 816 miliardi di parametri che funziona direttamente sulla scrivania, senza ricorrere ai server cloud. È il risultato della collaborazione tra Meta e Apple per Muse Spark Open, il nuovo modello a pesi aperti ottimizzato per i Mac Studio con chip M5 Ultra.
Per eseguirlo in locale servono due Mac Studio con 512 GB di memoria unificata ciascuno, collegati tra loro. Una configurazione impegnativa, destinata soprattutto a sviluppatori e aziende che vogliono utilizzare modelli avanzati mantenendo dati ed elaborazioni sui propri computer.
Cosa può fare Muse Spark Open
Muse Spark Open è stato sviluppato soprattutto per la programmazione, il ragionamento articolato e i cosiddetti compiti agentici, nei quali l’intelligenza artificiale esegue più operazioni per raggiungere un risultato.
Può, ad esempio, esaminare un progetto software, individuare un problema, proporre modifiche al codice e verificarne il funzionamento attraverso gli strumenti collegati. Meta ha mostrato anche applicazioni nel montaggio video, con il modello utilizzato per analizzare filmati e selezionare le sequenze da utilizzare.
Il modello è multimodale: può elaborare testi, immagini, audio e video, restituendo risposte testuali. Dispone di 816 miliardi di parametri complessivi, ma ne attiva circa 42 miliardi per ogni token elaborato. È una soluzione chiamata Mixture of Experts, che riduce il lavoro necessario per generare le risposte.
La finestra di contesto arriva teoricamente a un milione di token, una capacità utile per analizzare documenti molto lunghi o interi progetti software. La quantità di informazioni effettivamente gestibile e la velocità dipendono comunque dalla configurazione hardware.
Come fanno due Mac Studio a eseguire un modello così grande
Il risultato è possibile grazie alla memoria unificata dei chip Apple Silicon e alle ottimizzazioni del framework MLX di Apple.
Nella versione a precisione ridotta utilizzata nei test, Muse Spark Open occupa circa 493 GB per i soli parametri del modello. Occorre però altra memoria per le elaborazioni, rendendo necessario distribuire il carico su più computer.
I due Mac Studio comunicano tramite Thunderbolt 5 e tecnologia RDMA, che permette di trasferire dati direttamente tra le rispettive memorie con una latenza ridotta. Ogni M5 Ultra dispone inoltre di una banda di memoria fino a 1,2 TB/s, utile per alimentare rapidamente la GPU durante la generazione delle risposte.
Nei test pubblicati da Apple, Muse Spark Open raggiunge circa 25 token al secondo utilizzando due Mac Studio con elaborazione parallela. Con quattro computer la velocità supera i 36 token al secondo. Questi risultati riguardano un contesto di 8.192 token: non indicano quindi le prestazioni con la finestra massima da un milione di token.
Quanto costa una configurazione del genere
Il Mac Studio con M5 Ultra parte da 6.699 euro, ma per utilizzare Muse Spark Open nella configurazione descritta da Meta servono due macchine con 512 GB di memoria ciascuna.
Apple riserva questa capacità al M5 Ultra con CPU 36-core e GPU 80-core. La versione da 512 GB non è ancora ordinabile e sarà disponibile dalla fine di ottobre. Già una configurazione con 256 GB supera gli 11.000 euro, quindi l’investimento complessivo per due macchine da 512 GB sarà sensibilmente superiore.
Meta indica anche una seconda possibilità: quattro Mac Studio M5 Ultra con 256 GB ciascuno. La soluzione distribuisce il lavoro su più computer, aumentando però il numero di macchine e collegamenti necessari.
Perché utilizzare un’IA di queste dimensioni in locale
Per un’azienda che sviluppa software o lavora con documenti riservati, poter eseguire il modello sulla propria infrastruttura significa gestire direttamente dati, richieste e risultati, evitando di inviarli a un fornitore cloud per l’elaborazione.
Meta presenta Muse Spark Open come il modello statunitense a pesi aperti più potente realizzato finora. I pesi possono essere scaricati e utilizzati anche su altre piattaforme hardware, ma la licenza Muse Model License prevede alcune limitazioni commerciali.
Chi vuole sperimentarlo senza acquistare una costosa postazione può utilizzare le API dei fornitori che già lo ospitano oppure scaricare i pesi da Hugging Face per configurazioni compatibili.
Per Apple, la collaborazione rappresenta anche una dimostrazione delle capacità dei Mac Studio nel campo dell’intelligenza artificiale locale: con più computer collegati tra loro è possibile affrontare carichi di lavoro che fino a poco tempo fa richiedevano infrastrutture server specializzate.
