Copilot è in esecuzione sul tuo PC? La nuova intelligenza artificiale di Microsoft potrebbe essere la chiave

Molte persone credono che Microsoft alla fine fornirà una versione di Copilot che verrà eseguita in Windows direttamente sul tuo PC. Microsoft potrebbe aver appena lanciato un nuovo modello di intelligenza artificiale, o LLM, progettato specificamente per essere eseguito su dispositivi locali.

Lunedì, Microsoft introdotto "Phi-3-mini", un modello linguistico da 3.8 miliardi di parametri che, secondo l'azienda, rivaleggia con le prestazioni dei leggermente più vecchi ChatGPT 3.5 e Mixtral 8x7B. Il documento è intitolato "Rapporto tecnico Phi-3: un modello linguistico altamente capace localmente sul tuo telefono", che è una prova evidente che Microsoft ora dispone di un LLM che può essere eseguito direttamente sul tuo PC.

Microsoft non ha detto che Phi-3-mini sarà il prossimo Copilot, eseguibile localmente sul tuo PC. Ma c'è un motivo per dimostrare che lo è, e che abbiamo un'idea di come funzionerà.

1.) L’intelligenza artificiale locale è importante

È un argomento familiare: se invii una richiesta di ricerca a Bing, Google Gemini, Claude o Copilot, questa risiede nel cloud. Potrebbe essere imbarazzante ("è brutta questa verruca"?) o delicato ("posso finire nei guai per aver rubato la posta?") o qualcosa che non vuoi assolutamente divulgare, come un elenco di estratti conto bancari.

Le aziende vorrebbero porre domande sui propri dati tramite IA come Copilot, ma ad oggi non esistono versioni “on premise” di Copilot. Una versione locale di Copilot è quasi un'opzione necessaria a questo punto.

Mark Hachman / IDG

Mark Hachman / IDG

Mark Hachman / IDG

2.) Phi-3-mini è piccolo e questo è un bene

Molti LLM locali richiedono almeno 8 GB di RAM e molti gigabyte di spazio di archiviazione per i file necessari solo sul PC, e ciò presuppone che gli LLM siano stati "quantizzati" o compressi. C'è un motivo per cui Copilot funziona nel cloud. È perché il cloud Azure di Microsoft dispone sia del calcolo che dello spazio di archiviazione necessari per ospitarlo.

Questa è una delle righe più importanti del documento: "Grazie alle sue piccole dimensioni, phi3-mini può essere quantizzato a 4 bit in modo da occupare solo ≈ 1.8 GB di memoria", si legge. “Abbiamo testato il quantizzato
modello implementando phi-3-mini su iPhone 14 con chip A16 Bionic in esecuzione nativamente sul dispositivo e completamente offline raggiungendo più di 12 token al secondo.

Ciò significa che i PC con 1.8 GB di memoria aggiuntiva potrebbero eseguire una versione locale di Copilot. Si tratta di molti più PC rispetto allo status quo, inclusi probabilmente i PC legacy con 8 GB di RAM. E se un iPhone può eseguirlo, è probabile che anche la maggior parte dei PC possa farlo.

Gli LLM emettono dati come una stampante a matrice di punti, quindi dodici token al secondo equivalgono a circa 48 caratteri al secondo: non eccezionale, ma non troppo scadente.

3.) Anche le sue prestazioni sono buone, ma non troppo buone

Microsoft vuole ancora invogliare le persone a utilizzare Copilot nel cloud e a pagare abbonamenti come Copilota professionista. E Microsoft si prende del tempo per mostrare come Phi-3-mini funziona altrettanto bene di altri LLM. Ma un numero inferiore di parametri significa che un modello di intelligenza artificiale non “conosce” tanto quanto i LLM più sofisticati.

Arxiv.org

Arxiv.org

Arxiv.org

Ma Microsoft ha una soluzione. "Il modello semplicemente non ha la capacità di immagazzinare troppa 'conoscenza fattuale', cosa che può essere vista ad esempio con basse prestazioni su TriviaQA [un benchmark]", osserva il documento. "Tuttavia, riteniamo che tale debolezza possa essere risolta potenziandola con un motore di ricerca."

Bing in soccorso!

4.) Manca un mese a Microsoft Build.

La conferenza degli sviluppatori di Microsoft inizierà tra un mese. Ciò dà a Microsoft il tempo di far funzionare una versione di Copilot su Phi-3-mini per dimostrarla agli sviluppatori e agli utenti prima che inizi il 21 maggio. Dovrebbe essere tutto il tempo per creare un prototipo e testare alcune query.

Il copilota, ovviamente, sarà probabilmente la star dello spettacolo. Ne avremo uno che funzioni in modo nativo sul tuo PC? Penso che sia molto più probabile di quanto lo fosse una volta.