Copilot fonctionne sur votre PC ? La nouvelle IA de Microsoft pourrait être la clé

De nombreuses personnes pensent que Microsoft fournira éventuellement une version de Copilot qui fonctionnera sous Windows directement sur votre PC. Microsoft vient peut-être de proposer un nouveau modèle d'IA, ou LLM, spécialement conçu pour fonctionner sur des appareils locaux.

Lundi, Microsoft introduit « Phi-3-mini », un modèle de langage de 3.8 milliards de paramètres qui, selon la société, rivalise avec les performances des ChatGPT 3.5 et Mixtral 8x7B, légèrement plus anciens. Le document est intitulé « Rapport technique Phi-3 : un modèle de langage hautement performant localement sur votre téléphone », ce qui prouve clairement que Microsoft dispose désormais d'un LLM qui peut s'exécuter directement sur votre PC.

Microsoft n'a pas annoncé que le Phi-3-mini serait le prochain Copilot, fonctionnant localement sur votre PC. Mais il y a lieu de démontrer que c’est le cas et que nous avons une idée de son efficacité.

1.) L’IA locale est importante

C'est un argument familier : si vous lancez une requête de recherche vers Bing, Google Gemini, Claude ou Copilot, elle réside dans le cloud. Cela peut être embarrassant (« Est-ce que cette verrue est mauvaise » ?) ou sensible (« Puis-je avoir des ennuis en volant du courrier ? ») ou quelque chose que vous ne voulez pas du tout divulguer, comme une liste de relevés bancaires.

Les entreprises aimeraient poser des questions sur leurs données via des IA comme Copilot, mais il n'existe pas de version « sur site » de Copilot à ce jour. Une version locale de Copilot est presque une option nécessaire à ce stade.

Mark Hachman / IDG

Mark Hachman / IDG

Mark Hachman / IDG

2.) Le Phi-3-mini est petit, et c'est bien

De nombreux LLM locaux nécessitent au moins 8 Go de RAM et plusieurs gigaoctets d'espace de stockage pour les fichiers nécessaires uniquement sur le PC - et cela en supposant que les LLM ont été « quantifiés » ou compressés. Il y a une raison pour laquelle Copilot fonctionne dans le cloud. En effet, le cloud Azure de Microsoft dispose à la fois du calcul et du stockage nécessaires pour l'héberger.

C'est l'une des lignes les plus importantes du document : « Grâce à sa petite taille, phi3-mini peut être quantifié sur 4 bits de sorte qu'il n'occupe que ≈ 1.8 Go de mémoire », indique-t-il. «Nous avons testé le quantifié
modèle en déployant phi-3-mini sur iPhone 14 avec la puce A16 Bionic fonctionnant nativement sur l’appareil et entièrement hors ligne, atteignant plus de 12 jetons par seconde.

Cela signifie que les PC dotés de 1.8 Go de mémoire supplémentaire pourraient exécuter une version locale de Copilot. Cela représente beaucoup plus de PC que le statu quo, y compris probablement des PC anciens dotés de 8 Go de RAM. Et si un iPhone peut l’exécuter, il y a de fortes chances que la plupart des PC le puissent aussi.

Les LLM crachent des données comme une imprimante matricielle, donc douze jetons par seconde représentent environ 48 caractères par seconde – ce qui n'est pas génial, mais pas trop mal.

3.) Ses performances sont également bonnes, mais pas trop bonnes

Microsoft veut toujours inciter les gens à utiliser Copilot dans le cloud et à payer pour des abonnements comme Copilote Pro. Et Microsoft prend le temps de montrer à quel point le Phi-3-mini fonctionne aussi bien que les autres LLM. Mais un plus petit nombre de paramètres signifie qu'un modèle d'IA ne « sait » pas autant que les LLM plus sophistiqués.

Arxiv.org

Arxiv.org

Arxiv.org

Mais Microsoft a une solution. "Le modèle n'a tout simplement pas la capacité de stocker trop de 'connaissances factuelles', ce qui peut être constaté par exemple avec de faibles performances sur TriviaQA [un benchmark]", note le document. "Cependant, nous pensons que cette faiblesse peut être résolue par une augmentation avec un moteur de recherche."

Bing à la rescousse !

4.) C'est un mois avant Microsoft Build.

La conférence des développeurs de Microsoft débutera dans un mois. Cela donne à Microsoft le temps de faire fonctionner une version de Copilot sur Phi-3-mini pour la démontrer aux développeurs et aux utilisateurs avant son lancement le 21 mai. Cela devrait laisser suffisamment de temps pour créer un prototype et tester quelques requêtes.

Copilot, bien sûr, sera probablement la star du spectacle. En aurons-nous un qui fonctionne nativement sur votre PC ? Je pense que c'est beaucoup plus probable qu'avant.