Dans une avancée significative pour l’intelligence artificielle, Microsoft a dévoilé un modèle IA d’une efficacité remarquable, capable de fonctionner sur des processeurs standards. Ce modèle, nommé BitNet b1.58 2B4T, représente une percée dans le domaine des réseaux de neurones quantifiés, offrant des performances impressionnantes tout en réduisant considérablement la consommation de ressources.
Une innovation majeure dans le domaine de l’IA
Les chercheurs de Microsoft ont réussi à développer un modèle IA, connu sous le nom de BitNet b1.58 2B4T, qui se distingue par sa capacité à fonctionner efficacement sur des CPU, y compris le M2 d’Apple. Ce modèle, disponible sous licence MIT, marque une étape importante dans la recherche sur les réseaux de neurones quantifiés.
Comment fonctionne BitNet b1.58 2B4T ?
Contrairement aux modèles traditionnels qui utilisent une large gamme de valeurs pour les poids, BitNet b1.58 2B4T se limite à trois valeurs : -1, 0, et 1. Cette approche permet une réduction significative de la mémoire et de la puissance de calcul nécessaires, tout en maintenant des performances élevées.
Des performances qui parlent d’elles-mêmes
Avec 2 milliards de paramètres et entraîné sur un ensemble de données équivalent à environ 33 millions de livres, BitNet b1.58 2B4T surpasse plusieurs modèles concurrents de taille similaire. Il excelle notamment dans des tests de raisonnement mathématique et de bon sens physique, tout en étant jusqu’à deux fois plus rapide et bien moins gourmand en mémoire.
Une compatibilité à améliorer
Cependant, pour tirer pleinement parti de ce modèle, il est nécessaire d’utiliser le framework personnalisé de Microsoft, bitnet.cpp, qui ne supporte actuellement qu’un certain type de matériel. L’absence de support pour les GPU, pourtant omniprésents dans l’infrastructure IA, représente un défi de taille pour son adoption à grande échelle.
