Xiaomi ouvre MiMo-V2.5 et MiMo-V2.5-Pro en open source sous licence MIT
Korben ·
Xiaomi a publié hier MiMo-V2.5 et MiMo-V2.5-Pro, deux modèles d'IA qu'il met directement en open source sous licence MIT. Le plus gros, le Pro, fait 1 020 milliards de paramètres dont 42 milliards activés en simultané, avec une fenêtre de contexte d'un million de tokens. À noter que tout est téléchargeable sur Hugging Face avec poids, tokenizer et fiche modèle complète. L'architecture est un Mixture-of-Experts à attention hybride, conçue pour tenir des tâches longues avec plus de mille appels…
Soutenez Korben en consultant la ressource originale
Lire l'article original