DeepSeek-V3 : Modèle de Langage MoE de 671B pour le Code et le Raisonnement
DeepSeek-V3 est un modèle Mixture-of-Experts à poids ouverts. Il est entraîné avec l'attention latente multi-têtes et l'architecture DeepSeekMoE, rivalisant avec les meilleurs modèles propriétaires sur les benchmarks de codage.
Image: GitHub




