Mistral AI公司最近推出了一款名为Mixtral 8x7B的新型AI模型，这款模型以其独特的稀疏混合专家网络（SMoE）结构和开放的权重，标志着在人工智能领域迈出了重要的一步。与传统的架构和训练范式不同，Mistral AI旨在通过提供原创模型来激发开发者社区的创新和多样化应用。
Mixtral 8x7B作为一个仅解码器模型，利用稀疏混合专家网络。该模型拥有8组不同的参数，每个前馈块在每层动态选择两个专家来处理标记，并将它们的输出相加。这种创新方法在保持成本和延迟控制的同时，将模型的参数数量提升至46.7B，同时保持了12.9B模型的速度和成本效率。