MoE
混合专家模型 (MoE) 笔记
·2438 字·5 分钟
MoE
大模型
AI
论文阅读
论文笔记
本文主要梳理了混合专家模型 (MoE) 的相关概念，并介绍了几种开源 MoE 模型的架构和优化方法，如 GShard、Switch Transformers、DeepSeek-MoE 和 LLaMA-MoE 等模型的特点和优化方法。