揭秘大模型训练低成本关键：DeepSeek代码开源Flash MLA
随着DeepSeek大模型开源引发全球热潮，其后续动作也备受关注。近日，DeepSeek在社交平台X发文称，从这周起会陆续开源5个代码库，其中首个代码库Flash MLA已引发极大关注。本文将围绕DeepSeek代码开源Flash MLA，揭秘大模型训练低成本的关键技术。
DeepSeek开源的Flash MLA是针对英伟达Hopper GPU优化的高效MLA解码内核，其特别针对可变长度序列作了优化。该优化可以确保FlashMLA在高性能硬件上有效地处理大语言模型和其他AI应用程序的密集计算需求。值得一提的是，FlashMLA的设计参考了FlashAttention 2&3以及CUTLASS的技术实现，其使用基准为：Hopper GPU、CUDA 12.3及以上版本、PyTorch 2.0及以上版本。
FlashAttention 是一种针对Transformer模型注意力计算的高效优化算法，由斯坦福团队于2022年提出。CUTLASS是NVIDIA推出的开源高性能计算库，专为GPU加速的线性代数计算（尤其是矩阵乘法和卷积）设计。通过模块化模板和硬件级优化，CUTLASS为开发者提供灵活、高效的底层计算内核。
DeepSeek的成本大幅下降有两项关键技术，一是MoE，另一个就是今天开源的MLA（多头潜注意力）。MLA旨在优化传统Transformer架构的效率与性能，其核心原理包括：KV压缩与潜在变量、低秩降维技术以及动态序列处理。通过这些技术，MLA可将每个查询KV缓存量减少93.3%，显著减少了大模型训练和推理过程中的内存占用，从而实现了大模型训练的低成本。
DeepSeek本周后续还将陆续开源4个代码库，这无疑将为学术界和工业界带来更多的启示和帮助。值得一提的是，DeepSeek的代码开源行为不仅提升了其自身的影响力，也为学术界和工业界提供了一个宝贵的资源共享平台，有助于推动人工智能领域的创新和发展。
DeepSeek的Flash MLA解码内核特别针对可变长度序列进行了优化，这一技术使得大模型在处理长序列时能够更加高效和灵活。此外，FlashMLA还采用了BF16作为数据格式，块大小为64的分页kvcache（键值缓存），这些优化措施进一步提升了模型的性能和效率。
DeepSeek的这一开源行为不仅展示了其对技术的执着追求和创新精神，更为学术界和工业界提供了一个学习和借鉴的平台。通过深入了解DeepSeek的代码实现和优化策略，我们可以更好地理解大模型训练的低成本关键，从而为未来的研究和工作提供有益的参考和启示。
总的来说，DeepSeek代码开源Flash MLA是大模型训练低成本的关键之一，其创新性的技术和优化策略为学术界和工业界提供了宝贵的资源和启示。我们期待DeepSeek后续的开源工作能够带来更多的惊喜和突破，推动人工智能领域的发展和进步。
本文由「aiuc」编辑整理，文章链接：https://www.aiuc.net/25179
该文观点仅代表作者本人，平台仅提供信息存储空间服务。
