DeepSeek 的张量切片重计算和动态精度调节技术

deepseek 的张量切片重计算（tensor slice recomputation, tsr）技术和动态精度调节技术是其高效训练体系中的关键优化手段。通过时间换空间和按需分配精度的方式，这些技术能够减少显存占用，从而支持更大规模的模型训练。

1. 张量切片重计算（Tensor Slice Recomputation）概念

张量切片重计算是一种用于减少深度学习模型训练过程中显存（GPU内存）占用的优化技术。它通过将模型的张量（Tensor）在时间和空间上进行切片，并在需要时重新计算中间结果，从而实现显存的高效利用。

• 张量（Tensor）：是深度学习中的基本数据结构，可以理解为多维数组。例如，一个二维张量可以表示为矩阵，一个三维张量可以表示为立方体数据结构。
• 切片（Slicing）：是指将张量按照某种规则划分为更小的块（分片）。这些分片可以按层（Layer）划分，也可以按张量的维度划分。
• 重计算（Recomputation）：是指在训练过程中，某些中间结果不被缓存，而是在需要时重新计算。这种方法可以节省显存，但会增加计算量。

核心思想

张量切片重计算的核心是“时间换空间”。通过减少显存中存储的中间结果数量，将这些结果的计算推迟到需要时进行，从而降低显存占用。这种技术特别适用于大规模模型训练，因为这些模型的显存需求往往超过单个GPU的显存容量。

2. 动态精度调节（Dynamic Precision Adjustment）概念

动态精度调节是一种混合精度训练技术，用于在模型训练过程中根据需要自动调整计算精度。它通过在不同的精度格式（如FP8、FP16、BF16等）之间切换，同时保持数值稳定性，从而提升训练速度和效率。

• 精度（Precision）：在深度学习中，精度指的是数据表示的位数。常见的精度格式包括：
  • FP32（单精度浮点）：32位浮点数，精度高，但计算速度慢，显存占用大。
  • FP16（半精度浮点）：16位浮点数，计算速度快，显存占用小，但数值范围有限。
  • BF16（脑浮点）：16位浮点数，与FP16类似，但精度更高。
  • FP8：8位浮点数，计算速度极快，显存占用极小，但数值范围和精度更有限。
• 混合精度训练（Mixed Precision Training）：是指在训练过程中同时使用多种精度格式，以平衡计算速度和数值稳定性。

核心思想

动态精度调节的核心是“根据需求灵活调整精度”。在训练过程中，模型会根据当前的计算需求和数值稳定性要求，自动选择最适合的精度格式。例如：

• 在前向传播中，可以使用较低精度（如FP8或FP16）以加速计算。
• 在反向传播中，某些关键步骤可能需要更高精度（如BF16或FP32）以避免数值溢出或下溢。

3. DeepSeek中的张量切片重计算技术

技术背景

在大规模模型训练中，显存往往是瓶颈。例如，一个数十亿参数的模型可能需要数十GB甚至上百GB的显存。张量切片重计算技术通过减少显存占用，使得单卡能够训练更大规模的模型。

具体实现

• 张量切片：DeepSeek将模型按层（Layer）垂直分割，并按张量维度水平切片。例如，一个大型Transformer模型的每一层可以被切分为多个小块，每个小块只占用部分显存。
• 延迟加载（Lazy Loading）：在训练过程中，只有当计算流程到达某个分片时，才会从存储中加载对应的参数。这种策略减少了显存中同时存储的参数数量。
• 重计算策略：在前向传播中，DeepSeek不会缓存所有中间激活值，而是选择性地保存部分关键数据。在反向传播中，如果遇到未保存的中间结果，则会临时重新计算对应的激活值。
• 动态分片重组：DeepSeek根据显存余量动态调整分片粒度。当显存充足时，可以将多个层合并为一个分片；当显存紧张时，则进一步细分。

效果

通过张量切片重计算技术，DeepSeek的显存占用降低了67%，支持单卡训练420亿参数的模型。

4. DeepSeek中的动态精度调节技术

技术背景

精度调节技术用于解决大规模模型训练中的两个主要问题：

• 显存占用：高精度格式（如FP32）占用大量显存，限制了模型规模。
• 计算速度：高精度计算速度较慢，影响训练效率。

动态精度调节技术通过在不同精度之间灵活切换，同时保持数值稳定性，解决了上述问题。

具体实现

• FP8训练与高精度累加：DeepSeek在训练中使用FP8（8位浮点）格式，以显著减少显存占用和提升计算速度。为解决FP8动态范围有限的问题，DeepSeek采用了细粒度量化策略：激活值按1x128 tile分组并缩放。权重按128x128 block分组并缩放。在矩阵乘法（GEMM）中，DeepSeek会定期将部分结果提升到FP32寄存器进行累加，从而减少低精度累加带来的误差。
• 统一的E4M3格式：DeepSeek在训练中统一采用E4M3格式（4位指数+3位尾数），摒弃了以往前向传播用E4M3、反向传播用E5M2的混合格式。这种统一格式通过细粒度量化实现元素间指数位共享，简化了训练框架，提升了训练效果。
• 动态损失缩放：在混合精度训练中，DeepSeek采用了动态损失缩放技术，自动检测梯度溢出情况，并动态调整损失缩放因子（Scale Factor），以确保数值稳定性。
• 精度解耦策略：对于某些对精度敏感的层（如Attention输出投影层），DeepSeek会在反向传播时临时切换到高精度计算（如FP8+BF16），以避免低精度计算带来的误差。

效果

通过动态精度调节技术，DeepSeek在保持数值稳定性的同时，训练速度提升了43%。

5. 总结

张量切片重计算和动态精度调节是DeepSeek高效训练体系中的两项关键技术。它们分别从显存优化和计算效率两个角度出发，解决了大规模模型训练中的瓶颈问题。

• 张量切片重计算：通过时间换空间的方式，显著降低了显存占用，使得单卡能够训练更大规模的模型。
• 动态精度调节：通过灵活的精度切换和优化策略，在保持数值稳定性的同时，提升了训练速度和效率。

DeepSeek 的张量切片重计算和动态精度调节技术是其高效训练体系的重要组成部分。通过时间换空间的策略和灵活的精度切换，这些技术显著提高了大规模模型训练的效率和降低了成本。