有容乃大,刚刚NVIDIA NIM集成DeepSeek,正式上线

这个春节热闹非凡，大家还沉浸在节日的喜悦中，并热议着deepseek如何在美国股市掀起波澜，使得nvidia股票在一夜之间下跌了17%。当人们纷纷猜测“这下梁子可结大了”时，nvidia迅速做出反应，在nvidia nim上集成了deepseek r1版本。这一系列事件无疑为这个蛇年春节增添了几分独特的科技色彩。

DeepSeek-R1是一款具备顶尖推理能力的开源模型。与直接提供答案的模型不同，DeepSeek-R1等推理模型会对查询进行多次推理传递，利用思维链、共识和搜索方法，以生成最佳答案。这种通过推理得出最佳答案的推理传递序列，被称为测试时扩展（Test-Time Scaling）。DeepSeek-R1正是这一扩展定律的典范，展示了加速计算对于代理式AI推理需求的重要性。

在允许模型迭代“思考”问题的过程中，它们会产生更多的输出标记和更长的生成周期，从而持续提升模型质量。对于DeepSeek-R1等推理模型而言，显著的测试时计算资源是实现实时推理和更高质量回答的关键，这也要求更大的推理部署规模。

DeepSeek-R1在逻辑推理、数学、编程和语言理解等任务中表现出卓越的准确性，同时保持了高效的推理效率。为了帮助开发者安全地测试这些功能并构建自己的专用代理，拥有6710亿参数的DeepSeek-R1模型现已作为NVIDIA NIM微服务预览版在build.nvidia.com上提供。该微服务在单个NVIDIA HGX H200系统上每秒可处理高达3872个标记。

开发者可以测试和体验DeepSeek-R1的应用程序编程接口（API），该API预计很快将作为NVIDIA AI Enterprise软件平台的一部分，以可下载的NIM微服务形式发布。

DeepSeek-R1 NIM微服务通过支持行业标准API简化了部署流程。企业可以在其首选的加速计算基础设施上运行NIM微服务，以最大限度地提高安全性和数据隐私。借助NVIDIA AI Foundry和NVIDIA NeMo软件，企业还能够为专用AI代理创建定制的DeepSeek-R1 NIM微服务。

DeepSeek-R1：测试时扩展的完美典范

DeepSeek-R1是一款大型专家混合（MoE）模型，拥有令人印象深刻的6710亿参数，比许多其他流行的开源大型语言模型多10倍，支持长达128000个标记的输入上下文。该模型每层还使用了极多的专家，每层有256个专家，每个标记会并行路由到八个单独的专家进行评估。

为DeepSeek-R1提供实时回答需要多个高性能GPU，它们通过高带宽和低延迟的通信连接，以将提示标记路由到所有专家进行推理。结合NVIDIA NIM微服务中的软件优化，使用NVLink和NVLink Switch连接的单个服务器上的八个H200 GPU可以以每秒高达3872个标记的速度运行完整的6710亿参数DeepSeek-R1模型。这一吞吐量得益于每层使用NVIDIA Hopper架构的FP8 Transformer引擎，以及用于MoE专家通信的900 GB/s NVLink带宽。

对于GPU而言，充分利用每秒浮点运算次数（FLOPS）的性能对于实时推理至关重要。下一代NVIDIA Blackwell架构将通过第五代Tensor Core为DeepSeek-R1等推理模型的测试时扩展提供巨大提升，其峰值FP4计算能力可达20 petaflops，并拥有一个专为推理优化的72 GPU NVLink域。

DeepSeek-R1凭借其顶尖的推理能力、高效的推理效率和灵活的部署选项，正成为AI推理领域的新标杆，为开发者和企业提供了强大的工具和支持。

我们的观点

在这个充满挑战与机遇的蛇年春节里，DeepSeek-R1的发布无疑为科技界带来了一场别开生面的盛宴。从股市的波动到技术的突破，每一个瞬间都见证了科技发展的无限可能。而在这场没有硝烟的较量中，我们深刻体会到，科技并非零和游戏，没有绝对的赢家或输家。真正能够引领未来的，是那些能够携手共进，共同构建开放、协作生态的参与者。

在这个快速变化的时代，有容乃大不仅是为人处世的智慧，更是科技发展的必由之路。只有当我们以开放的心态去拥抱创新，以协作的精神去推动进步，才能共同绘制出科技发展的宏伟蓝图。