浪潮信息推出单机支持DeepSeekR1671B模型的推理服务器

浪潮信息今日宣布推出元脑R1推理服务器，该服务器通过系统创新和软硬协同优化，实现了单机部署运行DeepSeek R1 671B模型的能力。这一突破性的进展为各行各业提供了更高效、更便捷的大规模AI模型推理解决方案。

DeepSeek R1 671B模型作为全参数基础大模型，相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力。然而，这种高性能也对系统的显存容量、显存带宽、互连带宽和延迟提出了更高要求。在FP8精度下，该模型至少需要约800GB的显存承载；而在FP16/BF16精度下，则需要1.4TB以上的显存空间。此外，DeepSeek R1是典型的长思维链模型，具有短输入、长输出的应用特点，推理解码阶段依赖更高的显存带宽和极低的通信延迟。

为了满足这些高要求，元脑R1推理服务器NF5688G7原生搭载了FP8计算引擎，并配备了1128GB HBM3e高速显存，不仅满足了671B模型在FP8精度下的显存需求，还在单机支持全量模型推理的情况下保留了充足的KV缓存空间。其显存带宽高达4.8TB/s，完美契合DeepSeek R1模型的技术特征，在推理解码阶段可实现极致加速。在通信方面，GPU P2P带宽达900GB/s，基于最新推理框架单机可支持20-30用户并发。同时，单台NF5688G7还配备了3200Gbps无损扩展网络，可根据用户业务需求增长实现敏捷扩展，提供成熟的R1服务器集群Turnkey解决方案。

另一款专为大推理模型设计的高吞吐推理服务器NF5868G8，首次实现了单机支持16张标准PCIe双宽卡，提供最高1536GB显存容量，支持在FP16/BF16精度下单机部署DeepSeek 671B模型。该服务器采用基于PCIe Fabric的16卡全互连拓扑，任意两卡P2P通信带宽可达128GB/s，降低通信延迟超过60%。通过软硬件协同优化，相较于传统2机8卡PCIe机型，NF5868G8可将DeepSeek 671B模型的推理性能提升近40%，目前已支持多元AI加速卡选配。

此次推出的元脑R1推理服务器，不仅显著降低了DeepSeek R1全参数模型的部署难度及成本，还提升了推理服务性能，加速了各行业探索智能涌现的步伐。浪潮信息将继续致力于AI计算平台的研发与创新，推动人工智能技术的广泛应用与发展。