浪潮推出超高性能服务器


浪潮信息于2月11日正式发布了全新的元脑R1推理服务器,这一创新系统旨在为客户带来全新的智能体验。通过系统内部的卓越创新和软硬件的协同优化,该服务器能够单机部署运行DeepSeek R1 671B模型,显著降低了DeepSeek R1全参数模型的部署难度及成本,同时也大幅提升了推理服务性能,助力千行百业更快探索智能涌现。

DeepSeek开源的多版本模型正在推动各行业加速应用大模型技术,以实现业务升级转型。其中的DeepSeek R1 671B模型作为全参数基础大模型,拥有强大的泛化能力、高准确性和出色的上下文理解能力。尽管它对系统提出了更高的要求,特别是在显存容量、显存带宽、互连带宽和延迟等方面,但元脑R1推理服务器凭借其领先的显存实力、高速的显存带宽和出色的通信速度,为企业高效完成DeepSeek全参数模型的本地化部署提供了强有力的支持。

元脑R1推理服务器中的NF5688G7是一款领先的高算效AI计算平台,它原生搭载FP8计算引擎,使得DeepSeek R1 671B模型的部署速度飞快且无精度损失。该服务器在显存方面表现出色,提供了高达1128GB HBM3e高速显存,满足671B模型对显存容量的高需求。其极致的显存带宽和GPU P2P带宽保证了在推理解码阶段的加速效果。而且,单台NF5688G7配备的3200Gbps无损扩展网络能够根据用户需求实现敏捷扩展,为用户提供成熟的R1服务器集群解决方案。

浪潮信息还推出了专为大型推理模型设计的NF5868G8高吞吐推理服务器。这款服务器首次实现了单机支持16张标准PCIe双宽卡,提供高达1536GB的显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。其创新的PCIe Fabric全互连拓扑结构大大降低了通信延迟,并通过软硬协同优化,提高了DeepSeek 671B模型的推理性能。