浪潮信息作为全球领先的IT基础设施服务商,始终以系统为核心,致力于提供开放、多元、绿色的元脑智算产品。借助元脑生态合作伙伴的力。
另一款全新推出的NF5868G8服务器更是针对大型推理模型进行了优化,它首次实现单机支持多达16张标准PCIe双宽卡,显存提升至1536GB,极大地提升了DeepSeek671B模型的推理能力,相较于传统方案,推理性能更是提高了近40%。
为此,元脑R1推理服务器以领先的配置应对了这些挑战。第一,它具备1128GB的HBM3e高速显存,确保在FP8精度格式下满足各位用户的需求,同时还能保持充足的KV缓存空间。其次,它的显存带宽高达4.8TB/s,完美匹配DeepSeekR1的技术特点,尤其是在推理解码阶段,大幅提升了响应速度。
当前,DeepSeek开源多版本模型中,DeepSeekR1671B以其极高的准确性和更强的泛化能力,势必成为许多企业的首选。然而,这一基础大模型对系统的显存和带宽要求极为苛刻,在FP8精度状态下,显存需求高达800GB,FP16/BF16精度更是要超过1.4TB,这无疑给许多希望部署此模型的公司带来了不小的挑战。
而在通信速率方面,NF5688G7还提供了900GB/s的GPUP2P带宽,为单机部署的张量操作提供了强大支撑,确保了流畅的用户体验。值得一提的是完美私服,该型号可轻松支持20到30个用户并发使用,再加上3200Gbps的无损扩展网络,让企业根据自身需求灵活扩展成为可能。
在科技创新的浪潮中,浪潮信息于2025年2月11日正式推出了颇具特色的元脑R1推理服务器。这款服务器不仅兼具硬件和软件的优化优势,更是让DeepSeekR1671B模型的运用变得高效而简单,为各行各业的智能化转型保驾护航。