您现在的位置:主页 >> 完美私服论坛 >>

联想革新:低于1TB显存也能支持100个DeepSeek并发用户完美私服

来源:找完美(zhaowm.com)_新开完美私服发布网 | 更新时间:2025-3-9

随着越来越多的企业寻求在本地实现DeepSeek大模型的落地,许多用户在项目实施中面临着诸多关键决策难题,比如:如何确保单机能否完美部署DeepSeek-R1?所需的最低配置是什么?又该如何在高并发的情况下保持用户体验?这些难题往往令IT决策者焦头烂额。

近日,科技巨头联想集团在人工智能领域再度引发关注,凭借问天WA7780G3服务器首次实现了对DeepSeek-R1/V3671B大模型的单机本地部署。这一突破不仅在行业内宣告了能以低于公认的1TB显存(实际仅为768GB)实现100个并发用户的流畅体验,还为企业的数字化转型提供了新标杆。

但联想的创新团队通过引入专家并行优化技术、提升智能访存架构以及应用最新的PCIe5.0全互联架构,大幅提高了显存的利用效率,成功塑造了这一硬件的卓越性能。

更为引人注目的是,这款服务器仅使用了8张96GB显存的GPU卡,而DeepSeek-R1大模型的参数就需要约700GB显存,剩下的不到100GB只能用于KV-Cache等计算。若不采取特别优化的措施,明显无法支持超过2至3个用户的同时接入。但联想在其强大的万全异构智算平台的支持下,通过精准的优化成功迈过了这个障碍,令人瞩目地达成了企业关心的三项关键性能指标:首个token的延迟低于30秒、单个token的延迟小于100毫秒,以及支持处理2K以上长序列问题,同时实现了超过20%的成本节。

根据联想所提供的数据,在512token的标准测试场景下,该服务器能够支持100个并发用户,每秒输出稳定的10token,首个token的响应时间更是被压缩至30秒以内。即使在处理复杂的4K序列任务时,也能确保25个并发用户维持同等的性能。