在DeepSeek为期五天的“开源周”中,其连续开源的五大核心技术(FlashMLA、DeepEP、DeepGEMM、DualPipe & EPLB、3FS文件系统),惊艳全球。
京东云率先宣布完成对这五项技术的全栈适配,在模型推理效率、算力资源利用率及数据管理等领域实现突破性优化,综合Flash MLA、DeepEP、FP8 GEMM、DualPipe四方面的调优,在DeepSeek推理场景下性能提升50%。
全面适配五大技术,DeepSeek推理场景性能提升50%
作为DeepSeek开源首日的重磅技术,Flash MLA通过动态调度GPU的显存与算力资源,解决了传统方法处理变长序列时的资源浪费问题。
京东vGPU AI算力平台通过支持Flash MLA的FP8格式来提升推理性能,使单Token的 KV Cache显存占用相比Multi-head Attention降低57倍,配合最新的投机推理技术,以极低的显存需求,在高并发请求场景下保证了推理的吞吐量和延迟表现。
此外,针对用于DeepSeek开源的通信库DeepEP,京东云vGPU AI算力平台已全面支持EP模式下的分布式推理,显著提高推理吞吐。通过整合DeepEP作为通信后端,针对机内通信使用NVLink传输数据,机间通信使用NVSHMEM接口走RDMA网络,同时通过灵活的GPU SM数量利用控制,增大GPU算力资源利用率以及减少对计算算子的性能串。