开源高性能文件系统 3FS,DeepSeek为何自研存储?

2025-03-02 16:55 来源:中国网科技

  这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩到15%。

  这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。

  当AI算力狂飙时,存储正在成为隐形战场

  2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的"木桶效应"——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。

  数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。

  DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》》报告中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期3倍的差异。在算力军备竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。

  5家头部厂商角逐AI存储,国产能否拔得头筹

  相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。

  为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。

小编搜集了国内外优秀的并行存储产品,对具体能力进行对比

  IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。

  国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。

  我们还惊喜发现,另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。

  综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,以DeepSeek、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能,未来国产存储能否拔得头筹,让我们拭目以待。

 

查看余下全文
(责任编辑:马欣)
手机看中经经济日报微信中经网微信
当前位置      首页 > 公司观察  > 正文
中经搜索

开源高性能文件系统 3FS,DeepSeek为何自研存储?

2025年03月02日 16:55    来源: 中国网科技    

  这两天DeepSeek开源3FS并行文件系统的消息,犹如向AI基础设施领域投下一枚深水炸弹。3FS每秒能搬运6.6TB数据,相当于1秒钟传输完700部4K高清电影。还能自动调资源,国产芯片用了它,跟国际大牌的差距直接缩到15%。

  这并非简单的技术迭代——当Llama3 70B模型单次训练需吞掉15PB数据(相当于连续播放250万小时4K视频)时,全球AI实验室突然意识到:决定大模型训练效率的不仅是GPU算力,存储系统正成为影响进度的一大瓶颈。

  当AI算力狂飙时,存储正在成为隐形战场

  2024年,某头部AI公司曾因存储带宽不足,导致2000张A100显卡的算力利用率长期低于40%,单日经济损失超百万美元。这暴露了AI时代的"木桶效应"——当GPU计算速度进入微秒级时,一次突发的存储抖动就可能导致整个训练任务崩溃,让数周的计算成果瞬间蒸发。这或许也是DeepSeek自研存储的原因。

  数据显示,存储优化可直接将175B参数模型的训练周期压缩30%,对应百万美元级的成本被填平。而在推理端,当10%的异常请求遭遇存储延迟波动时,P99响应时间会瞬间突破SLA红线,这正是某自动驾驶公司在线服务突发降级的根本诱因。

  DeepSeek之所以选择自研3FS的本质,正是发现了存储架构在AI应用中的重要性。《金融行业先进AI存力报告》》报告中提到,在同样的GPU算力规模下,存储性能的高低可能造成模型训练周期3倍的差异。在算力军备竞赛的背后,一场关于存储性能密度的暗战悄然升级,自研存储显得尤为重要。

  5家头部厂商角逐AI存储,国产能否拔得头筹

  相比于传统AI的需求,大模型对存力需求场景具有数据量大、参数规模大、训练周期长等特点。

  为了提升大模型训练速度,需要对大规模数据集进行快速加载,且一般采用数百甚至上万张GPU构成计算集群进行高效的并行计算,需要高并发输入/输出(I/O)处理,而训练数据集呈现海量小文件的特点,文件量在几亿到几十亿量级,对应的带宽需求可能每秒要达到上TB,这就要求存储系统具备强大的数据管理能力,业界能达到该能力的仅寥寥几家。

小编搜集了国内外优秀的并行存储产品,对具体能力进行对比

  IBM作为老牌存储品牌,其产品从HPC场景成功向AI场景演进。在全球AI场景得到广泛应用的DDN,多个读、写带宽等关键性能指标上表现突出,但DDN由于技术封闭性、专有化硬件等原因,导致用户建设成本过高。

  国产厂商DeepSeek 3FS虽然是开源的新产品,但相对老牌存储也有不错的表现,在读带宽能力上表现优异,单集群6.6TB/s,平均单节点36.7GB/s的读带宽。

  我们还惊喜发现,另一家国产厂商京东云云海,在这个专业领域同样表现出色,以单节点95GB/s的读带宽、60GB/s的写带宽,进一步拉低了国产存储与国际老牌厂商的差距。相较于DeepSeek的3FS,京东云云海在提供高性能的同时适用性更广,可以同时满足DeepSeek、ChatGPT、LLaMA等20余种主流大模型的存力需求。

  综上来看,随着大模型快速向纵深场景演进,对存储的要求也越来越高,以DeepSeek、京东云云海等国产存储,显示出在处理大规模数据集时的优越性能,未来国产存储能否拔得头筹,让我们拭目以待。

 

(责任编辑:马欣)


分享到:
    中国经济网声明:股市资讯来源于合作媒体及机构,属作者个人观点,仅供投资者参考,并不构成投资建议。投资者据此操作,风险自担。
中国经济网版权及免责声明:
1、凡本网注明“来源:中国经济网” 或“来源:经济日报-中国经济网”的所有作品,版权均属于
  中国经济网(本网另有声明的除外);未经本网授权,任何单位及个人不得转载、摘编或以其它
  方式使用上述作品;已经与本网签署相关授权使用协议的单位及个人,应注意该等作品中是否有
  相应的授权使用限制声明,不得违反该等限制声明,且在授权范围内使用时应注明“来源:中国
  经济网”或“来源:经济日报-中国经济网”。违反前述声明者,本网将追究其相关法律责任。
2、本网所有的图片作品中,即使注明“来源:中国经济网”及/或标有“中国经济网(www.ce.cn)”
  水印,但并不代表本网对该等图片作品享有许可他人使用的权利;已经与本网签署相关授权使用
  协议的单位及个人,仅有权在授权范围内使用该等图片中明确注明“中国经济网记者XXX摄”或
  “经济日报社-中国经济网记者XXX摄”的图片作品,否则,一切不利后果自行承担。
3、凡本网注明 “来源:XXX(非中国经济网)” 的作品,均转载自其它媒体,转载目的在于传递更
  多信息,并不代表本网赞同其观点和对其真实性负责。
4、如因作品内容、版权和其它问题需要同本网联系的,请在30日内进行。

※ 网站总机:010-81025111 有关作品版权事宜请联系:010-81025135 邮箱:

关于经济日报社关于中国经济网网站大事记网站诚聘版权声明互联网视听节目服务自律公约广告服务友情链接纠错邮箱
经济日报报业集团法律顾问:北京市鑫诺律师事务所    中国经济网法律顾问:北京刚平律师事务所
中国经济网 版权所有  互联网新闻信息服务许可证(10120170008)   网络传播视听节目许可证(0107190)  京ICP备18036557号

京公网安备 11010202009785号