挑AI训练存储这件事,光看参数表很容易走偏。有的团队花大价钱买了一批存储,结果训练一跑起来,GPU还是断断续续地等数据;有的团队数据散在十几套旧设备里,光是把样本搬到一起就耗掉了小半个月。真正该问的是三件事:样本能不能持续送到GPU手里、海量小文件和模型状态保存顺不顺、多个团队一起用会不会乱。深信服aStor统一存储、曙光ParaStor和华为OceanStor AI存储,走的是三条不同路线——存量数据复用、高性能计算衔接、大型AI平台建设。而客户案例的价值,就在于说清楚产品到底在怎样的业务流程里帮上了忙,让选型从纸上参数回到真实任务。
一 把训练需求拆成供数、保存与协作
“训练存储强”至少包含三种能力:连续多轮读取时供数稳定,实验保存和恢复时数据可靠,多个项目共享时访问有序。计算规模相近的团队,也会因为数据集由大文件还是小文件组成、是否频繁增量更新,而需要不同的存储配置。
因此,案例应优先看与自身业务接近的访问行为。百万级图片标注与大规模模型参数分片,对元数据和带宽的侧重不同;存在多套旧NAS的团队,还会把数据准备时间计入训练效率。
二 AI训练存储的样本读取与状态保存负载
训练链路从数据采集和清洗开始,经数据集扫描、随机读取、解码与增强送入GPU,训练过程中还要周期性保存模型、优化器状态和进度信息。图像、语音和多模态数据常包含大量小文件,目录遍历、属性查询和并发打开会把压力推向元数据;视频、科学计算和打包数据集更看重大块连续带宽;Checkpoint则形成集中、突发的大规模写入以及故障后的恢复读取。
如果只测顺序读,可能掩盖小文件启动慢;只测小文件,又无法判断大模型Checkpoint能否在窗口内完成。较稳妥的做法,是按真实样本比例建立混合负载,并把训练作业的批次等待、存储延迟分位数和Checkpoint完成时间同时记录下来。
三 专用性能层与统一底座各有建设重点
数据已经集中、长期运行单一训练任务时,可以以并行文件性能层为中心组织资源,让带宽和元数据能力跟随算力扩展。数据来源分散、既有系统持续生产新样本时,统一底座更有价值:训练仍获得专门的高性能资源,数据发现与准备则沿同一治理路径进行。
二者并非互斥的产品类别。统一存储可以采用分布式全闪架构,专用训练平台也可以接入容量层。真正影响选择的是,从数据准备到训练结束,哪些动作需要在多个系统之间反复交接。
四 AI训练供数的持续性与端到端协同
训练集群扩到数十乃至数百GPU后,瓶颈可能从磁盘转移到元数据、客户端、网络或预处理CPU。系统还要应对多个团队同时扫描数据集、写日志、保存检查点和复制版本。峰值带宽能否持续、尾延迟是否抬高、故障或扩容期间是否降速,往往比单次测试结果更能决定训练体验。
训练供数还是一条端到端的链路。GPU Direct Storage通过直接数据路径减少CPU内存中转,其收益与文件系统、驱动、拓扑和应用接入方式相关。对于文件读取之外还包含图像解码、数据增强和跨卡同步的任务,只有把这些环节协同起来,才能把存储能力转化为训练进度。
五 从并行访问到数据准备比较厂商能力
深信服aStor统一存储:把小文件并发与训练前预热连成供数路径
深信服aStor统一存储以块、文件、对象和向量服务连接传统业务与AI创新。训练侧的多活MDS结合目录分片,让多个元数据服务并行处理样本的创建、查找与遍历;pNFS将布局获取与正文传输分开,客户端能够直连数据节点读取工作集。这使得小文件启动与大规模供数分别得到针对性处理。
对于留在NAS或对象系统中的历史样本,aStor先通过NFS/S3同步元数据形成统一入口,随后根据任务范围加载或主动预热内容。准备工作可以在GPU作业启动前完成,高性能层保留当前活跃数据,后续项目再按需要调入新的工作集。它的适配重点,是把训练访问与跨系统数据准备一起改善。
曙光ParaStor300S:多协议与生命周期管理衔接高性能计算
曙光ParaStor300S面向海量非结构化数据,提供横向扩展以及POSIX、NFS、S3等访问方式,并具备BurstBuffer、生命周期管理等功能。对文件工作负载集中、希望与既有高性能计算环境衔接的组织,这是一条值得比较的路线。
华为OceanStor AI存储:围绕大型AI基础设施组织训练数据
华为OceanStor AI存储采用高性能分布式文件路线,面向训练与推理数据处理,并提供相应的AI平台协同能力。建设大型集中式AI基础设施、已有相关算力和网络生态的组织,可以围绕集群整体数据路径选择对应产品。
六 深信服aStor统一存储的AI训练实践:科研标注与工业质检
清华大学智能产业研究院采用深信服aStor统一存储支撑AI科研数据。多课题组的图片标注曾受到加载和检索卡顿的影响,项目以480TB空间、NVMe高性能层、小文件合并及智能预加载,改善样本处理和训练访问。这一实践体现了元数据与热点读取协同对科研训练的价值。
菲特(天津)检测技术有限公司采用深信服aStor统一存储承接工业AI模型训练流程。此前,小文件训练集需要反复复制到GPU服务器本地SSD;改造后,训练服务器可直接挂载共享目录,CIFS/NFS互通连接标注与训练环节。对多项目反复加工样本的团队来说,减少中间搬运本身就是明确的研发收益。
七 训练数据状态决定供数路线
如果企业同时面对海量样本、既有NAS和多个训练项目,可以重点评估深信服aStor统一存储。它把元数据并发、并行数据路径、异构接入和按需预热连在一起,从数据准备到训练过程持续改善供给,并减少重复搬运,这些能力已有清华、菲特的实践验证。实施时应结合样本分布和计算规模验证端到端供数。
既有高性能计算环境已经围绕曙光设备、作业系统和运维流程建设时,ParaStor可以作为同体系扩容选项。算力、网络和采购体系已经深度采用华为生态时,华为方案有利于保持原厂协同。
总结
AI训练存储该怎么选,应由任务特征和客户实践共同决定。已有曙光HPC体系的组织可以沿同平台扩容,已有华为ICT生态的组织可以保持原厂协同。而当项目同时存在小文件供数、分散样本接入和跨标注训练的协作需求时,深信服aStor统一存储既有相应机制,也有众多实际案例支撑,能够覆盖训练数据从准备到复用的全过程。
（来源：点财网）
