2025年02月20日
558万美元,是DeepSeek披露的训练成本,相较于ChatGPT等主流AI,成本不到1/10。而在性能上,DeepSeek已达到业界领先水平。当我们惊叹于DeepSeek以超低成本实现顶尖性能突破时,不禁想要追问:除了算力,AI竞赛的另一决胜点,究竟是什么?
强大存力成就顶尖智慧
从V3到R1系列,DeepSeek的技术演进实现了训练效率的突破,而大模型训练本质上是一个数据密集型的计算过程,大规模的参数与海量的数据处理贯穿始终。为满足DeepSeek等大模型的技术演进需要,存储系统必须具备以下几大关键能力:
● 高性能读写:大模型训练涉及海量数据的频繁读写,存储系统必须提供高IOPS和高吞吐量,以支撑计算过程中的高速数据交换;
● 海量小文件处理:大模型通常由数以亿计的小文件组成,传统存储处理效率低下。因此,存储系统需优化聚合访问,将零散的小文件快速“打包整理”,从而提高访问效率,保障模型训练的流畅性;
● 高可靠性与自愈能力:在大规模数据集群中,故障风险大,数据丢失重训成本高。因此,存储系统需具备99.9999%的高可靠性,并配备故障自愈机制,如亚健康检测与恢复管理、数据容错技术等,以确保数据的安全性和完整性;
● 弹性扩展:随着大模型规模和任务复杂度的增长,存储系统需支持千节点并发访问,并实现无缝扩展,不影响业务运行;
● 高效数据治理:存储系统需具备统一的数据湖管理能力,实现数据全局可视、可管、高效流动,降低治理成本并精准分级存储。
创新方案从容应对大模型训练存储挑战
面对DeepSeek等大模型训练对存储系统提出的严苛挑战,宏杉科技MC27000万象高性能并行文件系统通过四大创新从容应对:
分布式并行架构
NVMe介质+RDMA网络,单节点混合读写性能突破70GB/s,为大模型训练提供强大读写支持;
智能IO优化
文件聚合技术,将元数据操作性能提升8倍,适配频繁权重更新场景,显著提高存储系统对海量小文件的处理效率;
并行客户端
支持POSIX和MPI-IO接口,实现客户端并发读写和负载均衡,最大程度发挥节点性能,确保多节点并发访问时存储系统的稳定高效运行;
高可靠数据引擎
22+2纠删码技术,实现90%的高存储利用率,结合亚健康磁盘预测与热修复机制,年故障率低于0.01%,为数据安全提供可靠保障;
智能数据分级
尽可能将用户频繁读取的数据存储在NVMe介质中,提升热数据访问命中率,同时利用QLC/HDD大容量盘存储温冷数据,实现存储资源的合理配置与高效利用。
DeepSeek的技术突破,是算力与存力协同进化的生动印证——模型规模的扩张与算法的创新不断挑战着存储极限,而存储系统的每一次跃迁又为更大规模、更高效率的训练铺平道路。在这场效率革命中,软硬一体的协同设计将成为AI竞争的新高地。宏杉科技将持续推动存储技术与AI发展的深度融合,携手业界共同探索AI时代的无限可能。