以浪潮分布式并行文件存储筑基，中国科学技术大学为科研平台注入新动力

慧聪教育网 2022-12-23 10:31 来源：互联网

【慧聪教育网】伴随牛顿力学体系的建立而诞生的近代科学,开辟了一个全新的时代改变了人类的生产生活和思维方式,对人类社会的发展进程产生了深远的、革命性的影响。时至今日,科技创新也依然是影响和改变经济、社会的关键变量。不断向科学技术广度和深度进军,探索当前世界科技发展的最前沿,推动事关人类生存与发展的科技进步是每个科研机构的目标,中国科学技术大学(以下简称中国科大)致力于科学前沿探索和高新技术创新,为了更好支撑生命科学、天文、材料、人工智能等各学科领域研究,校网络信息中心负责的学校计算平台,以计算和存储为平台融合新技术应用,推进重大科研创新平台建设,提升创新体系效能,加速科技创新。

中国科大是中国科学院所属的以前沿科学和高新技术为主、兼有医学和特色文科的综合性全国重点大学,于1958年在北京创建,重点培养新兴、边缘、交叉学科的尖端科技人才,其中包括一批国际知名的科学家,在单分子科学、高温超导、纳米科学、地球环境、生命与健康等前沿领域取得了世界水平领先的科研成果。

近几年生命科学、材料科学、力学、人工智能、天文等学科的项目随着新技术和新仪器的应用,取得了科研成果的同时,也对科研创新平台在计算及存储性能和容量上提出了新的挑战,现有的计算中心整体资源使用率接近极限,居高不下,生物工程、生态环境、新材料、天文观测等科研项目,科研实验的数据采集具有周期长、采集复杂、环境要求较高,甚至如气候数据是不可复杂再生的,此外科研项目涉及的众多研究员来自不同的高校等科研单位;因此为了稳固地按照时间节点推进科研项目,采集分析实验数据,数据安全可靠必须得到保障,不容任何丢失。如生命科学领域的研究像冷冻电镜设备,采用从样品冷冻、低剂量电子断层扫描到三维重构的技术,开展生命科学基础研究,在其整个流程中,图像处理、三维重构是非常核心的步骤,对计算和存储的需求非常高,平均每分钟就能产生5-6张Image Stack图像数据,按照24小时不间断地工作计算,每天会产生超过数TB的数据,每年可达数PB,并且采集的海量文件数据要就行高并发的模型重构,处理后的数据及时归档存储,一方面释放性能资源的占用,一方面更好的保存宝贵的原始科研数据以备后续计划使用,全校多个领域的持续新增的科研项目的需求,对计算存储平台整体方案的性能、容量、安全稳定都提出了新挑战。

百万级IOPS、百GB带宽,为科研平台注入新动力

聚焦前沿科学研究,致力尖端科技突破,注重学科交叉融合,努力实现创新和科技成果转化的重大突破,为了保障不同学科课题项目的顺利、高效开展,中国科大网络信息中心深入分析科研项目对计算中心的需求,整体筹划,以计算+存储为核心的整体方案升级集群系统,部署了25个浪潮GPU服务器节点、一套浪潮分布式并行文件存储AS13000系列,为科研平台提供了计算及数据基础设施支撑。

为了满足不同学科领域项目采集的数据在研究不同时期数据对存储性能、容量的需求特点,数据层采用了基于浪潮分布式并行文件存储AS13000系列构建的数据分层存储方案,通过配置NVMe SSD高性能硬盘的全闪存节点构建了高速性能层,通过30个4U60盘位的高密节点搭建了11PB可用空间的容量层,集群中所有分布式节点参与并发读写,基于聚合的小文件优化技术,减少了数据写入硬盘次数,提高小文件读写性能,实现了集群聚合读带宽160GB/s以上,写带宽100GB/s以上,同时随机读IOPS达205万,保证科研项目顺利进行。存储集群采用同一目录命名空间,可以自动根据数据访问在高速存储及普通容量层中迁移,确保发挥更大性能。此外浪潮分布式并行文件存储AS13000可提供文件、对象、块、大数据等多种存储服务,通过灵活的存储协议选择以及多种存储协议之间的互通性满足多领域科研项目课题的负载多样性。

聚合读写带宽性能

数据存储集群具有高冗余模式,当某节点出现故障时,可以自动切换到备用节点上,科研平台数据不会丢失,保证了数据安全性,设备类故障频率降低,保障项目课题的持续运行。此外,中国科大考虑到科研平台未来研究方向的增多及规模的增大,浪潮分布式并行文件存储AS13000可以根据后期业务的增长,在线扩展新的节点,系统的性能和容量会随着节点数量的增加线性增长,保护了科研项目的持续性研究。

浪潮存储

2003年正式建成的中国科大校级计算平台是学校六大公共实验中心之一,也是国内高校最早的平台之一。目前投入设备采购费用已超1.2亿元,1300台在使用中的服务器,提供总双精度浮点5409万亿次/秒的计算能力,利用率超过80%。其中在2022年支持发表SCI论文464篇(包括Nature系列、Science系列、PRL、JACS、Cell等顶级期刊论文38篇),为前沿领域的科技创新提供数据与计算平台,有效支撑了用户取得显著项目成果。

科技创新作为引领发展的第一动力,深刻应用和影响着人类的工作、生产、生活各个方面,从而提升生命健康水平,推动经济繁荣、造福人类。最为具有较强知识创新和技术创新能力的教育与科研基地,中国科大致力推动中国科技文化的发展,通过对于新技术、新设备的应用,为了给每一位师生提供优质的计算和数据资源,为加速前沿科技研究打下坚实的基础,帮助全人类更好认识自然、理解自然、改造自然,推动人类社会和文明不断向前迈进。