海量存储 通过国家验收

2012-09-18 17:34:00作者: 来源:大众网

2012年3月29日,浪潮自主研发的PB(1PB=1000TB,1TB=1000GB)级高性能海量存储系统通过国家验收,这标志着我国突破了海量存储系统的技术难题,系统的掌握了高端存储系统的核心技术,在高端存储系统技术方面实现了自主可控,推动我国存储产业实现了由技术依赖向自主创新的历史性跨越。

    2012年3月29日,浪潮自主研发的PB(1PB=1000TB,1TB=1000GB)级高性能海量存储系统通过国家验收,这标志着我国突破了海量存储系统的技术难题,系统的掌握了高端存储系统的核心技术,在高端存储系统技术方面实现了自主可控,推动我国存储产业实现了由技术依赖向自主创新的历史性跨越。
    浪潮PB级高性能海量存储系统是“十一五”863计划“海量存储系统关键技术”重大项目的研究成果,是国内第一个研制成功的多控制器和全交换体系结构的存储系统,也是国内唯一支持IB SAN的存储系统。这一创新成果打破了国外厂商长期以来在高端存储系统方面的市场垄断和技术垄断地位,对保障国家信息数据安全有着重要的意义,使中国成为继美、日之后世界第三个掌握高端存储核心关键技术的国家。
一、项目背景
    1、国家信息安全需求。在关系到国计民生和国家战略安全的领域,运行关键业务的存储系统能否可靠、安全、可控的运转将直接影响到社会安定和国家安全,尤其在金融、电信、能源、政府、国防等领域,这个矛盾表现的尤为突出。海量存储系统是关键应用领域中的重要信息化设备,它一方面能够突破普通存储的容量瓶颈,另外一方面具有较高的可靠性,可长期提供高速、稳定的信息存储服务,对国家经济运行安全、社会安全和国家战略安全有着重要的意义。
    2、海量数据需求。在存储市场上,随着云计算和物联网等新技术的广泛应用,客户数据规模和应用规模快速扩大并积累,海量存储系统应用越来越广。业内专家指出,由于互联网的发展,未来十八个月新产生的数据量将是有史以来数据量之和。据估计,对Internet存储容量的需求每三个月就要翻一番。在这一背景下,用户对海量存储系统的性能、可用性、可扩展性的要求非常突出。
    3、数据管理需求。承载信息的数据类型随着信息应用的多样化也变得纷繁复杂,如何高效的对数据进行组织和管理成为国家信息化建设必须面对的一个难题。随着信息系统以计算为核心向以数据为核心的转变,数据越来越成为用户业务持续增长的宝贵财富,信息存储系统逐渐成为信息系统的核心组成部分。作为存储核心技术发展的热点和重点技术,PB级海量存储系统正是应对这一难题的解决方法。
    4、中国在存储领域面临的困难。海量存储系统涵盖范围广、技术门槛高,从基础的硬件设计、硬件架构到上层的系统软件、应用软件都需要融合先进的理论和技术。国外信息产业巨头通过投入大量人力、物力和财力已经研发出了面向PB级数据处理需求的海量存储系统,国外IT巨头已经推出了面向海量数据处理的高端存储系统,而我国本土存储企业对海量存储系统的研发才处于起步阶段。技术的领先使得国外IT巨头占据了国内存储市场95%以上的份额,剩余5%的市场份额也基本是国内厂商为国外品牌OEM的产品,自主品牌基本为零。国外厂商昂贵的产品价格和服务费用不仅使我国难于以较低的投入迅速建立起数据管理、数据安全的存储平台,更严重影响到我国的信息安全,研制具有自主知识产品的PB级海量存储系统刻不容缓。
    在这种背景下,国家在十一五863重大专项中在信息领域设立了“海量存储系统关键技术”重大项目,其目标为研制面向PB级高性能、易扩展、高可用、易管理的海量存储系统,支持规模达到4000并发访问、50GB/s聚合带宽、1PB存储容量(可扩展至10PB)的高可用、高性能海量网络存储系统,并在国家重点部门完成示范应用,实现我国存储产业由技术依赖向自主创新的跨越。
    经过3年的不懈努力,浪潮突破了技术、人才、时间等多个方面的困难,成功解决了国产海量存储系统“从无到有”的问题。浪潮海量存储系统在国内首创8控系统体系架构,通过完全自主知识产权的算法,解决了多控协调调度、全局共享缓存等关键技术难题,实现了多个存储控制器的全交换、全连通,与传统的双控存储系统相比,系统可靠性达到99.999%,性能提升30倍以上。
二、突破核心技术,实现海量存储系统的自主可控
    浪潮海量存储系统在存储规模、性能、扩展性、可用性方面取得国内高端存储领域的重大技术突破。
    浪潮的研发人员将这一项目代号命名为“泰坦”,寓意无惧天地、勇往直前的“泰坦精神”,矢志研发出中国自主的存储巨无霸。
    浪潮海量存储系统研发成功之前,中国自主技术仅仅能够达到双控存储系统(即两个存储控制器)的级别,而这一技术在全世界也只有EMC、IBM、浪潮、HDS、Netapp、Infotrend等少数几家做到。一旦遇到海量存储的需求,只能通过存储集群的方式解决,即通过光纤等手段将多套低级别的存储系统连接在一起,其可靠性和运行性能都难以和单一的海量存储系统媲美。
    海量存储专项的目标是研制出拥有8个存储控制器的单机存储系统(即存储领域的大型机),其交叉逻辑关系复杂度是双控的64倍,同时还要保证系统的性能和可靠性,难度可想而知。
    存储系统的核心是存储嵌入式系统(即存储设备的操作系统),只有完全掌握了存储嵌入式系统,才能从根本上做到存储系统的软硬件自主可控。而嵌入式系统中的全局共享缓存又是高端存储系统的核心,它解决的是8颗存储控制芯片之间数据互连、资源调度等核心问题,这也成为整个项目攻关的关键。
    在全局共享缓存系统的研发中,开发出一套高效、稳定、可靠的算法是关键。其逻辑复杂性非常高,复杂程度是目前主流双控存储的64倍,同时又要兼顾可靠性和性能,还要保证8颗存储控制芯片各种指标要达到高度一致,8颗芯片中每一颗性能的些许波动都会影响整个海量存储系统的稳定性和可靠性。
    经过3个多月的封闭研发和昼夜攻关,浪潮的研发人员在数万次的测试之后,终于研发出一套优化高效的算法,成功攻克了这一为国外少数企业垄断的技术,解决了项目中的最大难题。
    浪潮还研发出多控容错系统,8个存储模块中,只要有一个没有损坏,全部数据都可保留,有效的提高了系统的可靠性。同时,浪潮海量存储系统还支持异构兼容,保证了在不同存储系统之间的兼容,为逐步实现关键领域存储系统的国产替代奠定了基础。
    由此,浪潮也成为继EMC、IBM、日立之后,第四个能够自主研制海量存储系统的公司。
    海量项目立项时,国内技术水平落后国外大概20年,浪潮海量存储系统的成功研制,使我国高端存储系统关键技术基本达到了国际先进水平,在某些领域甚至实现了超越。
    浪潮海量存储系统数据管理规模高达32PB,相当于可以存储600万集电视连续剧,按照我国现有连续剧产量(每年1万部,每部平均20集),可以持续存储30年。
    浪潮海量存储系统可以管理10亿级文件数量,单一系统可以存放全国居民的图像资料;可以保证的1个大型互联网企业(按每天增加100万文件数量)连续1000天文件数量的增长。
    浪潮海量存储系统系统数据传输带宽达到每秒64兆,可以同时支持130000路(中等规模城市)监控摄像头同时进行数据上行传输,在一秒内能够存储十四部高清电影。
    浪潮海量存储系统从数据层、设备层、链路层、应用层多个层次进行高可用保证,可靠性达99.999%,意味着可以保证系统一年停机时间不超过5分15秒。
    浪潮海量存储系统在国家关键核心业务中国资源卫星应用中心、国家超级计算(济南中心)得到应用。中国资源卫星应用中心业务系统承载7个卫星的数据接收和处理,每天处理6TB,年数据量在2PB。浪潮海量存储系统作为卫星应用中心生产系统替代国外先进厂商存储系统,稳定运行至今。
    全国产化的千万亿次超级计算机神威蓝光部署了2.3PB浪潮海量存储系统,其每秒带宽达到200GB,有效地解决了高性能计算后端存储瓶颈,为我国超级计算做出了卓越的贡献。
三、打破垄断 捍卫国家安全 推动产业发展
    1、在关系到社会安定、国家安全、关键行业实现应用,使其摆脱对国外高端存储、海量存储系统的依赖,消除信息安全隐患,为国家战略安全提供保障。  
    高端存储系统是国防、医疗、能源、交通、电信等关乎国家安全的关键行业核心业务系统的重要核心设备。这些关键领域,对高端存储系统依赖程度非常高,并且关系到社会稳定与国家安全,承载关键核心业务的高端存储系统一旦无法正常运行,会严重影响社会安定与国家安全。而数据安全作为信息安全的最后一道闸门,如果信息存储系统软硬件核心技术不可控,将直接威胁着我国的国家战略安全。高端存储产品市场被国外厂商垄断的直接恶果就是国内用户数据的安全完全依赖国外厂商的技术保障,数据安全存在巨大隐患,一旦国际形势发生不利于我国的变化,外国敌对势力完全可以通过信息化手段,比如国外存储系统通过网络可被远程登录和控制,容易造成国家重要信息的泄漏,对我国重要国家战略部门具有毁灭性的打击,致使国家重要战略部门,乃至国民经济陷于瘫痪,严重威胁国家战略安全。
    2010年9月份,伊朗核电站离心机遭到了“安装在电子设备上的软件”的袭击,而这个软件是美国某科技公司的产品。据国外媒体报道,该病毒是美国和以色列两国政府联手在美国的一个实验室研制成功的,2008年开始研制,2010年正式投放到了伊朗。从深层次看,关系到国家安全领域的基础设施如果不采用国有技术,随时可能遭遇较大的国家安全威胁。海量存储系统是关键行业、部门信息化建设的基础设施,也是核心设备,一旦都采用国外设备,后果不堪设想。
    目前,浪潮海量存储系统已经在中国资源卫星应用中心实现了成功应用。资源卫星是关系到国家安全的应用领域,资源卫星采集掌握了全国的资源地理信息,包含了生态监测、环境调查、矿产勘探、灾害监测以及地理绘测等国家资源关键数据,这些数据一旦泄露,将对我国战略安全造成巨大威胁。浪潮研制的PB级海量存储系统实现了海量存储系统与原有系统的集成,以及对原有国外存储系统的替代,完成中心关键业务在应用示范系统上的部署并稳定运行一年以上,为国家卫星战略数据提供了安全保障。
    浪潮高端存储系统的研制成功,为摆脱国防建设、关键行业对国外高端存储、海量存储系统的依赖,消除了信息安全隐患,为国家战略安全提供了保障。
    2、为国家重要经济部门、行业的信息化建设提供可靠的国产基础技术装备
    银行、保险、证券等行业是国家重要经济部门,这些行业对于海量存储系统的依赖性也极高。比如银行的储蓄业务系统、汇兑结算系统和银联信用卡交易结算系统,证券的交易系统和报价系统。这些系统的核心存储服务器运转一旦出现停顿或者数据丢失,会对社会生活造成严重的损害,会产生巨大的经济损失,甚至直接威胁到经济安全。
    打破国外高端存储产品的垄断,将有效降低国外高端存储产品的价格和服务费用,有助于用户降低信息化成本,提高竞争力。PB级海量存储系统的市场主要被国外存储厂商所垄断,占据高端存储市场95%以上的份额,其他5%中,也是本土企业OEM国外厂商。
    国内外对高性能、高可用网络存储系统的需求急剧增长,企业、行业的信息化建设离不开高端存储系统。但苦于国外对高端海量存储系统的垄断,系统价格及后期维护、升级成本居高不下。浪潮海量高端存储系统突破了多项核心技术,软硬件完全自主开发,有效的降低了产品成本,为国家重要经济部门、行业的信息化建设提供可靠的国产基础技术装备。
    3、带动相关的行业应用软件、系统集成以及技术服务产业的发展,为国内IT厂商拓展广阔的市场空间
    随着海量存储系统突破了一系列的关键技术,减少了存储基础设备的购置成本,伴随而来的存储的个性化需求也就将逐步增多,建立在存储设备基础之上的相关存储软件及服务业务快速发展起来。用户将更加注重存储系统对于数据发掘的价值,以期提升业务的竞争力。存储系统效能的发挥,在很大程度上取决于软件的功能、适用性。从存储系统的管理、维护,到数据的归档、备份、容灾,这些都离不开背后软件的支撑。
    2012年存储软件销售额将超过170亿美元,软件及服务将超过200亿美元。国内存储发展迅速,存储软件市场增长率将超过全球增长速度,保持两位数的增长速度。存储软件及服务市场增长的关键因素在于存储硬件和软件双重需求的带动,这其中包括存储虚拟化、大量增长的数字内容、中高端市场的增长、固态存储的发展、数据中心整合与自动化以及更加扩大的以信息管理为重点的工作。
    存储系统维护、专业服务以及其他服务为存储市场开辟了另一条新的增长之路。相对于外部存储系统、存储软件及服务来说,存储系统维护及服务目前市场份额还比较小,随着技术的发展,用户观念的转变,这块市场也正悄悄的在扩大。
    浪潮海量存储系统将在2012年开始大规模销售,同时带动国内存储厂商存储产品、软件、维护和专业服务等销售,为国内IT厂商拓展市场开辟了广阔的空间。
    4、浪潮海量存储系统研发成功,标志着中国有能力能够勇敢的挑战云计算时代的到来,自主创新将支撑着中国未来信息化建设
    在国家政策的大力支持下,云计算、物联网、三网融合进入快速发展阶段,带来了海量数据的增长,对存储尤其是低耗高效的海量存储产生了巨大的需求;同时,云计算、物联网应用模式的改变,对信息存储系统的数据存储和管理提出了新的挑战。
    存储系统也是云计算最为基础也是最核心的设备之一。海量存储系统的成功研发,为云计算、物联网提供了庞大的数据支撑平台,积累突破了存储基础装备的核心技术,为云计算、物联网、三网融合所需要的高密度存储设备、智能存储设备等存储基础设备做好了准备。
    浪潮海量存储系统研发成功,标志着中国有能力在云计算时代抢占行业制高点,协同高端容错计算机、云计算操作系统等共同打造中国自主安全可控的云计算基础架构平台,为中国云建设贡献更多的力量。

责任编辑:刘小芳
分享:
更多

本文相关新闻

我要评论