提及超级计算机,了解它的用户会很自然的想到TOP500榜单:最新超级计算机TOP500榜单上,位于美国能源部橡树岭国家实验室的最新超级计算机“泰坦”,以17590 TFlop/s的运算速度夺冠,使得超级计算机霸主地位自中国“天河一号”,到日本“京”(K Computer)再次回归美国。
对于超级计算机来说,高性能计算的背后并非简单产品上的比拼,而是国家信息化安全和实力的争斗,然而对于普通老百姓来说,超级计算机究竟为何方神圣?与个人电脑相比,在运算速度上动辄以百万亿、千万亿次来计算的超级计算机,和信息化建设、日常生活有什么关系?笔者将打开超级计算机“大门”,为大家介绍你所不了解的超级计算机(Super computer)。
从维基百科了解,超级计算机(Super computer),相比PC规格与性能更加强大,能够执行一般个人电脑无法处理的海量与高速运算的电脑。“超级计算”这名词第一次出现是在“纽约世界报”于1929年关于IBM为哥伦比亚大学建造大型报表机的报道。
1960年代,超级计算机由希穆尔·克雷(Seymour Cray)在Control Data Corporation里设计出来并领先市场直到1970年代克雷创立自己的公司“克雷研究”(Cray Research)。特别注意的是,随着时代发展超级计算机的CPU数量成倍提升,数以万计的处理器应用并行计算。
简析超级计算机的历史
1970年代,大部分超级计算机就已经从标量处理器发展到矢量处理器,很多是新进者自行开发的廉价处理器来攻占市场。1980年代初期,业界开始转向大规模并行运算系统,这时的超级计算机由成千上万的普通处理器所组成。1980年代中叶,将适量的矢量处理器(一般由8个到16个不等)联合起来进行并行计算成为通用的方法。1990年代以后到21世纪初,超级计算机则主要由基于精简指令集(RISC)的处理器互联进行并行计算而实行。
截止到2012年10月,隶属于美国能源部的橡树岭国家实验室将美洲虎改装为“泰坦”(Titan)成为世界上运算速度最快的超级计算机,夺取上一届由IBM为美国劳伦斯·利弗莫尔国家实验室研发的Sequoia,它每秒能完成1.6亿亿次运算。
过往的超级计算机
2010年10月,中国研制的第一台千万亿次超级计算机在湖南长沙亮相,全系统峰值性能为每秒1.206PFlops,是当时世界上最快的超级计算机。天河一号的研制成功使中国成为继美国之后世界上第二个能够研制千万亿次超级计算机的国家。
2008年11月,IBM的Roadrunner成为当时最快的超级电脑,运算能力为1.105PFlops。
2008年11月16日,美国Cray超级电脑公司推出Jaguar系列,运算能力为1.059PFlops,采用45376颗四核心的Opteron处理器,362TB的存储器,传输总带宽284GB/Sec,硬盘容量超过10PB,内部的数据总线带宽532TB/Sec。这台电脑将放置在美国的国家高速电脑中心,并开放给各界有需要的团体申请使用。
2007年11月,IBM的Blue Gene/L,运算能力为478.2 TFlops,安装了32768个处理器。它是PowerPC架构的修改版本,正式运作版本被推出到很多地点,包括罗兰士利物摩亚国家实验室(Lawrence Livermore National Laboratory)。
在Blue Gene/L之前,最快的超级计算机是日本电气株式会社在横滨地球科学学院的地球模拟器。它由640个特别设计的8阶矢量处理器根据NEC SX-6架构所组成的丛集,使用UNIX的修改版本。
在地球模拟器之前,最快的超级计算机是美国加州罗兰士利物摩亚国家实验室的ASCI White,它的冠军位置维持了2.5年。
“Titan”超算夺冠、中国超算“梦之队”夺冠纪实、Top500超算榜Linux胜
超算机的硬件与架构
从超级计算机设计架构上,相比1960年代希穆尔·克雷(Seymour Cray)在Control Data Corporation里设计超级计算机有着令人激动的变化,早期Cray超级计算机依赖于紧凑型的创新设计和局部并行计算来实现卓越的计算峰值性能。但是随着计算能力需求的增长迎来了大规模并行系统。
纵观几十年来,超级计算机在硬件配置和架构设计上有了明显的变化,由数百数千甚至到如今数万计的处理器组成,但并不是仅仅把上万颗处理器“并联”就可以,还要考虑到效率问题,如何才能充分发挥它们的性能。
如今的超级计算机的性能提升幅度很大,现在是千万亿次计算能力,下一个级是万万亿次。为了更好理解超级计算机到底是何方神圣?笔者针对如今世界最快超级计算机和中国最快超级计算机硬件和软件配置进行说明,给大家一个直观的印象:
“泰坦”超级计算机
就“泰坦”超级计算机而言,200个定制的19英寸机柜和18688个计算节点,每个节点由一个16核AMD Opteron 6274处理器和一个NVIDIA Tesla K20 GPU组成。但系统却更换为最新的Cray XK7计算系统,同时内部配置也大为不同:
采用AMD高性能的皓龙处理器,从原来12核心变为16核心,总的核心数量从原来的224256个增加到如今299008个;每颗处理器搭配开普勒架构的NVIDIA Tesla K20高性能计算卡,总计有高达18688个GPU。
“泰坦”系统内存每个节点也有原来的16GB翻番为32GB,而且还有6GB GDDR5显存,总量从300TB增至710TB;硬盘是由一万块标准的1TB 7200转2.5寸机械盘,总容量10PB。
泰坦的操作系统是Cray Linux Environment,基于SUSE 11。由于超算的大部分工作都是远程执行的,泰坦内部还有几十个10Gbps以太网链接,接入了能源部能源科学网络(ESNET)的100Gbps骨干网内。在峰值浮点性能方面,泰坦超过20PFlops,也就是每秒钟可进行2亿亿次计算。
另外,当“泰坦”全速运行的时候,需要消耗高达900万瓦特电力,典型负载下也要700万瓦特,而这也是唯一限制它扩充的地方。为了减少供电线厚度,电压是很高的480V而不是当地标准的208V。
而作为中国最快的超级计算机,“天河一号”由140个机柜组成,由14336颗英特尔六核至强X5670 2.93GHz CPU、7168颗Nvidia Tesla M2050 GPU和2048颗自主研发的八核飞腾FT-1000 CPU。“天河一号”的硬件系统包括计算阵列、加速阵列、服务阵列,以及互连通信子系统、I/O存储子系统和监控诊断子系统等。
·计算阵列:2560个计算结点,每个计算结点集成2个Intel CPU,配32GB内存。
·加速阵列:2560个加速结点,每个加速结点含2个AMD GPU、 2GB显存。
·服务阵列:512个服务结点,每个服务结点含2个Intel EP CPU、32GB内存。
·互连通信子系统:采用两级Infiniband QDR互,单个通信链路的通信带宽为40Gbps、延迟1.2μs。
·I/O存储子系统:采用全局分布共享并行I/O系统结构,磁盘总容量1PB。
·监控:采用分布式集中管理结构,实现全系统的实时安全监测、系统控制和调试诊断等功能。
“天河一号”的软件系统包括操作系统、编译系统、资源管理系统和并行程序开发环境等四部分组成。
·操作系统:操作系统采用64位Linux,面向高性能并行计算、支持能耗管理、虚拟化和安全隔离等进行了针对性设计。
·编译系统:支持C、C++、Fortran77/90/95、Java语言,支持OpenMP、MPI并行编程,提供异构协同编程框架,高效发挥CPU和GPU的协同计算能力。
·资源管理:提供全系统资源统一视图,实现多策略资源分配与作业调度,有效提高资源利用率和系统吞吐率并行程序开发环境并行程序开发环境提供一体化图形用户界面。
就配置总结而言,笔者认为超级计算机无论从外形,还是在处理器、内存以及硬盘这些传统硬件方面可以说是以其数量远远高于用户所理解的个人电脑,并不是仅仅把上万颗处理器、内存和硬盘“并联”提供计算性能。而是还要考虑到效率问题,通过创新计算编译和管理平台,以及针对性设计的操作系统和网络、加速阵列组成,实现全面的优化集群的系统平台来提供实际计算应用。
超算机的性能与应用
谈及之前性能数值,更多的人应该没有概念,超级计算机“泰坦”,以17590 TFlop/s的运算速度夺冠,这个运算速度代表什么?超级计算机实测浮点峰值是指Linpack测试值,也就是说在这台机器上运行Linpack测试程序,通过各种调优方法得到的最优的测试结果。
历届TOP500超算冠军
其中有实测浮点峰值和理论浮点峰值,这两个值只是作为衡量机器性能的一个指标,用来表明机器处理能力的一个标尺和潜能的度量。笔者更加直观的通过数值来解析,升级后的“天河-1A”实测运算速度可达每秒2570万亿次,运算能力相当于17.5万台笔记本电脑。
正如之前谈到的实测浮点峰值和理论浮点峰值,“天河一号”峰值性能为每秒4700万亿次,实测性能为每秒2570万亿次。这意味着,“天河-1A”计算一天的工作量相当于一台家用电脑计算(PC)800年。
另外,“天河一号”的存储量相当于4个国家图书馆(国图藏书量为2700万册)之和,能够为全国每人储存一张1寸照片。“天河一号”由103台机柜组成,总重量相当于19个神舟飞船。放置“天河一号”需要一个近一千平方米的房间。
对于上面的数值,很多人会一惊之后问到高性能的计算能力都应用于何处?“天河一号”的应用领域十分广泛,在石油勘探、高端装备制造、生物医药、动漫设计、新能源、新材料、工程设计与仿真分析、气象预报、遥感数据处理、金融风险分析等领域都具有广阔的应用前景。
据了解,用“天河一号”数值模拟蛋白质、分子结构,研发生物医药,科学家就可以在较短时间内从几十万甚至几百万种化学物中筛选出有效的药物化学物,不仅能节省购买实物化合物的大量资金,而且能大大缩短研制周期,这就为疾病的治疗提供了革命性的方法。
另外,通过国家超级计算天津中心,“天河一号”超级计算机与中新天津生态城国家动漫产业示范园正式签署合作协议,双方通力合作,立足滨海新区打造全国最大的动漫渲染平台,让滨海新区成为引领中国文化创意产业的先锋区
与中国石油、中国石化、中海油三大石油公司建立合作,在生物医药领域已经成为天津国际生物医药联合研究院、中科院上海药物所、军事医学科学院、北京生命科学研究所、北大等国内著名研发机构的计算处理平台。
此外,与清华地学院、北师大地学院合作,支持地球环境变化研究项目;与北大、浙大、中科院等国内聚变研究机构签署正式合作,开展核聚变能源开发研究工作。
相比国内超算,传统意义上的超级计算机一般仅应用在机械制造、设计、石油勘探、天气预报以及军事等方面,国外的超算发展更为领先,IBM沃森致力于医疗诊断,“泰坦”超级计算机的研发得到了美国能源部的资金支持,它将主要用于能源、气候变化、 高效引擎、材料及其他科学领域的研究。
然而,笔者了解,对于国内超算应用来说,加强我国超级计算机应用型人才储备,完善超级计算机应用的生态环境,从人才、政策、资金等方面多管齐下,充分发挥超算对经济、社会的推动作用。
通过设立超级计算机应用创新奖励基金,加大应用创新奖励力度。浪潮集团已经设立高性能计算奖励基金,建议以此为基础,呼吁更多的单位和组织加入进来,扩大基金规模,加大对超级计算机应用创新人才发展推进整个超级计算机行业发展。
超算机离我们有多远?
了解到超级计算机的结构设计、性能以及应用,似乎大家看到的更多只和科学研究联系在一起。但事实上,在和我们生活息息相关的各个领域都可以看到超级计算机的身影。
对于高速发展的互联网行业,面对数千万、数亿用户的访问请求,服务器必须有强大的数据吞吐和处理能力,高性能服务器每秒钟可以处理数千万乃至数亿次服务请求,及时提供用户所需要的信息和服务。
高成本的超算
“黄石”超级计算机不仅能允许研究者预测未来一个世纪内天气是否会变得更暖,而且还能预见未来十年或是二十年的情况,对给定地区的未来天气状况变化做出接近于事实的预测。
另外,在天气预报方面是由超级计算机计算而来。目前世界最高水平可预报8天,我国为5至6天。但目前世界上的超级计算机仍然是无法满足气候预报,因为天气预报的计算需要10的18次方也就是每秒百万万亿次的速度,天气预报时效每增加一天,气象和计算机界需要努力10年。
人才培养带动超算改变生活
正如之前谈到,超级计算机的计算能力不直接面向用户,但是在影视制作和渲染平台应用方面,随着超级计算机的服务能力的拓展,会衍生出一系列计算服务产业并面向个人用户提供服务。
然而,与国外相比,软件应用上的差距是中国超级计算“短板”,真正实现应用改善还任重而道远。特别是缺乏完善的应用软环境,具体表现在人才储备、应用意识、政策导向等方面,特别是人才欠缺的问题是一直制约我国超算技术发展的瓶颈。
国内领先的高性能计算厂商浪潮与曙光一直致力于人才培养,推动整个高性能计算产业的发展,曙光通过SSC这个平台为人才培养提供了一种独特的培训模式,即坚持以“软件+硬件共同开发、实践与应用结合”为原则、以培养HPC专业人才为目标,强化企业主体创新意识,并通过审核严格的“曙光服务器专业认证”等途径实现人才可持续发展。
浪潮也不断推动国内高性能产业的发展,曾先后设立了浪潮高性能计算创新奖励基金、组织中国首届大学生超级计算机竞赛、举办中国高性能计算用户大会、与Intel成立并行计算联合实验室、并连续支持中国高校参加SC、ISC全球超级计算机大赛,特别在人才培养方面与清华大学共同设立的“清华大学—浪潮集团计算地球科学青年人才基金”计划,更为推进国内地球系统科学与高性能计算领域的人才培养和挖掘。
通过一系列项目与国内计算机科学方面的青年人才与专家共同探讨HPC发展,浪潮在高性能计算应用方面提供平台和软件应用的支持,特别是即将召开的2013亚洲大学生超级计算机竞赛,通过HPC平台的技术比拼与交流,为国内高性能计算持续发展做出贡献。
由此可见,对于超级计算机而言,无论是硬件结构和软件应用的发展,还是性能不断的攀升,对于普通用户而言并不在陌生。随着世界大学生超级计算机等竞赛的推广,让这个看似高不可攀的“大块头”把“大智慧”普及应用,使得从大学生到行业专家共同带动超级计算机的发展,最终帮助人才在高性能计算的应用技术软件技术等方面培养,有更进一步的提高和更大空间的发展,从而使得整个中国的高性能计算产业有更好的发展。