从1号到4000 曙光高性能计算发展历史

曙光一号到曙光2000

曙光一号

　　在国家科委与863计智能机专家组的直接领导下,在中科院,计算所及其他单位的大力支持下,国家智能计算机研究开发中心经过一年多的努力,于93年研制成功我国第一台全对称紧耦合多处理机―曙光一号并行机.由于曙光一号的研制不是一切从头做起,而是采取了遵从国际工业标准,与主流技术兼容,两头在内,中间在外,集中力量突破花钱也买不到或买来也不合算,具有高附加值的关键部件的技术路线,所以曙光一号的研制花钱少,研制周期短,而且研制成果本身就是具有市场竞争力的高性能计算机产品.93年曙光一号问世时,IBM,HP,SUN,DG等公司的相近性能产品都要卖十几万美元甚至几十万美元,而当时曙光一号报价只有6万美元.曙光一号非常适合做网络服务器,中断能力与多用户工作条件下的响应速度都明显高于国外同类型机器,为我国开展三金工程,建立各部门各单位的信息管理与服务系统提供了理想的平台.国务院发展研究中心马宾研究员视察智能中心以后,给江泽民,李鹏,朱0基,邹家华,曾培炎等领导递交了一份题为"曙光一号计算机的设计研制者抓到了机遇,请领导决策者抓紧扶助发展的机遇"的报告.报告指出:"我们是有根据地说曙光计算机的曙光照亮我们要走的路线甚至如何走法!这是最重要的,这比曙光计算机本身的好的性能价格比更重要……

　　总之,我们自制的,作为信息处理枢纽的曙光一号,和作为信息传输枢纽的数字程控交换机,这两大系列产品的推广应用和生产发展,会大大推动和带领电子信息产业的发展,至于团结科技人才作贡献,激励爱国用户兴中华,其作用不下于卫星上天.所以,应该说中国电子信息产业的发展,已经找到突破口,找到了初入点.关键在于抓紧机遇,乘机扩大战果".国家领导领导人十分重视曙光一号,将它做为代表我国科技进步的两项重大成果之一,写入94年政府工作报告。

　　国际上的技术合作都是以实力为基础,曙光一号问世以前,只有一些港台小公司来中心谈合作,曙光一号的成功大大提高了智能中心的知名度与谈判地位.Motorola公司执行副总裁与几位高级副总裁多次来智能中心寻求合作,将智能中心与曙光公司做为战略伙伴.现已签订协议与智能中心合作成立联合实验室,双方各派10人参加,每年Motorola公司至少投入40万美元.在开发曙光一号系列升级产品方面Motorola公司将与智能中心长期全面合作.IBM也选择智能中心做为系统集成的战略伙伴,在智能中心设立ATM实验中心.外国大公司主动找智能中心合作是曙光一号取得的重大社会效益,它将大大加速我们开发新产品的进度.曙光一号开发成功后,胡启恒副院长曾评价曙光一号咬住了高速发展的计算机的"尾巴",那么由曙光一号而获得的高水平国际合作将使我们能与国际上同步推出基于PowerPC的多处理机,可以说是咬上了高速发展的计算机的"耳朵"。

　　曙光一号不是一个孤立的科研成果,它代表863计划计算机主题的发展目标与方面,它是振兴民族高性能计算机产业的一个十分艰巨的工程.鉴于曙光一号的成功和曙光产业工程已顺利展开,经专家论证通过,国家科委已批准拨款1500万元,加强支持曙光一号的升级产品开发(作为九五攻关项目).实际上曙光一号研制成功后,我们就已着手升级产品设计.曙光一号系列升级产品采用国际上最有发展潜力的主流CPU芯片-PowerPC 604和620芯片,计划一,两年内推出1～2处理机的普及型服务器(性能高于曙光一号,价格更低),2～8个处理机的高档服务器,双机备份高可用系统,高性能Internet服务器及嵌入式通信控制器等五种系列产品.其中基于PowerPC 604的普及型服务器将于今年年底推出,形成推广曙光一号系列计算机的一个大高潮(《计算机世界》调查有56%的用户打算买PowerPC机器),PowerPC服务器性能价格比高于奔腾服务器,而且特别适于多媒体应用.在注册资金7500万元的曙光公司大力推动下,曙光系列计算机明年将打一场漂亮的攻坚战,在建立我国高性能计算机产业的艰苦长片中迈出扎实的一步。

曙光1000

　　1995年5月，由中科院计算所研制的曙光1000大规模并行计算机系统通过国家级鉴定，该系统达到了国际先进水平，其峰值运算速度每秒25.6亿次，实际运算速度每秒15.8亿次，内存容量为1024兆字节，为国内最高水平。该系统突破了一批大规模并行处理的关键技术，采用了国际90年代的最新技术它的峰值速度达到25亿次／秒，实际运算速度达到15.8亿次／秒浮点运算，内存容量达1024兆字节，居中国之首。该系统能解决工作站和大型机难以解决的问题。如，一个全国范围内的48小时天气预报程序只需运行3小时左右，而一般计算机要运行60小时以上，这就提高了预报的准确度。这是中国研制成功的第一家有自己版权的并行操作系统。

技术特点

1可扩展性好。连接网络、输入输出(I/O)、系统软件等均可以扩展。它可以扩展到包括成百上千个结点计算机的MPP系统。它与对称式多处理机(SMP)系统和传统的向量(巨型)机相比,具有明显的优势。
2计算能力强,内存容量大,能解决工作站和大型机难以解决的大问题。它的实际运算速度达到每秒15.8亿次浮点运算。它能在30分钟内解出含15000个未知数的线性方程组,能在40小时内完成天然DNA整体电子结构计算,而小型机要连续计算3个月以上才能完成。
3独立设计的蛀洞(Wormhole)路由器芯片创造性地采用了异步和同步相结合的工作方式,消息传送速度快,稳定可靠。
4并行系统软件(操作系统、优化编译器及工具)高效实用。
5全面采用并行编程和调试环境。
6广泛采用国际标准,系统开放程度高,用户移植软件容易。

主要技术指标

　　曙光1000有36个结点机。其中,计算结点机32个,服务结点机2个,I/O结点机2个;峰值计算速度为浮点25.6亿次/秒,实际达到15.8亿次/秒;内存容量为1024兆字节;采用基于Wormhole机制的二维Mesh通讯网,结点与网络通讯总带宽为2.88GB/秒;运行C、C++和并行Fortran程序,提供并行优化重构工具PORT和串行程序自动并行化工具Autopar;采用基于UNIX的并行操作系统和并行文件系统,并行编程环境PVM、EXPRESS和MPI并行程序行为动态监视工具ParaVision及并行程序调试环境NDB。 曙光1000可以用于天气预报、石油地震数据处理、航天器设计模拟、科学研究、教学、金融、证券等众多领域。它已经在我国大规模科学工程计算中发挥了重大作用。以曙光1000为计算主机的高性能计算服务中心即将在国内若干中心城市建立起来。为支持用户在曙光1000上进行算法研究和开发应用软件,国家有关部门即将设立国家高性能计算基金。

硬件系统

　　1系统总框图 曙光1000是一个基于Message-passing机制的松散耦合大规模并行计算机系统。它包括32个基于i860的计算结点,1～2个系统服务结点子系统和2～3个I/O结点组成的外存子系统。这些结点由一个6×6的二维mesh网连接,每一个Mesh网络上有一个Wormhole路由器。整个系统有一个系统控制台,它负责系统的初始化和硬件故障诊断工作。用户工作平台是SUN Sparc-2工作站(或其他工作站,如SGI等)和一些终端设备。由每秒10Mb的Ethernet局域网将系统服务结点、控制台、Sparc-2工作站及终端设备连接起来。
　　2Mesh网　mesh是可扩充的。每一个结点机(包括系统服务结点机和I/O结点机)和一个Wormhole路由器(WRC)相连。结点的编号(物理地址)由X方向编号和Y方向编号两部分组成。结点的相对地址信息包含在Message中,一个WRC有10个输入或输出通道,每一个通道包含8条数据线,一个表示Message结束的TAIL信号、一个请求传输线REQ和一条回答信号线ACK。当一个Message由初始结点传到一个目的结点时,它只"穿过"途中的WRC,而不"进入"与这些WRC相连的结点机。Mesh采用X-Y路由算法。有多条虚通道共用一条单方向的物理通道。
　　3计算结点 一个计算结点机为一块插件板,其核心是一块i860XR芯片,主频为40MHz,字长64位,浮点运算速度为单精80MFlops,双精度60MFlops,标量运算速度为40MIPS。DRAM容量为32MB,带奇偶检测;EPROM容量为8KB。NVRAM容量为2KB,由电池供电。结点-mesh接口模块包含容量各为16KB的两个FIFO。结点-mesh间传输带宽为33MB/s,有CRC循环冗余码检测。结点板的RS-232模块直接同控制台系统的一块多用户卡相连,为系统控制台提供监视和为诊断结点机提供支持。计算结点机运行860 OS和用户程序。
　　4系统服务结点 服务结点主要是为管理系统资源(主要是结点机)而设置的。一个服务结点由一台带有ISA总线的486 PC担任,主频为50MHz。在EISA总线和Mesh网之间有一个EISA-Mesh Interface(EMI)模块。EMI具有DMA机制,是一块EISA插板。同样,数据通路FIFO-mesh-FIFO上具有CRC检测。EMI与mesh网间的通讯速率为16MB/s。在用户较多、图形显示较频繁的情况下,可以设两个服务结点,它们通过共享一个资源表来协调工作。
　　5I/O结点机 一个I/O结点机由一台带EISA总线的486 PC充任,同服务结点机一样,带有一块EMI插板。通过插在EISA总线上的SCSI卡,一个I/O结点机可配容量为4GB的硬磁盘。系统可设1～2个I/O结点机。I/O流量要求大的用户,可配更多的I/O结点机,但要相应减少计算结点机的数量。一个I/O结点机与Mesh网间传输数据的速度为16MB/s,各个I/O结点机运行并行文件系统,以实现并行文件操作。
　　6系统控制台 整个系统设一系统控制台,运行UNIX。该机上插有一块多用户卡。同32块计算结点机板上的RS-232串口相连。控制台同计算结点机可以点对点地通讯,也可以以广播方式同时同所有计算结点机通讯。它的主要功能是系统初始化,监视计算结点操作系统和用户程序的运行状态,动态查询结点机资源配置表和对计算结点机硬件故障进行诊断。
　　7前端机网络系统 曙光1000的用户工作平台是一台或多台SUN Sparc-2彩色图形工作站(或SGI图形工作站)及一些终端。这些设备通过局域网(以太网)与系统服务结点机连接。局域网遵从TCP/IP协议,其数据传输率为10Mb/s。实际上,Mesh网系统是前端网络系统的计算服务器,用户程序在前端机上编辑、编译、链接和调试,然后通过服务结点发往计算结点运行,计算结果在前端机上显示。

软件系统

　　1.操作系统 曙光1000的操作系统是以UNIX为基础的。计算结点上的操作系统是一个微核心操作系统,支持虚存管理、trap处理、作业管理和消息传递,而将文件服务作为Client运行于用户空间。 服务结点的操作系统以Mach2.6为基础,支持多线机制。它主要用于系统的管理,即节点机的分配。I/O结点运行并行文件服务器PFS。这两类结点与计算结点有相同的消息传递界面。 曙光1000采用带流量控制的消息传递协议,这种协议既是高效的又是可靠的。

　　2.并行优化编译器及工具 结点程序编译优化分为源程序级和目标代码级。对于前者,采用了循环交换、循环合并和循环条块划分等措施。对于后者,曙光1000充分利用i860流水线、双指令与双操作模式和浮点Load指令实现了循环向量化。这两种级别的优化都取得了较好的效果。 Autopar是我们研制的自动程序并行化工具。它能识别并行循环,进行数据分割,最后得到循环级并行的并行FORTRAN源程序。 并行程序可视化工具是为曙光1000研制的,也可以移植到其他MPP系统。用户通过它能观察到程序动态进行状态,包括通信情况、负载平衡情况以及有无死锁发生等。

　　3.并行编程和调试工具环境 为方便用户编制和运行并行程序,曙光1000移植改造了NX、EXPRESS和PVM三种主要的界面和工具环境。NX是Paragon系统采用的一种并行用户程序界面,EXPRESS和PVM是都国际广泛采用的并行程序编程和运行环境。 并行程序调试器分为源程序级调试器NDB和汇编级调试器ADB。它们的主要功能有显示、设置和清除指令码(或数据)断点,读写内存,单步或连续执行程序,以及接收和传递当前进程现场内容,还能对多个结点上的程序进行调试。

　　4.并行文件系统PFS 曙光1000的多个I/O结点运行PFS文件服务器,支持用户读写文件的并发操作,增加了读写文件操作时同时工作的I/O通道数目,以便提高系统总的I/O带宽。

曙光2000-I超级服务器

　　曙光2000-I超级服务器是国家863高技术计划在信息领域的重大成果，于1998年12月通过了国家科学技术部主持的鉴定。它的总体水平达到了90年代同期国际先进水平，有些方面如机群操作系统、集成化并行编程环境和服务器聚集软件等已处于国际领先水平，它的一些关键技术如单一系统映象、全局文件系统等有重要创新，是一个有很强市场竞争力的产品。它是继曙光1000、曙光1000A之后推出的又一高端的面向大规模商业应用、网络信息服务和科学计算的通用并行计算机系统。

1．系统介绍

　　曙光2000-I系统峰值速度为每秒200亿次，内存容量为8GB，内置硬盘容量为152GB，节点机总数为34个（可达128个）。它采用当前先进的Cluster体系结构，完全兼容IBM SP系统，是当前国际上最流行的超级服务器体系结构。它为我国信息化建设提供强有力的工具，是超级计算中心、数据中心、信息中心、网络中心、各种清算中心、结算中心和交换中心主服务器的理想选择。

　　曙光2000-I超级服务器采用了许多国际上创新的技术，该机的高速缓存通信网采用了智能中心研制的二维蛀洞路由芯片组，提供高达1600Mbps的点对点通信带宽，另外该机采用了智能中心研制的基于JAVA的机群管理系统，提供单一系统映像。同时，曙光2000-I还提供了杰出的系统可扩展性、易用性、可管理性和高可用性，即SUMA特性。并且有上万种的AIX商用应用软件支持。它不仅擅长大规模科学工程计算（最高浮点运算速度可达每秒200亿次以上），而且适用于事务处理、网络与信息服务以及决策支持等非科学计算领域。

2．技术特点

　　曙光2000-I通用超级服务器采用松耦合分布式存储的可扩展机群体系结构，与IBM的RS/6000 SP二进制兼容。单节点采用先进的PowerPC RISC处理器芯片，具有大容量的内存和硬盘，单节点功能强大。节点间通过高速二维蛀洞路由通信网或Myrinet提供1600Mbps或2560Mbps的点对点通信带宽，可以保证随着用户应用和技术的发展，曙光2000-I系统几乎可以线性地扩展节点数量。这种技术使得TB级的数据处理成为可能。

　　曙光2000-I提供了基本通信库(BCL)、PVM和MPI高层并行程序开发环境、集成的并行程序设计环境(IPPE)、并行调试器(DCDB)、基于Web的傻瓜界面(KISS)、自动并行化工具(AutoPAR)，机群系统管理(CSMS)、批作业管理 (JOSS)、资源管理(RMS)和曙光服务器聚集软件(DSC)。此外还提供了一系列与IBM RS/6000兼容的开放的软件工具，包括C和Fortran编译器、数学和工程库ESSL、DB2 UDB数据库等。

曙光3000到4000

曙光3000

　　“曙光3000”是一种通用的超级并行计算机系统，也是目前中国国内性能最高的超级服务器。这台计算机由10个高近2米的机柜组成，耗电25千瓦，总重量达5吨。它有280个CPU（中心处理器），最快运算速度达每秒4032亿次；装有近16．8万兆内存和363万兆硬盘。该服务器自然功能强大，使用其中16个CPU的设备可以实现每天80亿次的网络页面点击；8个CPU的设备每天可以收发7000万封电子邮件；64个CPU的设备预报一个月的气候只用15分钟。

曙光4000

　　曙光4000系列高性能计算机(HPC)是由具有十万亿次浮点运算能力面向网格的曙光4000A、具有百万亿字节海量数据处理能力面向网络安全的曙光4000L、具有五千亿次通用运算能力和四万亿次专用处理能力面向生物信息处理的曙光4000H、具有异构特性面向SAR实时成像处理的曙光4000I组成。曙光4000系列研制成功，缩小了我国与国外在HPC技术上的差距，为中国在HPC技术和产业超过欧洲位居世界第三做出了重要贡献；为在中国发展HPC及其产业化方面探索了一条可行的技术道路；使中国商品化HPC的制造水平达到世界先进水平，已经并正在产生巨大的经济和社会效益，为促进石油等行业国民经济发展和满足网络安全等国家战略需求做出了突出贡献。

　　曙光4000采用网格技术，体系结构以构件性(Component)、标准性(Standard)、协作性(Coordinate)为基准，采用服务化(Service)、安全化(Security)、专业化(Specialization)、智能化(Intellengce)的3SI技术路线。项目研究的目标包括：曙光4000L Linux超级服务器、曙光4000A高性能超
级计算机、10Tflops曙光4000面向网格的高性能计算机、曙光4000H生物信息处理高密度专用机群系统、曙光4000T具有自主知识产权的服务器。

　　面向网格的“曙光4000”高性能计算机的项目思路包括：数据密集技术(Data-intensive)、支持网格(Grid-enabling)、多目标系统(Multiple-system)、应用专用技术(Application-specific)四个方面。

　　(1)面向数据密集型国家战略应用目标

　　我们将曙光4000的科研目标定为体现国家战略目标的“数据密集型”应用，如Internet内容处理为代表的信息安全，数据密集以Internet数据获取与分析为特点；雷达图像处理为代表的国防安全，数据密集以I/O吞吐量密集、数据计算密集为特点；生物信息处理、石油物探为代表的资源安全，数据密集以TB量级大规模数据存储、处理、传输为特点；我们集中研究它们的共性“数据密集”技术，有存储数据密集，I/O吞吐量密集，Internet数据接入密集，系统间数据互传密集，数据处理密集等等。我们力求在机群系统通用体系结构下，增加解决“数据密集”的技术，使整个系统能有效地解决应用问题。为国家安全目标和重大科研目标，提供高性能计算平台。

　　(2)强调网格技术和产业共性技术

　　研究支持网格(Grid-enabling)的技术，使高性能计算机能有效地支持应用网格。在高性能计算机的面向网格上，我们将科研内容定为五个方面：基于服务(Service-based)的机群操作系统，网格通信协议，网格文件系统，用于网格应用资源路由的智能网卡，支持网格的高性能计算机体系结构。分别体现网格在管理、广域通信、广域文件、资源发现、体系结构上的要求。

　　我们的研究集中在十个产业共性技术上，他们是Grid-enabling技术，高性能通信，高性能I/O和存储，可扩展自治管理和可信性评价技术，机群专用处理技术，交换机和特色网卡，数字视频服务技术，机群商业计算中间件，面向客户的性能测试技术，高性能计算应用和算法。其中，我们大大加强了前沿探索性研究的比例。

　　(3)面向应用目标的多个系统

　　我们将曙光4000系统规划成三种，分别是“曙光4000L”、“曙光4000A”，“曙光4000H”。曙光4000L代表IA架构，Liunx和廉价(Low-cost)，曙光4000A代表64位和高性能(Advanced)，曙光4000H代表密集型刀片式机群和专用应用(High-density)，它们的体系结构，许多关键技术，机群操作系统等都是相同的，但它们在廉价、高性能、高密集度等方面各具特色，满足多应用目标下的复杂需求。

　　其中，我们在2002年底完成曙光4000L，在2004年初完成曙光4000A，在2004年底完成曙光4000H。曙光4000L和曙光4000A是本课题的科研目标，曙光4000A是本课题的最终系统。曙光4000L和曙光4000A由十五863专项支持，曙光4000H由中科院知识创新工程支持。

　　(4)面向行业应用，研究应用专用技术

　　我们的科研战术是满足多应用目标，强调应用专用技术，采用“通用系统＋专用应用”的思想。我们研制的系统要能与国际品牌殊死竞争，打破市场平衡，进入以科研、石油、制造、军队、企业MIS为代表的行业，为大企业服务。