提到莱布尼茨，你可能会想到那位传奇的德国数学家和哲学家戈特弗里德·莱布尼茨，他和牛顿先后独立发明了微积分。而我们今天要讲的是另一个著名的“莱布尼茨”：位于德国慕尼黑的超算中心LRZ。对于该中心的“SuperMUC”来说，可以说是TOP 500的常客，这一次，LRZ又拿出了最大规模的水冷HPC。
探访莱布尼茨超算中心
早在50年前，就有了大型主机应用水冷的案例，只不过之后由于空冷在成本方面的优势使得水冷经历了一段时间的被边缘化。然而，随着芯片性能的突飞猛进，PC，大型机等硬件设备的工作频率也逐渐攀升，导致了电力消耗和部件散热等问题的出现。一开始，人们会采取增加风扇等解决办法，不过这势必会加剧耗电，而且产生了新的噪声污染，治标不治本。
当性能达到一定的高度，传统的配套设施无法跟上时，就会催生新的技术，水冷被再度提起。从传到介质的角度来看，水显然要比空气更利于降温。尽管成本是无法回避的问题，但这也在某种程度上为厂商持续提高HPC性能提供了非常大的可能性。
回顾水冷的发展史，IBM算得上是“第一个吃螃蟹的人”。大约是在1966年，IBM推出了System/360型91大型计算机，主要作用是科学领域，为了让这台巨无霸稳定运行，IBM专门为其研发了水冷系统。之后，IBM还先后在3081大型机和Power575超算上应用了新型水冷技术。2010年7月，IBM推出了借助“热水”降温的超算Aquasar，将水冷带入了新时代。
如今，莱布尼茨将这种技术发扬光大。SuperMUC位于LRZ的一栋大楼内，该建筑的顶层是冷却塔，下面一层是超算中心，再下面是运行Linux的多种设备，用于托管服务等，最低层是电源等支持设备，占地面积很大。根据LRZ的负责人介绍，如果要设计超算中心，需要留出30%的空间放置运算设备，60％放置支持设备，包括空调，电源等，可见其重要性。
莱布尼茨超算中心
与SuperMUC Phase 1相比，Phase 2占比面积更小，节点效率提升明显，更加节能，采用吸收式制冷降温（热水制冷），具有50千瓦的制冷能力。运行过程中，由于节点本身没有风扇，可以省10%的费用，通过软件优化可以省6%，再加上另外的25%，每年可以省180万欧元的消耗。配置方面，Phase 2搭载了英特尔至强E5-2697 v3处理器，运行以NeXtScale nx360M5 WCT为基础单元构建的SuperMUC系统。
CooLMUC-2
CooLMUC-2
SuperMUC Phase 2
莱布尼茨超算中心
据了解，SuperMUC Phase 2的冷却用水被称为“free cooling”，每个部件都拥有冷水管，PUE值可以达到1.1，机器的效能则可达到90.95%。根据联想的说法，五年使用下来电费能减少37%，相当于省了超过1000万欧元。此外，无风扇的设计也可以有效减少80％的噪音。根据我们在现场的体验，应用水冷的Phase 2运行起来非常安静，几乎没有大的噪声。
值得一提的是，冷却后流出的热水并不会浪费掉，LRZ会将其重复利用，例如供给暖气管道，在冬天提供暖气。当然，暖气只是一个时间内的需求，SuperMUC Phase 2的吸收式制冷器可以实现全年的高效率回收。
吸收式制冷器
水冷设施
为了保证安全性，LRZ还设置了很多检测器。如果发生紧急事故，整个数据中心将全部关机，这是由于其重要性更高，为的是避免伤害进一步扩大。此前，一个英国数据中心的基础设施出现故障，就是因为没有及时处理，导致了全部设备损坏。
CooLMUC-2
CooLMUC-2水冷性能表现
CooLMUC-2
通过对莱布尼茨超算中心的访问，我们看到了水冷技术的最新趋势。与传统的冷水不同，热水或者说温水冷却，着重在效率和回收利用方面进行了改善，突出了绿色高效的重要性。如何兼顾高性能和PUE，或许SuperMUC Phase 2已经给出了答案。
