超算中心除 IT 系统耗能外,制冷系统是最大的耗能单元,因此制冷系统的节能效率一定程度上决定了数据中心的整体能耗水平。
(一)制冷系统制冷冷源方案
超算中心有高冷负荷、局部热点多、全年供冷等特点,对空调系统有高安全性、高可靠性、绿色节能、经济合理等需求。超算中心制冷系统按照制冷冷源的主要设备形式不同,常见的制冷系统主要有水冷中央空调系统、风侧间接蒸发冷却空调系统、直接蒸发冷却技术。
1.水冷中央空调系统(变频离心式冷水机组+间接蒸发冷却塔)原理:该系统在常规水冷冷冻水空调系统的基础上,采用间接蒸发冷却塔代替常规冷却塔,并结合板式换热器,室外空气湿球温度≤冷冻水供水温度时,关闭制冷主机,实现自然冷却;当室外空气湿球温度>冷冻水供水温度时,间接蒸发冷却塔作为制冷主机冷凝器的散热冷源,提高制冷主机运行能效,起到辅助机械制冷的作用
系统特点:
(1)优点:可充分利用室外自然冷源,不同模式下可提高制冷主机的能效比,增加自然冷却时间;系统成熟度高,灵活性高,扩容较为容易,同时可匹配多种末端形式,可满足不同客户需求;
(2)缺点:间接蒸发冷却塔尺寸较传统冷却塔增加 50%,但一般置于屋面或室外,不影响数据中心机楼空间;
(3)供冷可靠性:供冷可靠性高,设置蓄冷罐可实现不间断供冷;
(4)投资运维:初投资较高,运维成本低。适用性:适用于中型、大型及超大型数据中心。
2.风侧间接蒸发冷却空调系统(AHU)
间接蒸发冷却空调机组使室内热风与室外冷风通过换热芯间接接触进行热交换,降温后的空气送回机房作为冷却空气,实现机房的散热。一般结合弥漫式送风+封闭热通道的送风形式,通过提高回风温度,从而提高自然冷却时间。
针对数据中心全年运行的特点,间接蒸发冷却空调机组需辅助以机械制冷,根据室外空气干、湿球温度的变化三种典型运行模式为:
干模式:室外温度较低时,室内外空气直接在空气-空气换热器中进行显热交换,此时蒸发冷却不工作;
湿模式:室外温度较高时,仅靠室内外显热交换无法满足室内送风温度,启动蒸发冷却对室外空气喷雾降温,确保机组冷量;
混合模式:室外温度较高且湿度较大时,启动机械制冷辅助冷却,才能满足制冷需求,此时需要补冷盘管对其补冷,补冷盘管一般有直膨式补冷和水冷盘管补冷两种。
补冷形式的不同将导致制冷系统的配置不同,若采用直膨式补冷,则需考虑不间断供冷问题;若采用水冷盘管补冷,则需配置冷冻水系统,在北方地区还需注意防冻问题。
系统特点:
(1)优点:可充分利用室外自然冷源,通过室外湿球温度的变化情况,切换运行模式;系统简单,运维方便;设备工厂预制,可实现快速部署,施工周期较短;耗电较少,年 PUE 值较低;耗水较少,冬季不耗水;
(2)缺点:设备尺寸较大,占地面积较水冷末端增加 40%(置于大楼内);出柜率低:产出机柜数较水冷末端减少 25%(置于大楼内);应用于多层数据中心时,排风与进风存在掺混现象,同时排风问题较难解决,同时对建筑的外立面影响较大;不间断供冷问题较难实现
(3)供冷可靠性:不间断供冷较难解决,当采用直膨式空调补冷时,若不用 UPS 保障,存在宕机风险,若用 UPS 保障,成本较高
(4)投资运维:若采用 UPS 保障,初投资高,运维成本低
(5)适用性:适用于中型、大型数据中心;适用于地价便宜的地区、大平层和仓储式低楼层建筑,灵活性较差。
3.直接蒸发冷却技术
直接蒸发式冷却技术是基于蒸发冷却原理的一种高效制冷系统,未饱和空气与水直接接触,在接触过程中,由于水表面的水蒸气分压力高于空气的水蒸气分压力,水分会从液态水转变为气态水蒸气进入空气中。水蒸发需要吸收热量,这些热量来自空气和水本身,从而使空气和水的温度都降低,同时空气的含湿量有所增加,空气的湿热转化为潜热,这是一个绝热加湿过程。该过程可在冷却塔、喷淋室或其他绝热加湿设备内实现。
系统特点:
(1)优点:①冷却效率高。利用水蒸发吸热的原理,能在相对较低的空气温度下实现高效冷却,相比单纯的风冷等方式,可使被冷却介质达到更低的温度。②节能效果好。与机械制冷等方式相比,在相同的冷却负荷下,蒸发式冷却技术消耗的电能等能源较少,尤其在干球温度和湿球温度差值较大的地区,自然冷却能力强,可大幅降低制冷系统的能耗。③运行成本低。除了节能带来的成本降低外,其结构相对简单,设备的维护和管理成本也较低,不需要复杂的制冷设备和大量的制冷剂。④环保无污染。不使用对臭氧层有破坏的制冷剂,对环境友好,且水是主要的冷却介质,来源广泛,排放的主要是水蒸气,对环境的污染较小。
(2)缺点:①耗水量大。依靠水分蒸发来实现冷却,在运行过程中会消耗大量的水,需要不断补充水分,在水资源匮乏的地区,可能会面临水资源供应的问题,增加运行成本。②空间占用大:通常需要较大的占地面积或空间高度来布置湿冷塔及相关的辅助设备,如风机、水泵、集水池等,对于空间有限的场所可能不太适用。③噪声问题:风机运行以及水流下落等过程会产生一定的噪声,可能对周围的环境和人员造成影响,需要采取隔音降噪措施。④水质要求高:水中的杂质、矿物质等容易在填料、管道和设备表面形成水垢和污垢,影响热交换效率和设备的正常运行,还可能导致设备腐蚀,因此需要对水质进行严格的处理和监测。⑤受环境湿度影响大:在空气湿度较高的地区或季节,水分蒸发速度慢,冷却效果会明显下降,可能无法满足冷却需求,需要与其他冷却方式配合使用。
(二)制冷系统末端冷却方案
超算中心制冷系统末端的冷却方案多种多样,从气流组织的层面看,冷却方案总体概括可分为房间级制冷、行级制冷、机柜级制冷三种。
1.房间级制冷方案
(1)风冷式空调
在房间级制冷方案中,机房空调与整个机房相对应,该制冷方案是针对整个机房环境设计的。在设计规划中,针对不同的数据机房对气流组织的设计往往有很大的区别。对于面积较小的数据机房,数据机柜并不是很多,有时机柜会任意摆放,气流组织系统就不会刻意地去规划设计—即不采用风管、出风口等遏制气流的冷却方案。
该方案虽然结构简单,但存在很大的缺陷,由图可以看出,空调送出的冷气流并没有完全被机柜所利用,会有一部分冷气流绕过机柜直接返回机房空调,这部分短路循环的冷气流没有被机柜所利用,空调制冷量未能完全地利用,造成冷量浪费。
而对于面积较大、结构较复杂的数据中心,可利用高架底板格栅出风将冷气流送到密闭的冷通道内,再分配给每个机柜—即气流遏制的冷却方案,该制冷方案目的很明确,即通过气流遏制的方法引导冷气流使之完全用于 IT 设备的冷却,此种方案不存在冷气流短路循环机房空调的现象,冷却效率大大提升,但是由于机房面积大、管路长,冷气流在输送的过程中会有所损耗。
房间级制冷方案在设计的过程中会受到机房形状、室内高度、机柜布局、空调位置等因素的影响。因此,可能需要利用 CFD 数值仿真技术对设计方案进行设计计算,从而满足对特定数据机房的性能要求。此外,诸如 IT 设备移动、增加及变更等也可能破坏原气流,因此需要进一步对机房气流组织进行分析和测试,重新设计。
(2)冷墙方案
在机房内设置一面或多面冷墙,冷墙内部安装有冷水盘管。冷水通过管道输送到冷墙的盘管中,机房内的热空气在风机的作用下,流经冷墙的盘管表面,与盘管内的冷水进行热交换,热空气被冷却后再送回到机房内,从而实现对机房的制冷。
优势:①高效制冷。可增大换热面积和送风量,高效带走机房热量,满足高功率密度数据中心散热需求。②节能降耗。部分方案如间接蒸发冷却风墙,可利用自然冷源,减少机械制冷使用,降低能耗。
③灵活部署。可根据机房布局和需求,灵活安装在机房一侧或多侧,不影响机房内设备的正常布局,能有效利用机房空间。④维护方便:相对传统空调系统,结构较简单,维护成本低。
劣势:①对环境要求高。间接蒸发冷却风墙在高湿度环境下,制冷效果会受影响。②初投资成本高:建设冷墙制冷系统,需购置冷墙设备、配套管道、风机等,还可能涉及机房改造费用,初期投资成本高于传统风冷系统。
2.行级制冷方案
末端行级制冷方案最常见的冷却方式是风冷式空调。在行级制冷方案中,机房空调与机柜列相对应,该制冷方案是针对机柜列而设计的。与房间级制冷方案相比,该制冷方案送风距离更短,另外气流更方便规划。空调的制冷量不存在浪费的现象,均能得到利用,并且适用于高发热功率、高发热密度的机房。由于行级制冷空调送风路径短,
因而相对于房间级制冷系统可以降低空调风扇的能耗,对于 IT 设备发热功率不是很高的数据机房,风机能耗可能会高于 IT 设备功耗,因此行级制冷方案具有很大的节能潜力。行级别制冷方案可以根据机柜列进行冗余布置,比如 N+1 或者 N+2 冗余布置。行级制冷方案不需要架高地板,不仅节约了建造成本,而且节约了机房空间,可以将机房设在没有足够净高的建筑物内。根据相关文献,行级制冷相较房间房制冷可节省超过 30%的风机功耗。
3.机柜级制冷方案
常见的机柜级制冷方案有背板冷却方案、列间空调制冷方案、浸没式液冷方案、分布式制冷模块方案。
(1)背板冷却方案
原理:在机柜后部安装冷却背板,背板内设有冷却管道,管道中循环流动着冷却液(通常为水或其他导热液体)。当机柜内设备产生热量时,热量直接传递给紧贴设备的背板,冷却液在背板管道中吸收热量后温度升高,再通过外部的冷却系统(如冷水机组、冷却塔等)将热量带走,经过冷却的冷却液重新流回背板,继续循环散热。
优点:能直接针对机柜内发热设备进行高效散热,散热效率高,可有效降低设备温度,提高设备稳定性和使用寿命;占用空间小,不影响机柜内设备的正常安装和布局;可实现精确的温度控制,满足不同设备对散热的个性化需求。
缺点:对冷却液的水质要求较高,需要定期进行水质处理和维护,以防止管道堵塞和腐蚀;系统相对复杂,安装和维护成本较高;若冷却液发生泄漏,可能会对机柜内设备造成损坏,因此需要可靠的密封措施和泄漏检测系统。
(2)列间空调制冷方案
原理:将空调设备安装在机柜列之间,通常采用面对面或背对背的机柜排列方式,形成冷热通道。列间空调从机柜前端的冷通道吸入冷空气,经过制冷循环后,将冷却后的空气送回冷通道,而从机柜后端排出的热空气则直接进入列间空调进行冷却处理。通过这种方式,实现了冷热空气的隔离,提高了制冷效率。
优点:制冷效果显著,能快速响应机柜内的热量变化,有效解决局部热点问题;可根据机柜的实际热负荷灵活配置空调数量和制冷量,具有较高的灵活性;实现了冷热通道隔离,减少了冷量浪费,提高了能源利用效率,降低了运行成本。
缺点:初期投资成本相对较高,需要对机房布局进行合理规划和改造,以设置冷热通道;空调设备的维护需要一定的空间和技术支持,维护成本相对较高;运行时可能会产生一定的噪声。
(3)浸没式液冷方案
原理:将服务器等电子设备完全浸没在绝缘冷却液中,冷却液具有良好的热传导性能且不导电。设备运行产生的热量直接传递给冷却液,冷却液吸收热量后温度升高,通过外部的冷却系统(如冷却器、冷却塔等)将热量散发出去,冷却后的冷却液再流回机柜内,循环使用。
优点:散热效率极高,能够满足超高密度机柜的散热需求,可大幅降低设备温度,提高设备的性能和可靠性;冷却液的绝缘性保证了设备的电气安全,减少了因灰尘、湿气等因素对设备的影响;设备运行噪声低,无需传统的风冷散热风扇。
缺点:对冷却液的性能要求严格,需要选择合适的冷却液,且冷却液成本较高;设备的安装和维护需要专业的技术和工具,对运维人员的技能要求较高;若冷却液发生泄漏,可能会对环境造成污染,需要采取严格的防护措施和泄漏处理机制。
(4)分布式制冷模块方案
原理:在每个机柜或机柜组内安装小型的制冷模块,这些模块通常集成了制冷、通风等功能。制冷模块从机柜内吸入热空气,经过内部的制冷循环系统(如压缩机制冷、半导体制冷等)将空气冷却后,再送回机柜内,热空气则通过模块的排风口排出到机房的热通道中。
优点:可根据每个机柜的实际热负荷进行精准制冷,制冷效率高,能有效解决机柜内的局部热点问题;安装灵活,可方便地集成到现有机柜中,无需对机房整体布局进行大规模改造;可实现模块化管理和维护,当某个制冷模块出现故障时,不会影响其他机柜的制冷。
缺点:每个机柜都需要安装制冷模块,初期投资成本较高;多个制冷模块的运行会增加电力消耗和维护工作量;制冷模块的体积和制冷能力有限,对于超高密度的机柜可能无法满足全部散热需求。考虑到本项目冷源方案为直接蒸发冷却技术,从节能角度考虑,末端直接采用液冷循环冷却方案比使用冷风空调的机械送风方案节电,相较房间级的冷墙方案冷却效果也更好,且不必额外配备风机。
在综合考虑投资支出、节能(能源支出)、制冷效果等方面因素,最终确定采用行级制冷方案作为数据中心制冷系统末端节能方案。
此报告为摘录公开部分。定制化编制政府立项审批备案、国资委备案、银行贷款、产业基金融资、内部董事会投资决策等用途可研报告可咨询思瀚产业研究院。严谨转载。