中国绿色数据中心与高密算力液冷技术权威实践智库
您的当前位置:首页 > 技术方案 > 从 8kW 到 132kW:冷板式与浸没式液冷全维度选型账,建设方必须算清 PUE、CAPEX、OPEX 与漏液风险 技术报告

从 8kW 到 132kW:冷板式与浸没式液冷全维度选型账,建设方必须算清 PUE、CAPEX、OPEX 与漏液风险

核心速览

  1. 该集群通过“全浸没槽体 + 移除服务器内部风扇 + 主板密封电容/SSD 防腐改性”,在赛宝 7×24 监测下实现加权年均 PUE 1.049,证明极限能效路径成立,但前提是服务器、介质、槽体、室外冷源一体化定制。
  2. 真正的工程约束不在 PUE 单点,而在每柜几十万元冷却液 CAPEX、400~800 元/kg 补液成本、2%~5%/年挥发损耗、≤10 μS/cm 电导率控制,以及 0.2~0.6 MPa 回路压降带来的泵、密封、过滤和巡检要求。
  3. 选型应优先匹配“高功率密度 + 高电价 + 严 PUE 约束 + 有液冷运维团队 + 具备天车吊装空间”的项目;南方夏季必须配置室外闭式冷却塔,开盖维护必须按吊装和挥发收集 SOP 执行,不能套用普通风冷机房运维模型。

1. 核心工程背景与物理/化学约束

该工程为直接全浸没式液冷集群,采用油罐/机柜槽体设计,部署单相/相变绝缘冷却液,并对合成烃与电子氟化液混合介质进行测试。服务器侧不再保留内部散热风扇,整机风扇寄生功耗被直接砍掉 10%~20%;主板密封电容、固态硬盘等部件做防腐改性,以适配长期浸没和开盖维护工况。

其换热链路可概括为:芯片/主板热源 → 绝缘冷却液 → 槽体/循环泵/换热器 → 室外闭式冷却塔。全浸没把服务器级风冷换热转为液体直接换热,减少了风扇功耗和空气侧热阻,但把工程难度转移到介质化学、材料兼容、密封、压降、过滤、补液和吊装维护上。

主要物理/化学约束如下:

  • 介电与绝缘约束:介质电导率控制目标 ≤10 μS/cm,离子污染、颗粒和水分会直接影响绝缘安全。
  • 回路水力约束:回路压降窗口 0.2~0.6 MPa,直接影响泵功、法兰/接头/软管耐压、密封选型和压差巡检。
  • 材料兼容约束:主板密封电容、SSD、PCB、连接器、线缆、标签、密封圈均需做浸泡兼容性验证;防腐改性不是可选项。
  • 挥发与补液约束:液体开盖存在年化 2%~5% 挥发微损耗,混合介质还需关注组分挥发差异导致的配比漂移和补液策略。
  • 维护空间约束:维护时需特种天车/电动葫芦垂直吊装捞出主板,土建净高、楼板载荷、轨道、吊具绝缘和防滴落措施必须前置设计。
  • 冷源约束:南方夏季需配合室外闭式冷却塔,冷却塔水质、湿球温度、旁滤和补液能力直接影响可用性。
  • 成本约束:氟化液介质初投资高达每柜几十万元,按 400~800 元/kg 采购成本计,液体量、混合比例、回收和补液服务是 CAPEX/OPEX 的核心变量。

2. 核心参数实测与技术对比

2.1 关键参数与工程含义

参数项本工程实测/控制值工程含义采购/运维动作
PUE加权年均 1.049,赛宝 7×24 连续监测极限能效路径成立,但为加权年均值,不能拿瞬时值复制要求第三方报告、边界条件、IT 负载率和室外气象参数同口径复测
风扇寄生功耗移除全部服务器内部风扇,整机降低 10%~20%IT 功耗下降,但风道/流场和 BMC 策略需重设定制 BIOS/BMC,屏蔽风扇告警,重映射温度传感器
冷却介质单相/相变绝缘液;合成烃与电子氟化液混合介质测试介电、换热、材料兼容和挥发特性共同决定可用性批次检测、兼容性浸泡、混合比例和补液策略锁定
电导率≤10 μS/cm绝缘安全底线,离子污染/水分/颗粒会推高电导率在线监测 + 过滤/树脂旁路 + 超标隔离评估
回路压降0.2~0.6 MPa影响泵功、密封、法兰、软管和接头选型选泵按压降窗口校核;压差表、耐压等级、支撑和排气到位
冷却液成本400~800 元/kg初始液和补液成本的核心单价按 kg 询价,含批次报告、回收/补液、质保和挥发控制服务
每柜冷却液初投资每柜几十万元CAPEX 大头,决定 TCO 门槛按“液量 × 单价”核算,避免只比 PUE 不比液体成本
年挥发损耗2%~5%/年OPEX 补液刚性支出,开盖次数越多越敏感开盖集气、槽盖密封、补液计量、挥发率月度统计
维护吊装特种天车/电动葫芦垂直吊出主板土建和维护能力前置条件轨道净高、载荷试验、绝缘吊具、防滴落托盘、应急演练
南方夏季冷源室外闭式冷却塔决定夏季排热上限和可用性按湿球温度选型,管水质、旁滤、补液和结露风险
防腐改性主板密封电容、SSD 等做防腐改性长期浸没和开盖工况的材料底线来料检验、挂片试验、批次一致性和年度复检
高密算力数据中心液冷机柜列间布局与管道走廊高密算力数据中心液冷机柜列间布局与管道走廊
微通道铜冷板微流道滚齿铲削(Skiving Fin)微观结构实拍微通道铜冷板微流道滚齿铲削(Skiving Fin)微观结构实拍

2.2 技术路线对比(定性)

下表仅对比本工程直接全浸没路线与常规风冷/冷板液冷的工程特征;未给出的对比实测值不虚构。
维度直接全浸没(本工程)传统风冷冷板液冷(定性)决策含义
服务器风扇全部移除,降整机 10%~20% 风扇寄生功耗依赖服务器风扇通常保留部分风扇全浸没需定制服务器和 BMC 策略
PUE 潜力实测加权年均 1.049受风扇、空调和气流组织影响通常优于风冷,但取决于 CDU/冷源PUE 不是唯一指标,需同边界比较
介质成本每柜几十万元,400~800 元/kg无冷却液 CAPEX冷却液量小,但仍有 CDU/管路成本全浸没液体 CAPEX 是首要门槛
维护方式天车/电动葫芦垂直吊出主板拔插风扇/整机维护管路快接、CDU 维护全浸没对土建净高和吊装要求最高
材料兼容电容、SSD、密封圈、标签均需防腐/兼容验证常规材料体系冷板/管路材料兼容全浸没材料风险面更大
挥发/补液开盖年化 2%~5% 挥发损耗基本无液体挥发少量补液全浸没需补液计量和开盖集气
夏季冷源南方需室外闭式冷却塔冷机/空调冷机/干冷器/冷却塔冷源可用性和水质决定夏季上限

3. 一线施工踩坑与运维巡检清单

3.1 施工前必须锁定的 8 件事

  1. 介质兼容性矩阵先做,不等设备到场再做:主板密封电容、SSD、PCB、连接器、线缆护套、标签、光模块、电源、密封圈全部列入浸泡/挂片清单。合成烃与电子氟化液混合介质测试必须锁定批次和混合比例。
  2. 槽体清洁度按绝缘系统管理:金属屑、助焊剂、颗粒和水分是电导率 ≤10 μS/cm 的敌人;冲洗、过滤、注液前电导率确认要形成记录。
  3. 土建净高和楼板载荷前置复核:天车/电动葫芦轨道、吊装路径、开盖操作空间、排液地沟、应急收集容器缺一不可;不要等运维阶段才发现主板吊不出来。
  4. 去风扇后服务器策略重写:BIOS/BMC 风扇告警屏蔽、温度传感器重映射、降频策略、漏液检测和绝缘监测联动,必须由服务器厂和液冷集成商联合调试。
  5. 泵和管路按 0.2~0.6 MPa 压降窗口校核:法兰、接头、软管、阀门耐压等级、支撑间距、排气点和压差表位置要一次到位;压降异常往往先表现为泵电流和接头渗漏。
  6. 闭式冷却塔按南方夏季湿球温度选型:冷却塔水质、旁滤、补液、结露和冬季防冻策略要写入调试大纲。
  7. 开盖挥发收集设计:开盖区域设置集气/排风或负压收集,补液计量按柜/按次记录,否则 2%~5%/年挥发损耗会变成糊涂账。
  8. 吊具绝缘和防滴落:吊具、托盘、防坠、防滴落收集盘、主板临时存放架要按现场演练;液体开盖维护不是“拔出来放桌上”。

3.2 施工中容易翻车的点

  • 注液过快/排气不净:局部气堵会造成流量分配偏差和局部过热;注液后必须循环排气并记录泵频、流量、压差。
  • 过滤精度和旁路设计不足:颗粒污染会推高电导率和磨损泵/密封;过滤器和树脂旁路要可在线切换。
  • 接头和软管应力:0.2~0.6 MPa 压降窗口下,热胀冷缩和泵启停水锤会放大接头应力;支撑和软管走向要避免死弯。
  • 防腐改性批次不一致:同一柜内混用未改性件或不同批次改性件,长期浸没后先出问题的往往是连接器和 SSD。
  • BMC 风扇告警未清:去风扇后若告警策略未改,运维会被无效告警淹没,真正的漏液/超温告警被掩盖。
  • 开盖次数无台账:补液量、开盖次数、挥发量不关联,无法判断 2%~5% 损耗是否异常。

3.3 运维巡检清单(按频次落地)

每日巡检

  • 槽体液位、补液量、槽盖密封和接头渗漏。
  • 泵电流/频率、回路压差是否在 0.2~0.6 MPa 窗口内、供回液温度。
  • 电导率是否 ≤10 μS/cm,在线监测报警是否清零。
  • 闭式冷却塔运行状态、补水量、旁滤压差。
  • 漏液检测、绝缘监测、BMC/液冷控制器告警。

每周巡检

  • 电导率趋势、含水率/酸值/色度/颗粒度按介质厂商要求取样记录。
  • 过滤器压差、树脂旁路状态、补液计量与开盖次数核对。
  • 天车/电动葫芦空载动作、制动、吊具绝缘和防滴落盘。
  • 冷却塔水质、加药/旁滤、南方夏季湿球温度与排热余量。

每月巡检

  • 泵振动/噪声、密封圈老化、法兰紧固和软管应力。
  • 槽体底部沉积、换热器压差、CDU/板换效率趋势。
  • SSD/电容/连接器外观腐蚀检查(结合停机窗口)。
  • 应急排液泵、收集容器、消防联动和漏液演练。

每季/每年

  • 季度:介质全分析、材料挂片复检、槽体沉积清理评估、换热器清洗评估。
  • 年度:第三方能效复测、PUE 加权复核、介质更换/回收评估、天车年检、TCO 复盘。
  • 开盖维护 SOP:降载/停机 → 关阀隔离 → 液位降至安全位 → 开盖集气 → 吊装捞出主板 → 防滴落收集 → 维护 → 复位 → 补液过滤 → 电导率确认 → 恢复运行。

4. 采购与经济账(CAPEX / OPEX 与 TCO 测算)

4.1 CAPEX

全浸没项目 CAPEX 不能只报槽体,至少包括:

  • 冷却液:液量 × 400~800 元/kg;本工程口径为每柜几十万元。
  • 槽体/油罐、循环泵、换热器/CDU、管路阀门、过滤与树脂旁路。
  • 室外闭式冷却塔及水质处理。
  • 特种天车/电动葫芦、轨道、吊具、防滴落设施。
  • 服务器去风扇定制、主板密封电容/SSD 防腐改性。
  • 电导率/压差/漏液/绝缘监测仪表、施工与调试。

可写为:

CAPEX = 冷却液(液量×400~800 元/kg)+ 槽体/泵/换热/CDU + 闭式冷却塔 + 天车吊装 + 防腐改板 + 仪表与施工。

4.2 OPEX

按本工程已知约束,OPEX 的刚性项包括:

  • 补液:初始液成本 × 2%~5%/年。按每柜初始液成本“几十万元”取 30~80 万元仅作测算区间,则年补液约 0.6~4.0 万元/柜;5 年约 3~20 万元/柜(未折现,实际以液量、混合比例和回收服务为准)。
  • 泵/冷却塔/过滤/树脂电耗与耗材。
  • 介质检测、挂片、过滤器和树脂更换。
  • 天车/吊具年检、开盖维护人工、停机风险。
  • 冷却塔水质处理和南方夏季补液。

OPEX = 初始液成本×2%~5% + 泵/塔电费 + 过滤/树脂/检测 + 吊装维护 + 停机风险。

4.3 TCO 与节能测算边界

TCO = CAPEX + ΣOPEX_t/(1+r)^t + 改造/回收残值。

PUE 1.049 的节能收益必须用项目基准 PUE 计算,不能直接套用。公式:

年省电量 = IT 负载(kW) × 8760 × (基准 PUE − 1.049)。

测算示例(仅作假设):1 MW IT 负载、基准 PUE 1.3、电价 0.6 元/kWh,则年省电约 219.9 万 kWh,约 132 万元;电价 0.4~0.8 元/kWh 对应约 88~176 万元/年。若项目基准 PUE 更低、负载率不足或南方夏季冷源受限,收益需下调。

采购决策要点:

  • 冷却液按 kg 询价,要求批次报告:电导率、含水率、介电、粘度、酸值、材料兼容性和挥发特性。
  • 合同锁定补液、回收、混合比例调整和质保责任。
  • 槽体/管路按 0.2~0.6 MPa 压降窗口校核耐压和密封。
  • 天车载重、轨道净高、吊具绝缘写入验收。
  • 闭式冷却塔按南方夏季湿球温度和水质方案验收。

5. 总结与工程选型建议

适用场景:高功率密度、高电价、PUE 约束严、可定制服务器、具备液冷运维团队、土建净高和楼板载荷满足天车吊装、且能接受每柜几十万元冷却液初始投资的项目。此类项目应把 PUE 1.049 作为同边界复测目标,而不是宣传口号。

谨慎场景:低功率密度、低电价、运维团队无液冷经验、改造空间不足、无法设置天车/电动葫芦吊装路径、不能接受开盖挥发和补液管理的项目。此类项目即使 PUE 数字好看,也可能被冷却液 CAPEX、2%~5%/年挥发损耗和吊装维护成本吃掉收益。

选型决策顺序:先做介质兼容性和材料防腐验证 → 再按液量×400~800 元/kg 核算每柜几十万元液体 CAPEX → 校核 0.2~0.6 MPa 压降窗口和泵/密封/过滤 → 锁定南方夏季闭式冷却塔能力 → 最后用项目基准 PUE 和电价做 TCO 敏感性分析。全浸没液冷不是“买液体上槽体”,而是服务器、介质、槽体、冷源、土建和运维体系的一体化工程。

上一篇:没有了

Copyright © 2026 液冷机房智库 | 数据中心与智算中心液冷技术门户 All Rights Reserved.  

网站地图 (Sitemap)