核心速览
- 该集群通过“全浸没槽体 + 移除服务器内部风扇 + 主板密封电容/SSD 防腐改性”,在赛宝 7×24 监测下实现加权年均 PUE 1.049,证明极限能效路径成立,但前提是服务器、介质、槽体、室外冷源一体化定制。
- 真正的工程约束不在 PUE 单点,而在每柜几十万元冷却液 CAPEX、400~800 元/kg 补液成本、2%~5%/年挥发损耗、≤10 μS/cm 电导率控制,以及 0.2~0.6 MPa 回路压降带来的泵、密封、过滤和巡检要求。
- 选型应优先匹配“高功率密度 + 高电价 + 严 PUE 约束 + 有液冷运维团队 + 具备天车吊装空间”的项目;南方夏季必须配置室外闭式冷却塔,开盖维护必须按吊装和挥发收集 SOP 执行,不能套用普通风冷机房运维模型。
1. 核心工程背景与物理/化学约束
该工程为直接全浸没式液冷集群,采用油罐/机柜槽体设计,部署单相/相变绝缘冷却液,并对合成烃与电子氟化液混合介质进行测试。服务器侧不再保留内部散热风扇,整机风扇寄生功耗被直接砍掉 10%~20%;主板密封电容、固态硬盘等部件做防腐改性,以适配长期浸没和开盖维护工况。
其换热链路可概括为:芯片/主板热源 → 绝缘冷却液 → 槽体/循环泵/换热器 → 室外闭式冷却塔。全浸没把服务器级风冷换热转为液体直接换热,减少了风扇功耗和空气侧热阻,但把工程难度转移到介质化学、材料兼容、密封、压降、过滤、补液和吊装维护上。
主要物理/化学约束如下:
- 介电与绝缘约束:介质电导率控制目标 ≤10 μS/cm,离子污染、颗粒和水分会直接影响绝缘安全。
- 回路水力约束:回路压降窗口 0.2~0.6 MPa,直接影响泵功、法兰/接头/软管耐压、密封选型和压差巡检。
- 材料兼容约束:主板密封电容、SSD、PCB、连接器、线缆、标签、密封圈均需做浸泡兼容性验证;防腐改性不是可选项。
- 挥发与补液约束:液体开盖存在年化 2%~5% 挥发微损耗,混合介质还需关注组分挥发差异导致的配比漂移和补液策略。
- 维护空间约束:维护时需特种天车/电动葫芦垂直吊装捞出主板,土建净高、楼板载荷、轨道、吊具绝缘和防滴落措施必须前置设计。
- 冷源约束:南方夏季需配合室外闭式冷却塔,冷却塔水质、湿球温度、旁滤和补液能力直接影响可用性。
- 成本约束:氟化液介质初投资高达每柜几十万元,按 400~800 元/kg 采购成本计,液体量、混合比例、回收和补液服务是 CAPEX/OPEX 的核心变量。
2. 核心参数实测与技术对比
2.1 关键参数与工程含义
| 参数项 | 本工程实测/控制值 | 工程含义 | 采购/运维动作 |
|---|---|---|---|
| PUE | 加权年均 1.049,赛宝 7×24 连续监测 | 极限能效路径成立,但为加权年均值,不能拿瞬时值复制 | 要求第三方报告、边界条件、IT 负载率和室外气象参数同口径复测 |
| 风扇寄生功耗 | 移除全部服务器内部风扇,整机降低 10%~20% | IT 功耗下降,但风道/流场和 BMC 策略需重设 | 定制 BIOS/BMC,屏蔽风扇告警,重映射温度传感器 |
| 冷却介质 | 单相/相变绝缘液;合成烃与电子氟化液混合介质测试 | 介电、换热、材料兼容和挥发特性共同决定可用性 | 批次检测、兼容性浸泡、混合比例和补液策略锁定 |
| 电导率 | ≤10 μS/cm | 绝缘安全底线,离子污染/水分/颗粒会推高电导率 | 在线监测 + 过滤/树脂旁路 + 超标隔离评估 |
| 回路压降 | 0.2~0.6 MPa | 影响泵功、密封、法兰、软管和接头选型 | 选泵按压降窗口校核;压差表、耐压等级、支撑和排气到位 |
| 冷却液成本 | 400~800 元/kg | 初始液和补液成本的核心单价 | 按 kg 询价,含批次报告、回收/补液、质保和挥发控制服务 |
| 每柜冷却液初投资 | 每柜几十万元 | CAPEX 大头,决定 TCO 门槛 | 按“液量 × 单价”核算,避免只比 PUE 不比液体成本 |
| 年挥发损耗 | 2%~5%/年 | OPEX 补液刚性支出,开盖次数越多越敏感 | 开盖集气、槽盖密封、补液计量、挥发率月度统计 |
| 维护吊装 | 特种天车/电动葫芦垂直吊出主板 | 土建和维护能力前置条件 | 轨道净高、载荷试验、绝缘吊具、防滴落托盘、应急演练 |
| 南方夏季冷源 | 室外闭式冷却塔 | 决定夏季排热上限和可用性 | 按湿球温度选型,管水质、旁滤、补液和结露风险 |
| 防腐改性 | 主板密封电容、SSD 等做防腐改性 | 长期浸没和开盖工况的材料底线 | 来料检验、挂片试验、批次一致性和年度复检 |
2.2 技术路线对比(定性)
下表仅对比本工程直接全浸没路线与常规风冷/冷板液冷的工程特征;未给出的对比实测值不虚构。
| 维度 | 直接全浸没(本工程) | 传统风冷 | 冷板液冷(定性) | 决策含义 |
|---|---|---|---|---|
| 服务器风扇 | 全部移除,降整机 10%~20% 风扇寄生功耗 | 依赖服务器风扇 | 通常保留部分风扇 | 全浸没需定制服务器和 BMC 策略 |
| PUE 潜力 | 实测加权年均 1.049 | 受风扇、空调和气流组织影响 | 通常优于风冷,但取决于 CDU/冷源 | PUE 不是唯一指标,需同边界比较 |
| 介质成本 | 每柜几十万元,400~800 元/kg | 无冷却液 CAPEX | 冷却液量小,但仍有 CDU/管路成本 | 全浸没液体 CAPEX 是首要门槛 |
| 维护方式 | 天车/电动葫芦垂直吊出主板 | 拔插风扇/整机维护 | 管路快接、CDU 维护 | 全浸没对土建净高和吊装要求最高 |
| 材料兼容 | 电容、SSD、密封圈、标签均需防腐/兼容验证 | 常规材料体系 | 冷板/管路材料兼容 | 全浸没材料风险面更大 |
| 挥发/补液 | 开盖年化 2%~5% 挥发损耗 | 基本无液体挥发 | 少量补液 | 全浸没需补液计量和开盖集气 |
| 夏季冷源 | 南方需室外闭式冷却塔 | 冷机/空调 | 冷机/干冷器/冷却塔 | 冷源可用性和水质决定夏季上限 |
3. 一线施工踩坑与运维巡检清单
3.1 施工前必须锁定的 8 件事
- 介质兼容性矩阵先做,不等设备到场再做:主板密封电容、SSD、PCB、连接器、线缆护套、标签、光模块、电源、密封圈全部列入浸泡/挂片清单。合成烃与电子氟化液混合介质测试必须锁定批次和混合比例。
- 槽体清洁度按绝缘系统管理:金属屑、助焊剂、颗粒和水分是电导率 ≤10 μS/cm 的敌人;冲洗、过滤、注液前电导率确认要形成记录。
- 土建净高和楼板载荷前置复核:天车/电动葫芦轨道、吊装路径、开盖操作空间、排液地沟、应急收集容器缺一不可;不要等运维阶段才发现主板吊不出来。
- 去风扇后服务器策略重写:BIOS/BMC 风扇告警屏蔽、温度传感器重映射、降频策略、漏液检测和绝缘监测联动,必须由服务器厂和液冷集成商联合调试。
- 泵和管路按 0.2~0.6 MPa 压降窗口校核:法兰、接头、软管、阀门耐压等级、支撑间距、排气点和压差表位置要一次到位;压降异常往往先表现为泵电流和接头渗漏。
- 闭式冷却塔按南方夏季湿球温度选型:冷却塔水质、旁滤、补液、结露和冬季防冻策略要写入调试大纲。
- 开盖挥发收集设计:开盖区域设置集气/排风或负压收集,补液计量按柜/按次记录,否则 2%~5%/年挥发损耗会变成糊涂账。
- 吊具绝缘和防滴落:吊具、托盘、防坠、防滴落收集盘、主板临时存放架要按现场演练;液体开盖维护不是“拔出来放桌上”。
3.2 施工中容易翻车的点
- 注液过快/排气不净:局部气堵会造成流量分配偏差和局部过热;注液后必须循环排气并记录泵频、流量、压差。
- 过滤精度和旁路设计不足:颗粒污染会推高电导率和磨损泵/密封;过滤器和树脂旁路要可在线切换。
- 接头和软管应力:0.2~0.6 MPa 压降窗口下,热胀冷缩和泵启停水锤会放大接头应力;支撑和软管走向要避免死弯。
- 防腐改性批次不一致:同一柜内混用未改性件或不同批次改性件,长期浸没后先出问题的往往是连接器和 SSD。
- BMC 风扇告警未清:去风扇后若告警策略未改,运维会被无效告警淹没,真正的漏液/超温告警被掩盖。
- 开盖次数无台账:补液量、开盖次数、挥发量不关联,无法判断 2%~5% 损耗是否异常。
3.3 运维巡检清单(按频次落地)
每日巡检
- 槽体液位、补液量、槽盖密封和接头渗漏。
- 泵电流/频率、回路压差是否在 0.2~0.6 MPa 窗口内、供回液温度。
- 电导率是否 ≤10 μS/cm,在线监测报警是否清零。
- 闭式冷却塔运行状态、补水量、旁滤压差。
- 漏液检测、绝缘监测、BMC/液冷控制器告警。
每周巡检
- 电导率趋势、含水率/酸值/色度/颗粒度按介质厂商要求取样记录。
- 过滤器压差、树脂旁路状态、补液计量与开盖次数核对。
- 天车/电动葫芦空载动作、制动、吊具绝缘和防滴落盘。
- 冷却塔水质、加药/旁滤、南方夏季湿球温度与排热余量。
每月巡检
- 泵振动/噪声、密封圈老化、法兰紧固和软管应力。
- 槽体底部沉积、换热器压差、CDU/板换效率趋势。
- SSD/电容/连接器外观腐蚀检查(结合停机窗口)。
- 应急排液泵、收集容器、消防联动和漏液演练。
每季/每年
- 季度:介质全分析、材料挂片复检、槽体沉积清理评估、换热器清洗评估。
- 年度:第三方能效复测、PUE 加权复核、介质更换/回收评估、天车年检、TCO 复盘。
- 开盖维护 SOP:降载/停机 → 关阀隔离 → 液位降至安全位 → 开盖集气 → 吊装捞出主板 → 防滴落收集 → 维护 → 复位 → 补液过滤 → 电导率确认 → 恢复运行。
4. 采购与经济账(CAPEX / OPEX 与 TCO 测算)
4.1 CAPEX
全浸没项目 CAPEX 不能只报槽体,至少包括:
- 冷却液:液量 × 400~800 元/kg;本工程口径为每柜几十万元。
- 槽体/油罐、循环泵、换热器/CDU、管路阀门、过滤与树脂旁路。
- 室外闭式冷却塔及水质处理。
- 特种天车/电动葫芦、轨道、吊具、防滴落设施。
- 服务器去风扇定制、主板密封电容/SSD 防腐改性。
- 电导率/压差/漏液/绝缘监测仪表、施工与调试。
可写为:
CAPEX = 冷却液(液量×400~800 元/kg)+ 槽体/泵/换热/CDU + 闭式冷却塔 + 天车吊装 + 防腐改板 + 仪表与施工。
4.2 OPEX
按本工程已知约束,OPEX 的刚性项包括:
- 补液:初始液成本 × 2%~5%/年。按每柜初始液成本“几十万元”取 30~80 万元仅作测算区间,则年补液约 0.6~4.0 万元/柜;5 年约 3~20 万元/柜(未折现,实际以液量、混合比例和回收服务为准)。
- 泵/冷却塔/过滤/树脂电耗与耗材。
- 介质检测、挂片、过滤器和树脂更换。
- 天车/吊具年检、开盖维护人工、停机风险。
- 冷却塔水质处理和南方夏季补液。
OPEX = 初始液成本×2%~5% + 泵/塔电费 + 过滤/树脂/检测 + 吊装维护 + 停机风险。
4.3 TCO 与节能测算边界
TCO = CAPEX + ΣOPEX_t/(1+r)^t + 改造/回收残值。
PUE 1.049 的节能收益必须用项目基准 PUE 计算,不能直接套用。公式:
年省电量 = IT 负载(kW) × 8760 × (基准 PUE − 1.049)。
测算示例(仅作假设):1 MW IT 负载、基准 PUE 1.3、电价 0.6 元/kWh,则年省电约 219.9 万 kWh,约 132 万元;电价 0.4~0.8 元/kWh 对应约 88~176 万元/年。若项目基准 PUE 更低、负载率不足或南方夏季冷源受限,收益需下调。
采购决策要点:
- 冷却液按 kg 询价,要求批次报告:电导率、含水率、介电、粘度、酸值、材料兼容性和挥发特性。
- 合同锁定补液、回收、混合比例调整和质保责任。
- 槽体/管路按 0.2~0.6 MPa 压降窗口校核耐压和密封。
- 天车载重、轨道净高、吊具绝缘写入验收。
- 闭式冷却塔按南方夏季湿球温度和水质方案验收。
5. 总结与工程选型建议
适用场景:高功率密度、高电价、PUE 约束严、可定制服务器、具备液冷运维团队、土建净高和楼板载荷满足天车吊装、且能接受每柜几十万元冷却液初始投资的项目。此类项目应把 PUE 1.049 作为同边界复测目标,而不是宣传口号。
谨慎场景:低功率密度、低电价、运维团队无液冷经验、改造空间不足、无法设置天车/电动葫芦吊装路径、不能接受开盖挥发和补液管理的项目。此类项目即使 PUE 数字好看,也可能被冷却液 CAPEX、2%~5%/年挥发损耗和吊装维护成本吃掉收益。
选型决策顺序:先做介质兼容性和材料防腐验证 → 再按液量×400~800 元/kg 核算每柜几十万元液体 CAPEX → 校核 0.2~0.6 MPa 压降窗口和泵/密封/过滤 → 锁定南方夏季闭式冷却塔能力 → 最后用项目基准 PUE 和电价做 TCO 敏感性分析。全浸没液冷不是“买液体上槽体”,而是服务器、介质、槽体、冷源、土建和运维体系的一体化工程。