
这两年上GPU集群,方案阶段绕不开一个问题:要不要上液冷。
厂商说液冷是趋势,集成商说风冷还能撑,用户夹在中间拿不定主意。其实这个问题有明确的分界线,就是单机柜的功率密度。
常规风冷机柜,配合冷热通道封闭和行级空调,单柜功率做到15到20千瓦是比较现实的区间。这个区间里进风温度能压住,机器不会因为过热降频。
再往上就吃力了。风冷靠空气带走热量,空气的比热容有限,单位时间能带走的热量有上限。功率继续涨,只能加大风量,风扇转速上去,噪音和功耗跟着涨,还容易形成局部热点。
行业里比较一致的说法是,单柜功率超过25千瓦,风冷的性价比开始明显下降;到30千瓦以上,基本就得靠液冷。
但这只是机柜层面的账。还要看单机:一台四U八卡整机满载功率就不低,机柜里放两台,功率密度直接翻倍。所以算的时候要按整柜满载算,不能按平均算。
冷板式:给CPU和GPU装冷板,其余部件还是风冷。改造成本相对低,机柜结构基本不动,是现在落地最多的一种。
浸没式:整机泡在绝缘液体里。散热能力最强,但机柜、运维流程、设备选型都要跟着改,落地门槛高。
后门换热器:装在机柜后门,把热风先过一遍水。属于折中方案,不改服务器,只改机柜。
选哪种要看机房现状。老机房改液冷,冷板式和后门换热器更容易落地;新建机房做高密度,可以直接按浸没式规划,省得二次改造。
见过一些项目,功率其实没那么高,硬上液冷,结果管道、阀件、漏液检测这些附属设施的成本比服务器还高,运维还得重新培训。
判断顺序应该是:先算机柜功率密度,再看制冷方式能不能跟上,最后才是选不选液冷。功率密度不到那个量级,把风冷做扎实更划算。
一是进风温度。风冷机房把冷通道温度控制好,比单纯加大风量有效。
二是盲板。空U位不装盲板,冷风从空隙跑了,前面板温度就上来了。这个成本极低,效果明显。
三是线缆走位。高密度机柜里线多,走线挡风会形成局部热点。
四是监控。进出风口温度、风扇转速这些数据要采,靠感觉判断散热是不够的。
现在做方案,GPU服务器的选型和制冷方式是绑在一起考虑的。四U多卡机型体积大、功率高,上架前就得把机柜功率算清楚,不然机器到了装不进去、开不了机,或者装进去一跑就降频。
说到底,散热方案没有先进落后之分,只有合不合适。功率密度决定路线,机房条件决定落地方式,这两条定下来,答案自然就有了。



