
随着模型应用逐步落到业务侧,不少团队开始搭建自己的推理算力节点。和训练阶段追求大规模并行不同,推理服务更关注单位时间内能处理多少请求、单请求响应是否稳定。选型时如果直接按训练思路堆卡,往往会出现卡数够了但显存紧张,或者显存宽裕但并发上不去的情况。
训练是反复迭代优化模型参数,对长时间的高算力并行、多卡互联和吞吐有较高要求;推理则是在模型定型后,接收真实请求、给出结果,更看重单卡有效算力、显存容量和请求调度效率。两者的评估口径不同,不能照搬同一套配置标准。
一个推理节点是否够用,核心看两个变量:单位时间要处理多少并发请求,以及每个请求在模型上占用多少显存和算力。把这两个变量估清楚,单机配几张卡才有依据。
估算卡数可以从业务并发入手。先明确高峰期同时在线的请求量、预期的响应时间,以及单张卡在当前模型下大概能承载的并发批次。把峰值并发与单卡能力对比,就能得出大致需要的卡数,再留一部分余量应对流量波动。
不要默认"卡越多越好"。如果业务规模还小,单机多卡的利用率长期偏低,算力成本就会沉淀在闲置资源上。更合理的节奏是先按当前并发落地,把节点数量和卡数设计成可横向扩展的结构,业务上来后再增加节点,而不是一开始把单机塞满。
显存占用主要和模型参数规模、加载的权重精度、同时处理的批次大小以及运行时临时开销有关。模型越大、批次开得越高,单请求占用的显存就越多。方案阶段要对照拟部署的模型,估算单实例显存需求,再结合单卡可用显存判断一张卡能放几个实例。
需要留意的是,显存不能按理论满载来规划。运行时的临时缓存、系统与驱动开销都要留出空间,显存长期顶到上限容易出现请求排队或进程异常。预留不足时,表现往往是并发一上来就响应变慢。
批次大小是调节吞吐和时延的关键旋钮。批次开得大,单批吞吐高,但单个请求排队等待的时间变长;批次小,响应更及时,单批效率又会下降。推理服务要在两者之间按业务对时延的要求找平衡。
多卡或多节点之间,模型和数据的调度、互联带宽也要纳入方案。节点之间需要频繁交换数据时,网络能力会直接影响整体效率;散热和供电则要匹配多卡机型的功耗水平,避免上机柜后成为瓶颈。
推理算力选型的顺序,是先摸清并发与模型负载,再倒推卡数和显存,最后补网络、散热与扩容规划。搭建这类GPU服务器节点时,可以从当前业务规模起步,把单机配置和节点扩展路径先设计清楚,让算力投入跟着业务增长逐步释放,而不是一次性把资源备到顶。
上线后结合实际请求量和显存占用持续观察,再决定是否加卡或加节点,方案会比纸面估算更贴近真实使用情况。



