九个可定制的维度
任何一项选错，都会在后面的训练或推理里变成瓶颈。我们把每一项都拆开算清楚。
GPU 型号与数量
根据精度需求（FP16 / BF16 / FP8 / INT8）与显存容量选型，2 / 4 / 8 / 16 卡形态按负载确定，不做过度配置。
CPU 平台与核数
GPU 饥饿往往源自数据预处理跟不上。我们按每卡需要的数据吞吐量反推 CPU 核数与内存通道，避免 GPU 空转等数据。
内存容量与带宽
训练场景要放下优化器状态与激活值，推理场景更看重带宽。容量、通道数、频率三项一起定。
本地存储与缓存
NVMe 系统盘 + 数据盘分层，按数据集大小与读取模式设计缓存策略，必要时加本地高速缓存层。
网络互联方案
单机 NVLink / NVSwitch，机间 InfiniBand NDR 或 RoCE v2。拓扑设计（Fat-Tree / Rail-Optimized）在方案阶段一次做对。
散热形态
优化风冷、冷板式液冷、整机柜液冷三种形态。按单柜功率密度与机房条件选择，兼顾能效与噪音。
机箱与形态
4U / 8U 机架式、高密度多节点、整机柜预集成。整柜出厂前完成预装与烧机，现场只需上电接网。
供电与冗余
按整机峰值功耗选配电源模块与冗余级别，液冷机型同步核算 CDU 供回水与供电线路容量。
带外管理与安全
BMC 带外管理、固件版本基线、安全启动与固件签名策略，纳入统一运维平台纳管。
机型矩阵：四种典型形态
下面是我们最常交付的四类平台。它们不是固定 SKU，而是四条可以继续调整的基线。
| 项目 | 基线配置 | 可调整范围 | 说明 |
|---|---|---|---|
| GPU | 8 × 训练级 GPU | 8 / 16 卡 | 面向大模型预训练与微调，优先显存容量与互联带宽 |
| GPU 互联 | NVLink + NVSwitch | 全互联 / 半互联 | 决定多卡并行的通信效率上限 |
| CPU | 双路高核数平台 | 按数据管线核数测算 | 避免数据预处理成为 GPU 饥饿来源 |
| 内存 | ≥ 1TB DDR5 | 容量 / 频率可选 | 需容纳优化器状态与激活值 |
| 本地存储 | 2 × NVMe 系统 + 4 × NVMe 数据 | 容量与冗余可调 | 训练数据集本地缓存，降低远端读取压力 |
| 机间网络 | IB NDR / RoCE v2 | 200G / 400G | 配合 Rail-Optimized 拓扑设计 |
| 散热 | 优化风冷 | 风冷 / 冷板液冷 | 单柜功率密度超过 40kW 建议转液冷 |
| 形态 | 8U 机架式 | 4U / 8U | 兼顾密度与维护便利性 |
| 项目 | 基线配置 | 可调整范围 | 说明 |
|---|---|---|---|
| GPU | 4 / 8 × 推理优化 GPU | 2 / 4 / 8 卡 | 关注每瓦吞吐与显存带宽，而非峰值算力 |
| 量化支持 | FP8 / INT8 / INT4 | 按精度容忍度选 | 量化方案直接决定单卡能承载的并发量 |
| CPU | 双路中核数平台 | 按并发请求量测算 | 负责请求编排、前后处理与批调度 |
| 内存 | 512GB – 1TB | 容量可调 | 承接 KV Cache 溢出与预处理缓冲 |
| 本地存储 | 2 × NVMe 系统盘 | 可加数据盘 | 模型权重本地化，缩短冷启动时间 |
| 机间网络 | 25G / 100G 以太 | 100G / 200G | 推理集群对东西向带宽要求低于训练 |
| 散热 | 风冷 | 风冷 | 部署灵活，适配存量机房 |
| 形态 | 4U 机架式 | 2U / 4U | 面向高密度横向扩展 |
| 项目 | 基线配置 | 可调整范围 | 说明 |
|---|---|---|---|
| 节点密度 | 多节点高密度机箱 | 按 U 位数设计 | 在有限机柜空间内提升节点数 |
| GPU | 每节点 2 / 4 卡 | 2 / 4 / 8 卡 | 适合中等规模并行与推理横向扩展 |
| 共享资源 | 共享电源 / 风扇 | — | 降低单节点成本与整柜功耗 |
| 网络 | 板载 + 可插 OCP | 25G / 100G / 200G | 每节点独立高速上行 |
| 存储 | 每节点 NVMe | 容量可调 | 可对接分布式存储形成共享数据层 |
| 散热 | 高静压风冷 | 风冷 / 液冷 | 高密度场景需重点核算风道与背压 |
| 适用场景 | 中等规模训练、批量推理、混合负载共享集群 | ||
| 项目 | 基线配置 | 可调整范围 | 说明 |
|---|---|---|---|
| 交付形态 | 整机柜预集成 | 单柜 / 多柜 | 出厂完成预装、布线与烧机，现场工期最短 |
| 冷却方式 | 冷板式液冷 | 冷板 / 浸没 | 冷板对现有服务器形态兼容性更好 |
| 单柜功率 | 60kW+ | 按机房条件设计 | 需同步核算供电容量与母线方案 |
| CDU | 机柜级 CDU | 机柜级 / 机房级 | 供回水温度、流量与压差纳入监控 |
| 管路 | 快插盲插 | — | 支持节点级热插拔维护，降低漏液风险 |
| 能效 | PUE 目标 ≤ 1.2 | 按机房实测定 | 结合自然冷却可进一步下探 |
| 运维 | 液冷系统纳入统一运维范围：漏液检测、水质与流量监控、CDU 定期保养 | ||
交付与质保，写进合同里
我们做过二十多年服务器，很清楚「交付」这两个字最容易被含糊过去。 所以交付物、验收标准、质保范围，我们都在合同附件里逐条写清楚。
出厂即验收
烧机测试、GPU 压测、IB 链路误码测试、固件版本核对，出具出厂测试报告。
整机 3 年质保
关键部件原厂质保，备件池本地化储备，坏件先换后修，缩短业务中断时间。
上架联调支持
提供现场上架、布线、集群组网与调度平台接入支持，交付即可投产。
可选运维服务
硬件交付后可无缝衔接 GPU 集群运维服务，按年签约。
先把负载讲清楚，再谈配置
告诉我们您要跑的模型规模、并发量和预算区间，我们免费出一份配置建议与拓扑草案。