基础设施
机柜 · 供电 · 制冷 液冷 CDU · 二次侧
- 盯PDU 负载 · 进出水温 漏液 · 风道
- 做定期巡检 · 扩容 现场抢修 · 演练
GPU CLUSTER OPERATIONS
让集群不掉线，
让集群不掉线，
也让每一张卡跑得满
GPU 集群的运维和传统 IDC 完全是两个专业。显存 ECC 报错会静默降速、NVLink 掉链会让多卡并行退化、 IB 链路抖动会让训练任务卡在通信上、散热降频会让算力悄悄打折 —— 这些问题不会报警，但会持续吞掉你的投入。
OPERATIONS MODEL
六层责任域并行，两条通道成环
L1–L6 是同时存在的责任域，不是从上到下的工序。集群里真正在流动的只有两条通道： 指标自下而上汇聚、指令自上而下下发；复盘结论再回灌到监控规则，闭环才算合上。
← 左右滑动查看完整闭环图 →
↑
指标 · 日志 · 链路遥测
6 个责任域同时上报
GPU 健康
GPU 卡 · 显存 NVLink 互联 · ECC
- 盯利用率 · ECC · XID 温度 · 降频
- 做隔离换卡 · 功耗策略 风道检修
集群网络
IB / RoCE · 交换机 光模块 · 线缆
- 盯误码率 · 链路抖动 拥塞 · 丢包 · 重传
- 做换线换模块 · 调 QoS PFC · 流控参数
并行存储
并行文件系统 · 缓存 后端盘 · 分层
- 盯带宽 · IOPS 缓存命中率 · 容量
- 做扩容 · 数据分层 磁盘重建 · 校验
平台调度
Slurm / K8s · 镜像仓库 配额 · 租户
- 盯排队时长 · 利用率 任务失败率
- 做调调度策略 · 升版本 配额管理
应用与租户
训练任务 · 多租户 作业队列 · 镜像
- 盯MFU · 通信占比 作业排队时长
- 做NCCL 调优 · 拓扑调度 业务支持
↓
配置 · 作业 · 处置指令
按域下发，互不阻塞
01
方向不是单向的
指标、日志、链路遥测是自下而上汇聚到平台的；配置下发与自动化处置才是自上而下。两条通道同时存在，画成一支向下的箭头方向正好反了。
02
六层是并行的责任域
基础设施、GPU、网络、存储、平台、应用各有各的监控项与负责人，同时运行、各自闭环，不存在「上一层处理完交给下一层」的先后关系。
03
复盘必须回灌
根因分析的价值在于改写监控规则和自动化脚本。少了这条回环，流程走完就结束了，同类故障还会再犯一次。
MONITORING
我们盯着的那些指标
很多「集群变慢」的投诉，最后都能落到下面某一行数据上。
| 监控层 | 关键指标 | 采集粒度 | 异常处理动作 |
|---|---|---|---|
| GPU 健康 | 利用率 · 显存占用 · 核心/显存温度 · 功耗 · 降频次数 | 1s | 定位降频原因（散热/功耗墙/负载），必要时调整功耗策略或检修风道 |
| GPU 可靠性 | ECC 错误计数 · XID 报错 · 卡离线 · 重映射行数 | 5s | XID 关键错误立即隔离节点并挂维护标记，安排更换 |
| 卡间互联 | NVLink 带宽 · 链路状态 · 降速告警 | 5s | 定位降速链路，评估是否需要停机维护或热迁移任务 |
| 集群网络 | IB 端口误码率 · 链路抖动 · 拥塞丢包 · RoCE PFC 计数 | 1s | 定位问题端口与交换机，调整 QoS / PFC 策略或更换线缆光模块 |
| 调度与任务 | 队列长度 · 作业等待时长 · 失败重试率 · 资源碎片率 | 10s | 调整调度策略与配额分配，缓解长尾等待 |
| 存储数据面 | 读写带宽 · IOPS · 缓存命中率 · 容量水位 | 10s | 识别热点与带宽瓶颈，调整数据分层与缓存策略 |
| 机房环境 | 进回风温度 · 液冷供回水温度 · 流量与压差 · 漏液检测 | 5s | 漏液告警即刻联动停机保护，温控异常联系机房侧协同处置 |
| 节点基础 | CPU / 内存 / 磁盘 / 网卡 · BMC 在线状态 | 10s | 带外通道确认状态，必要时远程重启或现场处理 |
SERVICE LEVEL
故障分级与服务等级
响应时间不是口号，是写进运维服务协议里的条款。以下为标准服务档位，可按需定制。
| 级别 | 典型场景 | 响应时间 | 现场到场 | 恢复目标 |
|---|---|---|---|---|
| P0 · 集群级 | 整柜断电、核心交换机故障、调度平台不可用、大面积节点掉线 | 15 分钟 | 4 小时 | 优先恢复服务，2 小时内给出故障定位 |
| P1 · 节点级 | 单节点 GPU 故障、IB 链路中断、节点无法启动 | 30 分钟 | 次日工作日 | 备件先换后修，24 小时内恢复节点 |
| P2 · 性能级 | GPU 降频、训练速度下降、网络抖动、存储带宽不足 | 2 小时 | 远程优先 | 3 个工作日内给出调优方案 |
| P3 · 咨询级 | 配置调整、账号配额、平台使用咨询 | 1 个工作日 | — | 按工单排期处理 |
0分钟
P0 级响应时间
7×24 值班热线直通工程师
0小时
P0 级现场到场
上海本地团队，可快速响应
0%
可用性目标
按季度统计并出具报告
INCIDENT WORKFLOW
一次故障从发生到闭环，走这五步
STEP 01
发现
监控平台自动告警，或客户通过 7×24 热线报障，工单即刻生成。
STEP 02
定级
值班工程师按影响面判定 P0–P3 级别，启动对应响应流程与人员呼叫。
STEP 03
处置
带外远程排查优先；需现场处理的，工程师携备件出发，同步向客户通报进展。
STEP 04
恢复
恢复业务并观察稳定性，确认无反复后关闭工单，记录处置全过程。
STEP 05
复盘
输出故障根因分析与改进措施，纳入季度运维报告，避免同类问题重复发生。
SCENARIOS
我们运维的典型集群
不同类型的集群，运维重点完全不同。科研集群最怕资源抢占不公平， 推理集群最怕长尾延迟，液冷机房最怕漏液和温控失控。我们的运维方案会按场景做侧重。
重点在调度公平性与配额管理。多课题组共享时，容易出现大组长期占满、小组排不上队的情况。
我们会配置分层配额、抢占策略与优先级队列，并定期输出资源使用报表，让分配有据可依。
重点在长周期任务的稳定性。一次预训练可能跑数周，中间任何一次节点故障都会导致任务回滚。
我们会做故障节点自动隔离、检查点存储带宽保障、任务热迁移，尽量把中断影响降到最低。
重点在延迟稳定性与灰度发布。我们会监控 P99 延迟而非平均延迟，
配合滚动发布与自动回滚机制，保证模型版本切换时线上服务不抖。
重点在液冷系统的可靠性。漏液检测、供回水温度与流量压差、CDU 泵组状态全部纳入监控，
漏液告警直接联动停机保护。同时定期做水质检测与管路巡检，把隐患挡在故障之前。
现有集群也能接管
不必是我们交付的硬件。我们可以先做一次集群健康度体检，出一份问题清单和优化建议，再决定是否签约运维。