一、说明

这份SOP是针对私有云OpenStack K8S集群（10.1.0.0/16）整体宕机、全网业务中断的应急处置流程，全程依托现有AI运维体系（小米MiMo大模型+OpenClaw+Hermes）实现自动化判断、告警、决策与故障切换。

整体核心目标：不依赖人工紧急排查，系统自动识别重大故障、推送飞书确认、智能判断是否切换公有云流量/扩容公有云，严格守住既定业务SLA标准。

二、基础环境与集群网段信息

明确所有在线集群网段，方便故障定位和后续流量调度：

• 私有云VMware K8S：10.0.0.0/16（核心主集群）
• 故障目标集群：私有云OpenStack K8S：10.1.0.0/16（本地备用集群）
• 阿里云ACK集群：10.10.0.0/16（公有云容灾）
• 腾讯云TKE集群：10.20.0.0/16（公有云容灾）
• 华为云CCE集群：10.30.0.0/16（公有云容灾）
• 运维管理核心网段（独立稳定，不受业务故障影响）：172.16.0.0/24

三、核心架构说明（本地机房中转方案）

日常业务统一采用本地机房中转架构，所有公有云之间的互访流量、用户业务流量，全部经过本地核心机房中转转发，核心目的很简单：

• 日常优先跑本地私有集群（VMware+OpenStack），最大限度节省昂贵的公网带宽开销
• 本地机房中转链路延迟更低，有效降低用户访问时延，提升业务体验
• 公有云仅作为容灾兜底，日常不承载主力流量，减少公有云资源成本

故障场景核心逻辑：本地机房正常，流量全部本地中转；本地机房整体宕机，自动切断中转链路，流量全部分流至三大公有云独立承载。

四、集群权重调度规范（日常默认策略）

系统默认配置固定集群权重，AI和自动化流程严格遵循该权重调度，日常优先保障本地集群业务：

• VMware 私有K8S：权重100（绝对核心主集群，日常承载主力流量）
• OpenStack 私有K8S：权重80（本地备用集群，主集群负载过高时兜底）
• 阿里云/腾讯云/华为云：权重60（纯容灾集群，日常仅极小流量探测，不承载业务）

五、故障等级分级标准（P0-P4 全等级）

所有故障统一分为5个等级，严格遵循不违背第一性原则，重大故障人工决策优先，P0/P1高级别故障必须飞书人工交互确认，低级别故障自动处置或仅告警：

故障等级	故障场景	响应时效	自动化处置规则
P0 灾难级	整个私有云（OpenStack+VMware）超50%失能、单公有云超50%失能、集群整体宕机、全网业务不可用	5分钟内立刻处置	飞书人工确认后，自动切流量、自动污点驱逐Pod、自动公有云扩容、集群隔离
P1 严重级	单个节点故障、局部业务异常、少量Pod异常重启	10分钟内响应	自动推送详细告警，自动隔离故障节点，不主动切换全局流量
P2 一般级	集群资源水位偏高、CPU/内存过载、业务轻微抖动	30分钟内响应	发出预警通知，资源充足条件下自动扩容解压
P3 提示级	日常运维变更、少量日志报错、无业务影响	工作时段处理即可	仅做日志记录、台账留存，不触发任何自动操作
P4 轻微级	监控零星抖动、瞬时指标异常、自动恢复	无需紧急处理	静默记录，无告警、无操作

六、业务硬性SLA指标

所有自动化操作，都会提前校验以下指标，不达标绝不执行切换动作，避免业务事故：

• 集群整体可用率：99.99%
• 跨云网络调用成功率：99.99%
• 故障自动切换RTO（业务恢复耗时）：≤60秒
• 业务数据RPO（数据丢失阈值）：≤10秒增量数据
• 人工响应时效：5分钟内完成故障确认与处置决策

七、故障触发判定条件（必须全部同时满足）

这里重点说明：四个条件缺一不可，系统会自动聚合判断，杜绝误判、误切换，只有全部命中才判定为P0级重大宕机故障：

1. OpenStack集群APIServer连续30秒无法访问，集群管控彻底失联
2. 该集群正常就绪节点占比低于60%，大部分节点已瘫痪
3. 前端业务健康探针连续5次探测失败，用户侧业务完全不可用
4. 网络探测确认本地机房出口链路中断，集群无法联网、无法自行恢复

补充：所有探测动作均从独立运维网段172.16.0.0/24发起，不会受故障集群影响，保证判断结果真实可靠。

八、全局资源统一治理规范

所有集群统一治理，是自动化切换、扩容、回迁的基础，全集群强制遵循，不允许单机单独变更：

1. 统一镜像管理：搭建Nexus私有镜像仓库，本地部署主节点，三家公有云同步部署镜像副本，业务就近拉取镜像，彻底避免镜像拉取失败导致的业务故障
2. 统一配置管理：所有集群的ConfigMap、Secret、资源配额、节点污点、Pod亲和性策略，全部全局统一分发、统一更新，禁止各集群单独修改配置
3. 统一版本发布：所有业务上线、迭代更新，全部走Karmada联邦灰度、分批发布流程，禁止直接在单个集群独立变更，保证多集群版本一致

九、AI运维组件分工+具体落地配置

整套自动化流程靠三个核心组件配合，各司其职、不乱操作：

9.1 OpenClaw 具体配置（事件中枢+权限管控+飞书联动）

OpenClaw核心定位：接收监控事件、聚合故障等级、触发AI推理、弹出飞书审批、管控所有工具调用权限，具体配置如下：

• 事件聚合配置：开启多条件联合判断，严格绑定本文档4项P0触发条件，四项全部命中才判定P0故障，单一条件异常仅做告警降级
• 故障等级绑定配置：预设P0-P4全等级规则，自动匹配故障场景，分配对应响应时效和处置策略
• 人工审批闸门配置：强制开启P0/P1级别故障飞书人工确认，未确认禁止任何写入操作（权重修改、流量切换、Pod驱逐、扩容），P2及以下可自动执行
• 工具权限配置：区分只读/预演/正式操作，只读查询全员放行，集群变更、流量切换、资源扩容必须人工回调确认
• 超时机制配置：P0故障飞书消息4分钟超时，生产环境超时仅告警不自动执行，演练环境可开启自动兜底执行
• 中转链路联动配置：识别本地机房故障后，自动触发「关闭本地中转链路」指令，阻断故障集群流量，避免无效转发

9.2 Hermes 具体配置（固化SOP+状态机执行）

Hermes核心定位：固化所有标准化运维流程，替代人工一步步操作，稳定执行SOP、支持断点续跑、失败回滚，具体配置如下：

• 固化P0灾难SOP模板：提前录入完整故障处置流程（污点标记、Pod驱逐、权重调整、流量切换、公有云扩容、故障隔离、后期灰度回迁），全程状态机分步执行
• Karmada联动配置：绑定Karmada API，预设集群污点、调度权重修改、Pod驱逐模板，无动态配置生成，仅参数替换
• 流量切换模板配置：预设GSLB/网关流量切换规则，本地中转故障时，自动分流流量至公有云权重（ACK40%、TKE35%、CCE25%）
• 回迁SOP固化配置：单独固化故障恢复后灰度回迁流程，包含数据增量同步、小流量验证、全量切回、临时资源清理完整步骤
• 校验与回滚配置：每一步操作后自动校验业务指标、资源状态，执行失败立即触发回滚，终止后续流程并告警

9.3 Agent固定提示词

这个提示词为固定prompt（v2实践版本），每次故障推理自动调用，无需人工修改，严格约束AI决策逻辑，守住人工决策底线：

你是生产系统专属K8S多云AIOps运维决策大模型，严格遵循运维第一性原则，所有决策必须安全、可控、可追溯、可回滚。

1. 故障分级规则：严格按照P0/P1/P2/P3/P4等级判定故障，P0为全网灾难故障、P1为局部严重故障、P2为资源预警故障、P3为无影响日常告警、P4为瞬时轻微抖动。

2. 决策权约束：P0、P1高级别故障，必须等待飞书人工交互确认后才可输出执行方案，禁止自主决策执行；P2及以下低级别故障可自主输出预警和自动化优化方案。

3. 集群调度规则：日常默认集群权重 VMware(100) > OpenStack(80) > 公有云(60)，优先本地机房中转、优先本地集群承载业务；本地机房整体故障时，重新测算公有云最优流量权重和扩容规格。

4. 操作约束：禁止自由生成配置文件、禁止随意修改全局规则，仅基于预设模板填充参数；所有集群变更必须校验SLA指标（可用率99.99%、跨云成功率99.99%、RTO≤60s、RPO≤10s）。

5. 输出要求：每次故障输出包含故障等级、根因简述、SLA校验结果、建议处置动作、操作风险、是否需要人工确认，输出结果简洁适配运维实操。

十、故障自动污点驱逐策略（Karmada落地流程）

针对本地OpenStack集群宕机，系统自动执行集群隔离和Pod迁移，全程无需人工干预：

1. 监控系统实时检测：集群APIServer失联、大量节点进入NotReady状态、节点就绪率低于60%，触发驱逐流程
2. Karmada控制面自动给故障OpenStack集群打上不可调度专属污点，禁止新业务调度进入
3. 自动驱逐故障集群内所有存量Pod，基于全局权重策略，自动调度到VMware健康私有集群或三大公有云集群
4. 故障集群永久隔离，不再接收新的调度请求，直至人工修复、解除污点、核验健康

十一、P0级别全自动执行SOP

步骤1：故障自动判定，触发P0应急流程

系统实时监控所有探测指标，一旦四个触发条件全部同时满足，OpenClaw会立刻判定：OpenStack集群整体宕机、本地机房中转失效、全网业务中断，直接进入P0级灾难应急处置流程。

步骤2：MiMo大模型智能分析，生成合规处置方案

系统自动收集当前全量环境信息，带入固定提示词交给MiMo大模型分析，输出标准化方案：

• 自动判定故障等级为P0灾难级，标记需要人工确认
• 核对跨云网络、数据同步SLA是否达标
• 测算三大公有云剩余资源，输出最优流量权重、扩容副本数
• 梳理本次操作风险点，生成完整处置报告

步骤3：飞书人工确认交互

AI生成方案后，不会直接执行，P0故障强制人工确认，飞书卡片展示完整故障信息、AI方案、风险提示，运维可选择确认执行或人工接管，3分钟超时默认暂停方案处置。

步骤4：人工确认后，全自动执行故障切换

OpenClaw接收确认指令，调度Hermes执行全套固化SOP，60秒内完成业务恢复：

1. 前置二次校验：核验SLA指标、公有云配额、跨云网络状态，不达标直接终止并告警
2. 关闭本地中转链路：切断故障机房中转流量，避免无效转发、业务卡顿
3. Karmada集群隔离：给故障OpenStack集群打不可调度污点，下调集群权重至0，停止新业务调度
4. 存量Pod驱逐迁移：自动驱逐故障集群Pod，调度至健康公有云集群
5. 全网流量灰度切换：通过GSLB和网关，将原本地流量全部分流至ACK/TKE/CCE公有云集群
6. 公有云弹性扩容：自动扩容业务Pod，挂载全局存储、对接云端中间件副本，保障业务稳定
7. 业务健康校验：自动探测业务接口、流量指标，确认业务完全恢复，RTO≤60s

步骤5：故障修复后，灰度回迁完整SOP

本地机房、OpenStack集群修复完成后，禁止一键全量切回，必须按灰度流程回迁，杜绝二次故障：

1. 增量数据同步：优先同步故障期间公有云产生的10s增量数据，保证本地集群数据完整一致，满足RPO指标
2. 小流量灰度验证：切换10%流量回本地集群，持续观测业务指标、延迟、报错率，验证集群健康稳定
3. 全量流量回迁：小流量验证无异常后，逐步将100%流量切回本地机房，恢复本地中转架构
4. 资源清理收尾：逐步缩容、销毁公有云临时扩容的业务实例，释放公有云资源，恢复日常集群权重策略
5. 解除集群隔离：清除OpenStack集群污点，恢复原有调度权重，回归本地备用集群身份

步骤6：故障处置闭环与复盘

• 系统自动记录全流程日志：故障触发时间、AI决策方案、人工确认记录、中转链路切换、Pod驱逐、扩容、回迁全流程结果
• MiMo自动生成故障复盘报告，推送飞书同步群组
• 将本次故障案例、处置经验录入AI知识库，优化后续故障判断精度

十二、重点保障规则

• 绝不允许AI自由生成配置文件，所有切换、扩容、污点配置均为提前预存模板，AI仅填充参数，杜绝幻觉误操作
• 所有P0/P1重大变更，生产环境必须飞书人工确认，无例外，严格遵循人工决策优先原则
• 管控、探测、AI组件全部部署在独立运维网段，故障机房断网不影响应急处置能力
• 日常优先本地机房中转、本地集群承载业务，故障时自动切换公有云容灾，兼顾成本、时延、可用性
• 先校验数据、网络SLA，再执行业务切换，优先保障数据安全
• 故障回迁必须灰度分步执行，禁止暴力切回，杜绝业务二次中断
• 全程可追溯、可回滚、可复盘，每一步操作都有日志记录

十三、整体效果总结

通过「本地机房日常中转+AI智能决策+OpenClaw事件管控+Hermes固化SOP+Karmada全局调度」的整套方案，平衡了日常成本、访问时延、故障容灾能力。日常业务低成本、低时延运行在本地私有集群；发生P0级机房宕机故障时，60秒内完成全网业务迁移，守住99.99%可用率、10s RPO核心SLA，全程自动化处置+人工兜底，彻底解决传统运维应急慢、操作乱、风险高的痛点。