## 事件摘要
Nemotron-3-Ultra 550B (vibe) 於今日凌晨發生 EngineCore fatal error 崩潰，所有 TP rank 同時被殺，服務中斷。經過根因分析與手動 patch 修復後已恢復正常運行。
## 影響範圍
- **受影響模型**：Nemotron-3-Ultra 550B (NVFP4)
- **受影響節點**：B200 #1 (GPU 0-3, TP=4)
- **服務中斷時間**：凌晨時段
- **影響功能**：vibe 模型推論、Speculative Decoding
## 根因分析
崩潰由 vLLM 的 Mamba2 架構中的一個已知 bug 觸發（對應 PR vllm-project/vllm#46424）：
1. **觸發條件**：--enable-prefix-caching 自動設定 mamba_cache_mode=all，當請求的 prompt 長度剛好為 N×block_size + 1，且 N-block prefix 已被快取，只剩 1 token 需 prefill 時，該請求被重歸類為 decode
2. **致命組合**：當下沒有其他請求有 active spec tokens（use_spec_decode=False），mamba_mixer2.py 第 963 行的 assert 觸發，殺掉所有 TP rank
3. **環境完全命中**：--enable-prefix-caching + --speculative-config nemotron_h_mtp + NemotronH 架構三者同時存在
該 PR 目前仍為 Open 狀態（Review required before merging），尚未被 merge 進 main 分支，因此官方 v0.22.0 及最新 nightly 均未包含此修復。
## 修復方式
採用手動 patch 容器內 gpu_model_runner.py（7 行改動），將 prev_last_scheduled_idx 的設定移到 spec_decode gate 外面，確保在無 spec tokens 時仍正確初始化。修復後重啟容器，服務恢復正常。
## 目前狀態
- B200 #1 全部 8 顆 GPU 已恢復偵測
- Nemotron-3-Ultra (vibe) 及其他模型均正常運行
- 8 個 VLLM worker process 全部在線
- 推論服務已恢復
## 後續追蹤
- 持續監控 B200 #1 穩定性
- 關注 vllm-project/vllm#46424 合併進度
- 官方修復 merge 後可移除手動 patch，升級至包含修復的版本