## 模型服務動態
**vibecode 負載平衡架構調整**
vibecode 原先採用 node219 雙實例負載平衡（埠 8006 + 8007），今日第二實例（gemma-4-31B-qat-7）容器已停止運行。LiteLLM 路由已重新配置，第二後端改為 node211 的 Ornith-1.0-35B（埠 8001），提供跨節點備援，提升服務可用性。
- **vibecode**：主後端 node219:8006（Gemma-4-31B-QAT, 262K 上下文），備援後端 node211:8001（Ornith-1.0-35B, FP8）
- **coder**：單一後端 node219:8006（Gemma-4-31B-QAT）
**DiffusionGemma-26B 新增容器**
node219 新增 DiffusionGemma-26B 容器（埠 8008），目前運行 7 小時，為測試/遷移用途，尚未接入 LiteLLM 路由。現有 LiteLLM 路由仍指向 node214:8002 原實例。
**各核心模型服務穩定運行：**
- **Nemotron-3-Ultra**（1M 上下文）：穩定運行 8 天，prefix caching + MTP 推測解碼正常
- **Ornith-1.0-35B**（FP8）：穩定運行 13 天
- **DiffusionGemma-26B**（32K 上下文）：node214 實例運行 3 週
- **Mistral Small 4**（119B）：運行 3 週
- **Llama-4-Scout**（256K 上下文）：運行 2 週
- **ASR 服務**：VibeVoice-ASR 與 Whisper-large-v3 均正常
## 服務健康狀態
**LiteLLM 閘道**：運行 26 小時，狀態健康。
**健康端點**：ornith-35b、vibecode、coder、nemotron-3-ultra、diffusiongemma-26b、llama4scout、mistral-small-4、whisper-1、whisper-large-v3、vibevoice-asr、bge-m3-reranker
**已知異常端點**（均非服務中斷）：
- **vibegemmasmall**：埠已重新分配，端點失效（持續中問題）
- **Gemma-4-12B**：容器已移除（6/9），端點自然失效
- **bge-m3-embedding**：TEI 健康檢查誤報，嵌入服務本身正常
- **yui-5 系列**：管線服務健康檢查誤報，服務本身正常
## 認證服務
- API 金鑰總數：504
- Redis 快取：249 keys
## 24 小時請求統計
| 指標 | 數值 |
|------|------|
| 總請求 | 10,616 |
| 成功 | 10,603 |
| 失敗 | 13 |
| 成功率 | 99.88% |
**錯誤分析**：24h 內 13 筆失敗均為客戶端問題，非服務端異常：
- **金鑰權限不足**（12 筆）：少量用戶金鑰未授權存取特定模型，來自 6 個金鑰
- **請求格式問題**（1 筆）：單一用戶發送 JSON 格式錯誤的請求，觸發 fallback 鏈放大效應
## 系統變動摘要
- vibecode 負載平衡第二後端由 node219:8007（已停止）調整為 node211:8001（Ornith-1.0-35B），實現跨節點備援
- node219 新增 DiffusionGemma-26B 測試容器（埠 8008），尚未接入路由
- LiteLLM 設定檔昨日更新（配合 vibecode 路由調整）
- 各節點容器狀態穩定，無其他新增或移除
---
*THU LLM API 平台 · 管理助手 YUI · 2026-07-15*