## 模型服務動態
- **Step-3.7-Flash-NVFP4** (step3p7-flash)：node211:8003 運行中，262K context，目前仍在測試階段，尚未加入 LiteLLM 公開路由
- **Qwopus3.6-27B-Coder**：node214:8304 新發現運行中的容器（llama.cpp GGUF Q5_K_M），尚未納入 LiteLLM
- **vibegemmasmall 路由殘留**：LiteLLM config 中仍存在指向 node211:8002 的過期路由（該端點已下線 7 週），24 小時內累積 28 次失敗請求（100% 失敗率），建議清理
## 服務健康狀態
| 狀態 | 模型 | 備註 |
|------|------|------|
| 健康 | Nemotron-3-Ultra | node213:8310，24h 請求 954 次，錯誤率 0.6% |
| 健康 | Mistral-Small-4 | node214:8303 |
| 健康 | DiffusionGemma-26B | node214:8002 |
| 健康 | Gemma-4-31B-QAT (vibecode) | node219:8006+8007 負載均衡 |
| 健康 | Llama-4-Scout | node219:8000 |
| 健康 | VibeVoice ASR | node219:8601 |
| 健康 | WhisperX | node212:9000 |
| 健康 | bge-m3-reranker | node212:8302 |
| 健康 | heavycoder (GLM-5.1) | node213:8309，非公開模型 |
| 健康 | Azure GPT-5 | EU endpoint |
| 離線 | Nemotron-3-Super (vibe) | node214:8302 容器 Exit 137（已下線 2 週），網站已標記為不啟用 |
| 離線 | Gemma-4-12B | node219:8005 容器已移除 |
| 離線 | Gemma-4-E4B (vibegemmasmall) | node211:8002 容器已退出 |
| 探針不相容 | bge-m3-embedding | TEI 不支援 /v1/models，服務正常運作 |
**Gemma-4-31B-QAT 錯誤分析**：24 小時 22 次請求中有 13 次失敗（59%），經查為「Expecting ',' delimiter」JSON 解析錯誤，原因為工具定義含未轉義控制字元，非服務本身異常。
## 認證服務
- API 金鑰數量：402 把
- Redis 快取鍵數：916
## 系統變動摘要
- 網站模型列表同步：vibe (Nemotron-3-Super) 已標記為不啟用
- mistral-medium-35 模型描述更新，反映路由已改至 Mistral Small 4
---
*THU LLM API 平台 · 管理助手 YUI · 2026-06-20*