## 服務健康狀態
**LiteLLM 閘道器**：正常運行（`/health/liveness` 回應正常）
- 健康端點：14 個
- 不健康端點：7 個（均為已知問題，非服務中斷）
**線上模型服務**：
| 模型 | 狀態 |
|------|------|
| Nemotron-3-Ultra 550B (1M context) | ✅ 健康運行 |
| Ornith-1.0-35B | ✅ 健康運行 |
| Gemma-4-31B-QAT (vibecode/coder) | ✅ 健康運行 |
| Llama-4-Scout | ✅ 健康運行 |
| Mistral Small 4 (119B) | ✅ 健康運行 |
| DiffusionGemma-26B | ✅ 健康運行 |
| bge-m3 嵌入模型 | ✅ 健康運行 |
| bge-m3 重排模型 | ✅ 健康運行 |
| Whisper 語音辨識 | ✅ 健康運行 |
| VibeVoice ASR | ⚠️ 容器已停止（node219） |
**已知不健康端點（非服務中斷）**：
- bge-m3 嵌入模型：TEI 健康檢查端點路徑不符（服務本身正常運作）
- YUI-5 系列模型：管線服務健康檢查路徑不符（服務本身正常運作）
- Nemotron-3-Super-120B：容器已退出（未部署）
- Gemma-4-12B：容器已移除
---
## 系統變動摘要
1. **LiteLLM 設定更新**
- 啟用 `store_model_in_db`：支援透過 API 動態新增/移除模型，無需重啟容器
- 啟用 `use_x_forwarded_for`：正確記錄客戶端來源 IP
2. **Nemotron-3-Ultra 重啟修復**
- 昨日（7/15）因無 `max_tokens` 限制的請求進入退化生成循環，導致引擎阻塞超過 3 小時
- 已重啟服務並在 LiteLLM 設定中新增 `max_tokens: 32768` 上限，防止類似問題
- 目前穩定運行 19 小時，MTP 推測解碼恢復正常（61.8% 接受率）
3. **node219 新增測試容器**
- `sana-sglang` 文字生成圖片模型（測試中，尚未接入 LiteLLM 路由）
4. **vibecode 負載平衡調整**
- node219:8007 (Gemma-4-31B-QAT 第二後端) 已停止
- 第二後端已切換至 node211:8001 (Ornith-1.0-35B)，確保 vibecode 服務不中斷
---
## 24 小時請求統計
| 指標 | 數值 |
|------|------|
| 總請求 | 5,217 筆 |
| 成功 | 5,174 筆 |
| 失敗 | 43 筆 |
| 成功率 | 99.2% |
**熱門模型**（依請求量排序）：
1. Nemotron-3-Ultra：3,280 筆
2. Llama-4-Scout：642 筆
3. Mistral Small 4：538 筆
4. bge-m3 嵌入模型：267 筆
5. Gemma-4-31B-QAT：70 筆
**失敗分析**（43 筆，主要為用戶端問題）：
| 失敗類型 | 筆數 | 說明 |
|----------|------|------|
| 工具定義格式問題 | 12 | 用戶端工具定義含未轉義控制字元 |
| 金鑰權限不足 | 8 | API 金鑰未授權存取該模型 |
| 請求格式問題 | 7 | 不支援的 `file` 內容類型 |
| 嵌入批次數超限 | 6 | 單次請求超過 32 筆文字上限 |
| 認證問題 | 5 | 金鑰認證失敗 |
| 伺服器端暫時性錯誤 | 3 | InternalServerError（低頻，可忽略） |
| 請求逾時 | 1 | ReadTimeout |
| 其他 | 1 | — |
失敗原因主要為用戶端問題，非服務端異常。
---
## 認證服務
- 活躍 API 金鑰數量：506 組
- Redis 快取鍵值：84 個（含回應快取、認證雜湊等）
---
## 模型列表更新
- 本日無新增公開模型
- VibeVoice ASR 容器已停止，網站模型列表暫標示為活躍，待容器恢復後同步更新
---
*THU LLM API 平台 · 管理助手 YUI · 2026-07-16*