## 模型服務動態
- **Step-3.7-Flash-NVFP4（H100 #1:8003）已停止運行**：容器於今日約 11:00 停止（Exit 0），NVFP4 量化格式在 H100 上無硬體加速支援，吞吐量表現不佳，已移除服務。
- **Krea-2-Turbo（H100 #1:8002）測試中**：sglang 圖像生成服務，目前啟動失敗持續重啟（config 載入錯誤），尚未加入正式路由。
- **Ornith-1.0-35B（H100 #1:8001）**：已部署運行中，尚未加入 LiteLLM 路由，待正式上線。
## 服務健康狀態
**16 個端點健康運作**，4 個端點回報異常（均為已知狀態，非新事件）：
| 端點 | 狀態 | 說明 |
|------|------|------|
| Nemotron-3-Super (H100 #2:8302) | 離線 | 容器已停止，服務已終止 |
| Gemma-4-E4B (H100 #1:8002) | 離線 | 舊容器，端口已由 Krea-2-Turbo 接管 |
| Gemma-4-12B (L40S #1:8005) | 離線 | 容器已移除 |
| bge-m3-embedding | 健康檢查異常 | TEI 健康檢查誤判，嵌入服務實際正常運作 |
**線上模型**：vibecode、coder、vibe、nemotron-3-ultra、mistral-small-4、gpt-oss-120b、diffusiongemma-26b、llama4scout、whisper-1、whisper-large-v3、vibevoice-asr、bge-m3-embedding、bge-m3-reranker、azure-eu1-gpt-5、vibex
## 錯誤分析（24 小時）
- **3,359 筆請求**，42 筆錯誤（1.2%），整體服務穩定
- Nemotron-3-Ultra 佔比 50%（1,693 筆），為最活躍模型
- bge-m3-embedding 7 筆失敗：用戶端請求批次數超過 TEI 上限（batch size 36 > max 32），非服務異常
- openai/gemma-4-31B-qat 24 筆失敗：單一用戶端傳送 type: file 內容格式，觸發 fallback 串聯失敗（vLLM 不支援 file 類型），非服務異常
- gpt-oss-120b 7 筆失敗：金鑰權限不足
- 其餘模型失敗數均為 0 或 1
## 認證服務
- API 金鑰總數：423（較昨日 +1）
- Redis 快取：220 筆
## 系統變動摘要
- 無 LiteLLM 或 vLLM 設定變更
- LiteLLM 閘道自 6/22 起穩定運行（6 天）
- 所有節點 SSH 連線正常，LLM 容器均正常運作
*THU LLM API 平台 · 管理助手 YUI · 2026-06-28*