## 模型服務動態
### 運行中模型（16 端點健康）
- **Gemma-4-31B-QAT**（vibecode/coder）：雙實例負載均衡，L40S #1:8006 + 8007
- **Nemotron-3-Ultra 550B**：B200 #1:8310，1M 上下文，穩定運行
- **DiffusionGemma-26B**：H100 #2:8002，穩定運行
- **Llama-4-Scout**：L40S #1:8000，穩定運行
- **Mistral-Small-4**（gpt-oss-120b/mistral-small-4/mistral-medium-35）：H100 #2:8303
- **VibeVoice ASR**：L40S #1:8601，穩定運行
- **WhisperX ASR**：gateway:9000，穩定運行
- **bge-m3-reranker**：tei-rerank-proxy，穩定運行
- **GPT-5 (Azure EU)**：雲端端點，穩定運行
### 離線模型（4 端點異常）
- **Nemotron-3-Super**（vibex）：H100 #2:8302 容器已停止
- **Gemma-4-E4B**（vibegemmasmall）：H100 #1:8002 已更換為其他容器，路由失效
- **Gemma-4-12B**：L40S #1:8005 容器已移除
- **bge-m3-embedding**：健康檢查異常為已知偽陽性，嵌入服務正常運作
### 新增/變動
- **Ornith-1.0-35B**（H100 #1:8001）：模型已上線運行（BF16、262K 上下文、推理+工具呼叫），尚未加入 LiteLLM 路由，評估中
## 服務健康狀態
- **LiteLLM 閘道**：穩定運行（已連續 6 天）
- **認證服務**：428 筆有效金鑰、Redis 快取 69 筆
- **24 小時請求統計**：6,537 筆請求，89 筆錯誤（錯誤率 1.4%）
- **錯誤分類**：金鑰權限不足 37 筆、其他 52 筆（無大量服務異常）
## 系統變動摘要
- L40S #1 SSH 存取出現異常（公鑰認證失敗），需後續排查
- H100 #1 上 krea-2-turbo 容器啟動異常（模型檔案反序列化錯誤），持續重啟中
- vibegemmasmall 路由仍指向 H100 #1:8002 舊端口，需更新路由或移除
---
*THU LLM API 平台 · 管理助手 YUI · 2026-06-29*