查看最新的服務公告與更新資訊。
模型服務動態 vibecode 負載平衡架構調整 vibecode 原先採用 node219 雙實例負載平衡（埠 8006 + 8007），今日第二實例（gemma-4-31B-qat-7）容器已停止運行。LiteLLM 路由已重新配置，第二後端改為 node211 的 Ornith-1.0-35B…
模型服務動態 今日無新模型部署或變更。各核心模型服務穩定運行： - Nemotron-3-Ultra（1M 上下文）：穩定運行 7 天，prefix caching + MTP 推測解碼正常 - vibecode / coder（Gemma-4-31B-QAT）：雙實例負載平衡，262K 上下文，運…
模型服務動態 今日無新模型部署或變更，各模型服務維持穩定運行： - Nemotron-3-Ultra（1M 上下文）— 穩定運行中（已連續 6 天） - Ornith-1.0-35B — 穩定運行中（已連續 11 天） - Mistral Small 4（gpt-oss-120b）— 穩定運行中（已…
模型服務動態 今日無新模型部署或變更，各模型服務維持穩定運行： - Nemotron-3-Ultra（1M 上下文）— 穩定運行中（已連續 5 天） - Ornith-1.0-35B — 穩定運行中（已連續 10 天） - Mistral Small 4 — 穩定運行中（已連續 3 週） - Dif…
服務健康狀態 過去 24 小時系統整體運作穩定，無服務端異常事件。 LiteLLM 閘道：今日 18:01 進行一次重啟，修復 master key 資料庫記錄遺失問題（Prisma 遷移時清除紀錄，已重建）。重啟後服務恢復正常，liveness 檢查通過。 線上模型：共 23 個模型可透過 /v1…
服務健康狀態 過去 24 小時系統整體運作穩定，無服務端異常事件。 LiteLLM 路由健康檢查：17 個健康端點、7 個異常端點。 異常端點說明（均為已知狀態，非新異常）： - Nemotron-3-Super-120B（node214:8302）— 容器已退役 - Gemma-4-E4B（nod…
服務健康狀態 過去 24 小時系統整體運作穩定。 LiteLLM 路由健康檢查：17 個健康端點、7 個異常端點。 異常端點說明： - Nemotron-3-Super-120B（node214:8302）— 容器已退役，非新異常 - Gemma-4-E4B（node211:8002）— 容器已退出…
模型服務動態 - Ornith-1.0-35B 穩定運行：node211 上持續服務逾 6 天，LiteLLM 健康檢查正常。 - Nemotron-3-Ultra 恢復穩定：經昨日 EngineCore 崩潰修復後，node213 上已持續運行 34 小時，1M 上下文、MTP 推測解碼功能正常。…
模型服務動態 - Nemotron-3-Ultra 於今日上午 08:18 自動重啟：node213 上的 Nemotron-3-Ultra 容器因處理含有圖片的非視覺模型請求（用戶端問題）觸發 ASGI 例外後自動恢復，目前服務正常運行中。重啟期間透過 LiteLLM fallback 機制維持服…
事件摘要 Nemotron-3-Ultra 550B (vibe) 於今日凌晨發生 EngineCore fatal error 崩潰，所有 TP rank 同時被殺，服務中斷。經過根因分析與手動 patch 修復後已恢復正常運行。 ## 影響範圍 - 受影響模型：Nemotron-3-Ultra …
每日服務摘要 2026-07-06 ### 服務健康狀態 | 項目 | 狀態 | |------|------| | LiteLLM 閘道 | 運行中（已穩定運行 3 天） | | Hermes 管理閘道 | 運行中 | | vLLM 節點 | node211/213/214/219 全部正常 | …
服務健康狀態 今日平台整體運行穩定，LiteLLM 閘道已持續運行 2 天。 - 健康端點：17 個 - 異常端點：7 個（均為已知狀態，非新發生） - API 金鑰數：443 組 - Redis 快取：492 鍵值 ### 異常端點說明 | 端點 | 狀態 | 說明 | |------|-----…
模型服務動態 今日系統運行穩定，無新增模型部署或重大變更。 - Ornith-1.0-35B（H100 #1）持續穩定運行，已上線 42 小時 - Nemotron-3-Ultra（B200 #1）持續服務，1M 上下文窗口正常 - Mistral-Small-4（H100 #2）穩定運行中 - D…
模型服務動態 - Ornith-1.0-35B：H100 #1:8001 已恢復服務，vLLM 確認 Ornith-1.0-35B 正常，maxmodellen=262144。LiteLLM 路由已配置（ornith-35b），健康檢查通過。 - LiteLLM 重啟：閘道於 2026-07-02 …
新模型 Ornith-1.0-35B 已上線，35B MoE 架構（3B 活躍參數），FP8 量化，支援 262K 上下文、Function Calling 與 Parallel Function Calling。 模型在 THU Benchmark v3 中達到 79.0% 整體準確度（500 題…
模型服務動態 本日無新模型部署或設定變更。所有主要服務模型持續穩定運行。 ## 服務健康狀態 在線模型（16 端點正常）：vibecode（Gemma-4-31B-QAT，雙實例負載平衡）、coder、nemotron-3-ultra（1M context）、mistral-small-4、diff…
模型服務動態 - Ornith-1.0-35B 容器停止：H100 #1 上的 ornith-35b 容器已停止運行（Exited，06-29 12:52）。該模型尚未納入 LiteLLM 路由，不影響使用者服務。 - krea-2-turbo 容器異常：H100 #1 上的 krea-2-turb…
模型服務動態 ### 新增模型 - Ornith-1.0-35B（FP8）已部署於 H100 #1:8001，支援推理與工具呼叫，262K 上下文。目前尚未加入 LiteLLM 路由，待驗證後正式上線。 ### 服務狀態提醒 - vibegemmasmall 路由異常：此模型名稱指向 H100 #1…
模型服務動態 Ornith-1.0-35B 運行中（尚未加入路由） H100 #1:8001 之 Ornith-1.0-35B 容器穩定運行（Up 44 小時），支援推理模式與工具呼叫，262K 上下文。目前尚未加入 LiteLLM 路由，待完成基準測試後上線。 krea-2-turbo 仍在崩潰循…
模型服務動態 ### 運行中模型（16 端點健康） - Gemma-4-31B-QAT（vibecode/coder）：雙實例負載均衡，L40S #1:8006 + 8007 - Nemotron-3-Ultra 550B：B200 #1:8310，1M 上下文，穩定運行 - DiffusionGe…
模型服務動態 - Step-3.7-Flash-NVFP4（H100 #1:8003）已停止運行：容器於今日約 11:00 停止（Exit 0），NVFP4 量化格式在 H100 上無硬體加速支援，吞吐量表現不佳，已移除服務。 - Krea-2-Turbo（H100 #1:8002）測試中：sgla…
模型服務動態 - 無新模型上線或變動。 - Step-3.7-Flash（H100 #1:8003）及 Qwopus3.6-Coder（H100 #2:8304）持續測試中，尚未加入正式路由。 ## 服務健康狀態 16 個端點健康運作，4 個端點回報異常（均為已知狀態，非新事件）： | 端點 | 狀…
模型服務動態 - 無新模型上線或變動。 - Step-3.7-Flash（H100 #1:8003）及 Qwopus3.6-Coder（H100 #2:8304）持續測試中，尚未加入正式路由。 ## 服務健康狀態 16 個端點健康運作，4 個端點回報異常（均為已知狀態，非新事件）： | 端點 | 狀…
模型服務動態 - Coding Plan 上線：暑期 Coding Plan 正式開放，RPM 1,200 / TPM 20M，為預設方案的兩倍。校內用戶登入 Dashboard 即可升級，60 天到期自動回到預設方案（RPM 600 / TPM 10M）。 - 無新模型上線或變動。 ## 服務健康…
暑假期間開放 Coding Plan，RPM 1,200、TPM 20,000,000，為預設方案的兩倍。期限 60 天，到期後自動回到預設方案（RPM 600 / TPM 10M），金鑰不需重新申請。 這個方案主要服務批次處理、程式碼生成、以及搭配 IDE 或 agent 工具的高併發場景。預設方…
模型服務動態 API 速率限制調整上線：今日已將全平台 API 金鑰的預設速率限制從 RPM 60 / TPM 1,000,000 調整為 RPM 600 / TPM 10,000,000，所有既有金鑰已同步更新，無需重新申請。此次調整解決了批次研究用戶及大上下文場景（如 vibe 1M 上下文）頻…
API 速率限制調整 為提升服務體驗，特別是針對研究批次處理及大上下文場景，我們已調整 API 金鑰的預設速率限制。 ### 調整內容 | 項目 | 調整前 | 調整後 | |------|--------|--------| | RPM（每分鐘請求數） | 60 | 600 | | TPM（每分鐘…
模型服務動態 vibe 模型 1M 上下文已穩定運行：Nemotron-3-Ultra 550B（vibe）自昨日升級至 1,048,576（1M）上下文後，今日持續穩定服務。LiteLLM 路由配置 context_window 已同步更新為 1,048,576，確保 API 使用者可正確取得上下…
========================================================== Nemotron-3-Ultra 550B NVFP4 — 1M Context 完整測試報告 B200 #1 Port 8310 | TP=4 | max-model-len=1,…
vibe 模型升級公告 Nemotron-3-Ultra 550B 已升級至 1M (1,048,576) 上下文 vibe 模型（Nemotron-3-Ultra 550B NVFP4）已於 2026-06-22 升級至 1,048,576 tokens（1M）超長上下文窗口。本次升級在 B200…
模型服務動態 測試中模型（未納入公開路由）： - Step-3.7-Flash-NVFP4（H100 #1:8003）- 運行穩定 5 天，262K 上下文 - Qwopus3.6-27B-Coder（H100 #2:8304）- llama.cpp 部署，運行 3 天 - FLUX.2-klein…
模型服務動態 測試中模型（未納入 LiteLLM 公開路由）： - Step-3.7-Flash-NVFP4（H100 #1:8003）— stepfun-ai/Step-3.7-Flash-NVFP4，262K 上下文，運行穩定 3 天，尚未加入路由 - Qwopus3.6-27B-Coder（H…
模型服務動態 - Step-3.7-Flash-NVFP4 (step3p7-flash)：H100 #1:8003 運行中，262K context，目前仍在測試階段，尚未加入 LiteLLM 公開路由 - Qwopus3.6-27B-Coder：H100 #2:8304 新發現運行中的容器（ll…
模型服務動態 - Step-3.7-Flash (NVFP4) 測試中 — H100 #1:8003 持續測試運行（已 43 小時），具備推理能力（reasoning 欄位），262K 上下文。尚未納入 LiteLLM 公開路由 - 所有正式模型穩定運行 — 16 個健康端點維持正常，無新部署或重啟…
模型服務動態 - Step-3.7-Flash (NVFP4) 測試部署 — H100 #1 新增 step37-flash-nvfp4 容器（port 8003，262K ctx），尚未納入 LiteLLM 路由，目前為測試階段 - DiffusionGemma-26B 遷移確認 — 已確認運行於…
模型服務動態 今日無新模型部署或變更。所有核心推理模型運行穩定。 ## 服務健康狀態 健康模型（17 端點） | 模型名稱 | 後端節點 | 狀態 | |---|---|---| | Nemotron-3-Ultra 550B | B200 #1:8310 | ✅ 運行中 | | Nemotron-…
模型服務狀態 ### 運行中模型（17 端點健康） | 模型名稱 | 後端節點 | 備註 | |---------|---------|------| | vibecode / coder | L40S #1:8006/8007 | Gemma-4-31B-QAT，雙實例負載均衡 | | nemot…
模型服務動態 ### Nemotron-3-Ultra 550B 恢復服務 Nemotron-3-Ultra 容器於今日上午自動偵測到已停止（Exited 狀態），已重新啟動並完成模型載入。服務已恢復正常，支援 262K 上下文視窗、Prefix Caching 及 MTP 推測解碼。 > 已同步更…
模型概覽 巴西里約熱內盧市政府旗下 IplanRIO 於 2026 年 6 月 13 日釋出 Rio-3.5-Open-397B，這是一個基於 Qwen 3.5 397B 進行 post-training 的開源模型，MIT 授權，完全開放商業與研究使用。 ### 核心規格 | 項目 | 規格 | …
服務健康狀態 全平台服務穩定運作，無新模型部署。 ### 正常運作（17 端點） | 模型 | 狀態 | |---|---| | vibecode (Gemma-4-31B-QAT, 負載均衡) | OK | | coder (Gemma-4-31B-QAT) | OK | | nemotron-3…
服務健康狀態 全平台服務穩定運作，無新模型部署或路由變更。 ### 正常運作（17 端點） | 模型 | 狀態 | |---|---| | vibecode (Gemma-4-31B-QAT, 負載均衡) | ✅ | | coder (Gemma-4-31B-QAT) | ✅ | | nemotro…
模型服務動態 ### 新增模型 - DiffusionGemma-26B 已部署上線（H100 #1:8002） - Google DiffusionGemma-26B-A4B-it，FP8 量化，262K 上下文 - 支援 Function Calling、並行工具呼叫 - 取代原 H100 #1…
DiffusionGemma-26B 正式上線 Google DiffusionGemma-26B-A4B-it 是全球首款採用擴散（Diffusion）架構的語言模型，有別於傳統自回歸生成，透過迭代去噪在潛在空間中逐步精煉文字，以極少步數完成生成，達到前所未有的吞吐量。 ### 模型特色 - 擴散…
模型簡介 Google DiffusionGemma-26B-A4B-it 是首款採用擴散（Diffusion）架構的語言模型，有別於傳統自回歸（Autoregressive）生成方式，透過迭代去噪在潛在空間中逐步生成文字。此架構理論上能在極少步數內完成生成，大幅提升吞吐量。 部署規格： - 模型：…
服務健康狀態 健康模型（15 端點）：vibecode、coder、vibe（Nemotron-3-Super）、nemotron-3-ultra、mistral-small-4、mistral-medium-35、llama4scout、azure-eu1-gpt-5、bge-m3-embeddi…
模型服務動態 今日無新增或移除模型，全平台模型列表與昨日相同。 ## 服務健康狀態 ### 正常服務（15 項） | 模型名稱 | 後端節點 | 備註 | |---|---|---| | vibecode | L40S #1:8006 + 8007 | Gemma-4-31B-QAT，負載均衡雙實例…
模型服務動態 ### vibecode 負載均衡啟用 vibecode (Gemma-4-31B-QAT) 新增第二個後端實例（port 8007），LiteLLM 路由已配置負載均衡，目前由 port 8006 及 8007 兩個 QAT 實例同時提供服務，可提升並行處理能力。 ### Gemma…
模型服務動態 ### vibecode / coder 路由修復 L40S #1:8006 後端模型已由 Gemma-4-31B-IT-NVFP4 更換為 Gemma-4-31B-QAT（w4a16 壓縮張量量化）。LiteLLM 路由配置已同步更新，vibecode 與 coder 服務已恢復正常…
服務健康狀態 正常運作模型（12 端點）： | 模型 | 狀態 | |------|------| | Nemotron-3-Ultra 550B | ✅ 正常 | | Nemotron-3-Super 120B | ✅ 正常 | | Mistral Small 4 (119B) | ✅ 正常 | …
今日技術工作 ### 新服務上線 - FunASR 語音辨識服務：部署於 A16 Embedding（GPU#3），提供 OpenAI 相容 API，支援中文語音轉文字（SenseVoice、Paraformer）及說話人辨識。中文場景建議優先使用 FunASR，與既有 WhisperX 服務（po…
Google Gemma-4-12B-it 多模態模型正式上線，採用 FP8 線上量化部署於單張 L40S GPU，支援 128K 上下文長度、視覺理解與 Function Calling。 效能基準測試結果： - 單用戶吞吐：41.9 tok/s（FP8）vs 28.5 tok/s（BF16），提…
問題說明 今日 23:55~00:25 期間，請求 nemotron-3-ultra 模型時，系統實際路由至 nemotron-3-super 後端，導致使用者收到錯誤模型的回應。此問題已於 00:25 修復。 ## 影響範圍 - 影響期間：2026/06/05 23:55 ~ 06/06 00:2…
Nemotron-3-Ultra 550B 的上下文視窗已從 65,536 tokens 大幅提升至 262,144 tokens（262K），與 Nemotron-3-Super 並列平台最長上下文。 ## 升級效益 - 長文件處理：可一次容納完整論文、技術規格書或大型程式碼庫 - RAG 檢索增…
NVIDIA 近日接連推出 Nemotron-3-Super（120B）與 Nemotron-3-Ultra（550B）兩款 MoE 模型，我們在 Day-0 完成部署後進行了系統化效能基準測試。Ultra 已從初始 65K 上下文升級至 262K，以下為最新比較結果。 ## 模型規格比較 | | …
NVIDIA 於 2026/6/5 發布 Nemotron 3 Ultra 550B（NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4），我們在發布後 20 小時內即完成部署與上線（Day-0 支援）。 模型特性： - 550B MoE 架構，A55B 活躍參數（NVF…
Mistral Medium 3.5 (128B) 已結束 Beta 測試階段，正式上線提供服務。此模型自 2026 年 4 月 30 日起開始 Beta 測試，經過一個月的穩定性驗證，現已達到生產環境標準。模型規格：參數量 128B（Dense 架構）、量化 NVFP4、上下文 262K toke…
Mistral Small 4 (119B) 已啟用 Prefix Caching，重複前綴的請求將自動命中 KV Cache 快取，顯著降低延遲與計算開銷。模型自 2026 年 3 月起即在平台提供服務，此次為效能優化更新。模型規格：參數量 119B（MoE 架構）、量化 NVFP4、上下文 26…
模型服務動態 ### 新增模型 - GPT-5 (Azure EU) — 透過 Azure OpenAI 歐洲區域提供 GPT-5 推理服務，已加入平台模型列表 ### 模型路由調整 - vibecode — 後端由 B200 #1:8014 調整為 L40S #1:8006 (Gemma-4-31…
模型服務狀態 ### 運行中（10 端點健康） | 模型名稱 | 類型 | 備註 | |---|---|---| | GPT-5 (Azure) | 對話 | Azure EU1 部署，穩定運行 | | Nemotron-3-Super-120B (vibe) | 對話 | B200 #1 雙端點 …
服務健康狀態 整體狀態：正常運作 - 健康端點：10 個 - 離線端點：8 個（其中 5 個為已下線或未部署的模型，1 個為 BGE-M3 嵌入服務的健康探針格式不相容） - API 金鑰總數：336 組（Redis 快取 174 筆） - LiteLLM 間道：正常運作（已持續 5 天） - Wh…
服務健康狀態 整體狀態：正常運作 - 健康端點：10 個 - 離線端點：8 個（其中 5 個為已下線或未部署的模型，1 個為 BGE-M3 嵌入服務的健康探針格式不相容） - API 金鑰總數：326 組（Redis 快取 288 筆） - LiteLLM 閘道：正常運作（已持續 4 天） - Wh…
服務健康狀態 整體狀態：正常運作 - 健康端點：13 個 - 離線端點：4 個 - API 金鑰總數：324 組（Redis 快取 21,344 筆） - LiteLLM 閘道：正常運作（已持續 3 天） - Whisper 語音辨識服務：正常（medium / large-v3 模型已載入） ##…
服務健康狀態 整體狀態：正常運作 - 健康端點：13 個 - 離線端點：5 個 - API 金鑰總數：320 組（Redis 快取 130 筆） - LiteLLM 閘道：正常運作 - Whisper 語音辨識服務：正常（medium / large-v3 模型已載入） ### 線上服務模型 | 模…
各位使用者您好， 以下為今日的系統維護與服務狀態摘要： ### 🚀 模型服務動態 新上線模型： ### 📊 服務健康狀態 正常運作（13 個端點）： - azure-eu1-gpt-5（Azure OpenAI） - vibecode（Gemma-4-31B-IT，262K 上下文） - vibe（…
新增模型：embeddinggemma-300m 透過 THU LLM API 現在支援兩種嵌入向量模型： | 模型 | 維度 | VRAM | 速度 | API 名稱 | |------|------|------|------|----------| | bge-m3-embedding | 1…
各位使用者您好， 以下為今日的系統維護與服務狀態摘要： ### 🚀 技術優化與部署 - Vibecode (Gemma-4-31B MTP) 效能調優：目前已成功部署基於 B200 的 MTP 推理加速，最高吞吐量提升至 1,238 tok/s，並支持最高 262K 的上下文窗口。 - 語音識別服務…
各位使用者您好，以下是今日系統更新與維護摘要： ### 技術工作完成 - 認證系統修復：成功恢復 198 筆 API 金鑰，並完成 SHA256 雜湊校驗，確保所有授權金鑰正常運作。 - ASR 服務優化：Whisper-large-v3 模型已完成部署並恢復服務，提供更高品質的語音轉文字體驗。 -…
系統狀態摘要 ### 閘道服務 ✅ LiteLLM 統一閘道服務運行正常，/health 端點回應正常。 ### 模型服務（15 個模型上線） | 模型 | 節點 | 說明 | |------|------|------| | gpt-oss-120b | B200 #1 | GPT-OSS 120…
更新內容 vibecode 模型已完成硬體與設定優化，上下文窗口從 32K 大幅提升至 262,144 tokens（256K 等效），單卡 B200 即可支援。 ## 實測結果 在 B200 #1 B200 GPU 上進行不同並發階測試，結果如下： | 並發數 | 吞吐量（tokens/s） | …
模型簡介 vibecode 是 THU LLM API 平台上的程式開發專用模型，現已升級為 Gemma-4-31B-assistant (MTP) 版本，採用 Multi-Token Prediction 推理加速技術，在 B200 GPU 上提供約 2.1 倍的吞吐量提升。 規格：31B 參數、…
測試背景 Gemma-4-31B-assistant 採用 Multi-Token Prediction（MTP） speculation decoding 技術，理論上可一次預測多個 token，取代傳統的自迴歸單 token 預測。本報告在相同的 B200 GPU 硬體環境下，完整對比 MTP …
BGE-M3 Reranker 已完成修復，現在可透過 Litellm Gateway 統一呼叫。 【使用教學】 1. Embedding（生成向量） curl -X POST http://localhost:4000/v1/embeddings \ -H "Authorization: Bear…
NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-FP8 已加入我們的模型陣容。 模型規格： - 參數量：30B - 量化：FP8 - Context：32K - 部署：TP=2 適合高效推理任務，歡迎使用！
關於 2026/05/07 LiteLLM VerificationToken 資料表誤刪事件 ■ 事故說明 今日進行資料庫維護時，LiteLLM_VerificationToken 資料表內 198 筆 API 金鑰記錄因操作失誤遭刪除。 ■ 根因 VerificationToken 表的 tok…
whisper-large-v3 模型已重新加入 Litellm 路由，可正常透過 API 使用。 使用方式： POST /v1/audio/transcriptions model: whisper-large-v3 如有任何問題請聯繫管理員。
Mistral 3.5 Medium 測試中 mistral/mistral-3.5-medium is in coder model now. between 2026.04.30 ~ 2026.05.07 we managed to a zero-day implementation of mi…
Trinity testing period is due. we have replaced the 'coder' model back to gemma-4-31B. you don't need to modify your current setting, we will automati…
[測試模型] coder模型自 2026/04/20 ~ 2026/04/26 間，測試使用 Trinity-Large-Thinking 此模型目前於 pinchbench 排行第二。 這是一個 399B 模型。 官方網址 https://www.arcee.ai/blog/trinity-lar…