View the latest service announcements and updates.
更新內容 vibecode 模型已完成硬體與設定優化，上下文窗口從 32K 大幅提升至 262,144 tokens（256K 等效），單卡 B200 即可支援。 ## 實測結果 在 B200 #1 B200 GPU 上進行不同並發階測試，結果如下： | 並發數 | 吞吐量（tokens/s） | …
模型簡介 vibecode 是 THU LLM API 平台上的程式開發專用模型，現已升級為 Gemma-4-31B-assistant (MTP) 版本，採用 Multi-Token Prediction 推理加速技術，在 B200 GPU 上提供約 2.1 倍的吞吐量提升。 規格：31B 參數、…
測試背景 Gemma-4-31B-assistant 採用 Multi-Token Prediction（MTP） speculation decoding 技術，理論上可一次預測多個 token，取代傳統的自迴歸單 token 預測。本報告在相同的 B200 GPU 硬體環境下，完整對比 MTP …
BGE-M3 Reranker 已完成修復，現在可透過 Litellm Gateway 統一呼叫。 【使用教學】 1. Embedding（生成向量） curl -X POST http://localhost:4000/v1/embeddings \ -H "Authorization: Bear…
NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-FP8 已加入我們的模型陣容。 模型規格： - 參數量：30B - 量化：FP8 - Context：32K - 部署：TP=2 適合高效推理任務，歡迎使用！
關於 2026/05/07 LiteLLM VerificationToken 資料表誤刪事件 ■ 事故說明 今日進行資料庫維護時，LiteLLM_VerificationToken 資料表內 198 筆 API 金鑰記錄因操作失誤遭刪除。 ■ 根因 VerificationToken 表的 tok…
whisper-large-v3 模型已重新加入 Litellm 路由，可正常透過 API 使用。 使用方式： POST /v1/audio/transcriptions model: whisper-large-v3 如有任何問題請聯繫管理員。
Mistral 3.5 Medium 測試中 mistral/mistral-3.5-medium is in coder model now. between 2026.04.30 ~ 2026.05.07 we managed to a zero-day implementation of mi…
Trinity testing period is due. we have replaced the 'coder' model back to gemma-4-31B. you don't need to modify your current setting, we will automati…