NVIDIA 旗艦級 MoE 推理模型，550B 總參數、55B 活躍參數（A55B），採用 NVFP4 量化在保持高品質的同時最大化吞吐量。512 個專家中選路 64 個活躍專家，支援 262K 超長上下文，適合高品質推理、長文件處理、RAG 檢索增強、複雜指令遵循與高併發場景。規格：550B MoE（A55B）、NVFP4 量化、262144 上下文、Prefix Caching、Function Calling、4x B200 GPU。Day-0 支援。
nemotron-3-ultra| 模型 ID | nemotron-3-ultra |
|---|---|
| 模型名稱 | Nemotron 3 Ultra 550B |
| 說明 | NVIDIA 旗艦級 MoE 推理模型，550B 總參數、55B 活躍參數（A55B），採用 NVFP4 量化在保持高品質的同時最大化吞吐量。512 個專家中選路 64 個活躍專家，支援 262K 超長上下文，適合高品質推理、長文件處理、RAG 檢索增強、複雜指令遵循與高併發場景。規格：550B MoE（A55B）、NVFP4 量化、262144 上下文、Prefix Caching、Function Calling、4x B200 GPU。Day-0 支援。 |
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.ithu.tw/v1",
)
response = client.chat.completions.create(
model="nemotron-3-ultra",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"}
]
)
print(response.choices[0].message.content)