Ornith-1.0-35B MoE 推理模型，35B 總參數、3B 活躍參數（A3B），採用 FP8 量化。支援 262K 上下文、Function Calling 與 Parallel Function Calling，適合對話、指令遵循與 Agent 工具呼叫場景。單 GPU 高效率推理，吞吐量約 200 tok/s。運行於 H100 #1 1x H100 NVL。 規格：35B MoE（A3B）、FP8 量化、262K 上下文、Function Calling、Parallel Function Calling、Prefix Caching。
ornith-35b| 模型 ID | ornith-35b |
|---|---|
| 模型名稱 | Ornith-1.0-35B |
| 說明 | Ornith-1.0-35B MoE 推理模型，35B 總參數、3B 活躍參數（A3B），採用 FP8 量化。支援 262K 上下文、Function Calling 與 Parallel Function Calling，適合對話、指令遵循與 Agent 工具呼叫場景。單 GPU 高效率推理，吞吐量約 200 tok/s。運行於 H100 #1 1x H100 NVL。 規格：35B MoE（A3B）、FP8 量化、262K 上下文、Function Calling、Parallel Function Calling、Prefix Caching。 |
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.ithu.tw/v1",
)
response = client.chat.completions.create(
model="ornith-35b",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"}
]
)
print(response.choices[0].message.content)