NVIDIA 發布的 Llama-4 Scout 多模態推理模型，17B 活躍專家、16 專家路由、256K 超長上下文。支援文字與圖像理解，適合長文件分析、多輪對話、Agent 規劃與跨文件推理。 規格：FP8 量化、256K 上下文、16 專家路由、Instruct-tuned。
llama4scout| Model ID | llama4scout |
|---|---|
| Model Name | Llama-4-Scout-17B-16E-Instruct-FP8 |
| Description | NVIDIA 發布的 Llama-4 Scout 多模態推理模型，17B 活躍專家、16 專家路由、256K 超長上下文。支援文字與圖像理解，適合長文件分析、多輪對話、Agent 規劃與跨文件推理。 規格：FP8 量化、256K 上下文、16 專家路由、Instruct-tuned。 |
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.ithu.tw/v1",
)
response = client.chat.completions.create(
model="llama4scout",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"}
]
)
print(response.choices[0].message.content)