模型詳情
Gemma-4-31B-QAT
Gemma-4-31B QAT w4a16 量化版本，支援 Function Calling 與 Vision，262K 上下文，單 GPU 高效率推理
API 使用方式
使用 model ID：
coderGemma-4-31B QAT w4a16 量化版本，支援 Function Calling 與 Vision，262K 上下文，單 GPU 高效率推理
coder| 模型 ID | coder |
|---|---|
| 模型名稱 | Gemma-4-31B-QAT |
| 說明 | Gemma-4-31B QAT w4a16 量化版本，支援 Function Calling 與 Vision，262K 上下文，單 GPU 高效率推理 |
| 相關連結 | https://huggingface.co/google/gemma-4-31b-it |
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.ithu.tw/v1",
)
response = client.chat.completions.create(
model="coder",
messages=[
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello!"}
]
)
print(response.choices[0].message.content)