BGE-M3 Reranker 已完成修復,現在可透過 Litellm Gateway 統一呼叫。
【使用教學】
1. Embedding(生成向量)
curl -X POST http://localhost:4000/v1/embeddings \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"model\": \"bge-m3-embedding\", \"input\": \"你的文字內容\"}"
2. Rerank(排序相關文件)
curl -X POST http://localhost:4000/v1/rerank \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d "{\"model\": \"bge-m3-reranker\", \"query\": \"查詢問題\", \"documents\": [\"文件1\", \"文件2\", \"文件3\"], \"top_n\": 3}"
3. 常見流程
Embedding → 語意搜尋 → Rerank 重新排序 → 回傳最相關結果。
【技術說明】
Litellm 對 rerank 有格式限制,BGE-Reranker 採用 Flask Proxy 轉接,已解決欄位與回應格式不相容的問題。