工具介紹
vllm-project/semantic-router
vLLM Semantic Router 為智慧體框架提供統一 API 接入多個模型，並根據你在質量、延遲、成本和位置上的策略，為每次呼叫選擇或組合後端。它面向在本地、私有和雲端算力上執行 LLM 智慧體的團隊，幫助他們統一路由並實施防護。專案使用 Go 編寫，以可安裝的開源專案形式提供，並配有文件和線上演練場。
價格類型開源
評分暫無
收藏數0
標籤
所屬分類
目前還沒有精簡摘要。
FAQ
常見問題
- vllm-project/semantic-router 是什麼？
- vLLM Semantic Router 為智慧體框架提供統一 API 接入多個模型，並根據你在質量、延遲、成本和位置上的策略，為每次呼叫選擇或組合後端。它面向在本地、私有和雲端算力上執行 LLM 智慧體的團隊，幫助他們統一路由並實施防護。專案使用 Go 編寫，以可安裝的開源專案形式提供，並配有文件和線上演練場。
- vllm-project/semantic-router 收費嗎？
- vllm-project/semantic-router 的定價模式是開源，具體方案請以官網為準。
- vllm-project/semantic-router 可以用來做什麼？
- vllm-project/semantic-router 在 TolsAI 上歸入以下分類：開源。
- 在哪裡可以使用 vllm-project/semantic-router？
- 可以在 vllm-project/semantic-router 的官網 github.com 使用。
探索
開源 的更多工具
一個開源智慧體框架，驅動可自我改進的 AI 智慧體，能規劃並執行你描述的任務。
一種無向量、基於推理的 RAG 引擎，將文件索引為樹結構並用 LLM 推理進行檢索。
一個類似 PyTorch 的 Python 庫，用於構建並自動最佳化聊天機器人、RAG 和智慧體等 LLM 工作流。
一個模組化網頁介面，可用 Stable Diffusion、Flux、Wan 等 AI 模型生成影象、影片和音訊。
一份循序漸進的設計指南，講解如何構建基於 LLM、RAG 和 AI 智慧體的 AI 系統。
開源 AI 流水線引擎，可在 IDE 中構建、除錯和部署 LLM 工作流與智慧體編排。
討論
討論
登入後參與討論
目前還沒有留言，來開啟討論吧。