工具介紹
openvinotoolkit/model_server
OpenVINO Model Server 是一個生產級 C++ 推理伺服器，透過標準網路 API 對外提供機器學習模型，既包含面向大語言模型、嵌入、影象生成和音訊的 OpenAI 相容 API，也包含用於經典模型的 KServe API。它面向在 Intel CPU、GPU 和 NPU 硬體上部署生成式 AI、智慧體及經典深度學習工作負載的團隊，可透過 Docker、裸機、Kubernetes 或 Windows 執行。該專案由 OpenVINO 工具包以開源形式提供。
價格類型開源
評分暫無
收藏數0
標籤
所屬分類
目前還沒有精簡摘要。
FAQ
常見問題
- openvinotoolkit/model_server 是什麼？
- OpenVINO Model Server 是一個生產級 C++ 推理伺服器，透過標準網路 API 對外提供機器學習模型，既包含面向大語言模型、嵌入、影象生成和音訊的 OpenAI 相容 API，也包含用於經典模型的 KServe API。它面向在 Intel CPU、GPU 和 NPU 硬體上部署生成式 AI、智慧體及經典深度學習工作負載的團隊，可透過 Docker、裸機、Kubernetes 或 Windows 執行。該專案由 OpenVINO 工具包以開源形式提供。
- openvinotoolkit/model_server 收費嗎？
- openvinotoolkit/model_server 的定價模式是開源，具體方案請以官網為準。
- openvinotoolkit/model_server 可以用來做什麼？
- openvinotoolkit/model_server 在 TolsAI 上歸入以下分類：開源。
- 在哪裡可以使用 openvinotoolkit/model_server？
- 可以在 openvinotoolkit/model_server 的官網 github.com 使用。
探索
開源 的更多工具
一個開源智慧體框架，驅動可自我改進的 AI 智慧體，能規劃並執行你描述的任務。
一種無向量、基於推理的 RAG 引擎，將文件索引為樹結構並用 LLM 推理進行檢索。
一個類似 PyTorch 的 Python 庫，用於構建並自動最佳化聊天機器人、RAG 和智慧體等 LLM 工作流。
一個模組化網頁介面，可用 Stable Diffusion、Flux、Wan 等 AI 模型生成影象、影片和音訊。
一份循序漸進的設計指南，講解如何構建基於 LLM、RAG 和 AI 智慧體的 AI 系統。
開源 AI 流水線引擎，可在 IDE 中構建、除錯和部署 LLM 工作流與智慧體編排。
討論
討論
登入後參與討論
目前還沒有留言，來開啟討論吧。