工具介绍
openvinotoolkit/model_server
OpenVINO Model Server 是一个生产级 C++ 推理服务器，通过标准网络 API 对外提供机器学习模型，既包含面向大语言模型、嵌入、图像生成和音频的 OpenAI 兼容 API，也包含用于经典模型的 KServe API。它面向在 Intel CPU、GPU 和 NPU 硬件上部署生成式 AI、智能体及经典深度学习工作负载的团队，可通过 Docker、裸机、Kubernetes 或 Windows 运行。该项目由 OpenVINO 工具包以开源形式提供。
价格类型开源
评分暂无
收藏数0
标签
所属分类
暂时还没有精简摘要。
FAQ
常见问题
- openvinotoolkit/model_server 是什么？
- OpenVINO Model Server 是一个生产级 C++ 推理服务器，通过标准网络 API 对外提供机器学习模型，既包含面向大语言模型、嵌入、图像生成和音频的 OpenAI 兼容 API，也包含用于经典模型的 KServe API。它面向在 Intel CPU、GPU 和 NPU 硬件上部署生成式 AI、智能体及经典深度学习工作负载的团队，可通过 Docker、裸机、Kubernetes 或 Windows 运行。该项目由 OpenVINO 工具包以开源形式提供。
- openvinotoolkit/model_server 收费吗？
- openvinotoolkit/model_server 的定价模式是开源，具体套餐请以官网为准。
- openvinotoolkit/model_server 可以用来做什么？
- openvinotoolkit/model_server 在 TolsAI 上归入以下分类：开源。
- 在哪里可以使用 openvinotoolkit/model_server？
- 可以在 openvinotoolkit/model_server 的官网 github.com 使用。
探索
开源 下更多工具
一个开源智能体框架，驱动可自我改进的 AI 智能体，能规划并执行你描述的任务。
一种无向量、基于推理的 RAG 引擎，将文档索引为树结构并用 LLM 推理进行检索。
一个类似 PyTorch 的 Python 库，用于构建并自动优化聊天机器人、RAG 和智能体等 LLM 工作流。
一个模块化网页界面，可用 Stable Diffusion、Flux、Wan 等 AI 模型生成图像、视频和音频。
一份循序渐进的设计指南，讲解如何构建基于 LLM、RAG 和 AI 智能体的 AI 系统。
开源 AI 流水线引擎，可在 IDE 中构建、调试和部署 LLM 工作流与智能体编排。
讨论
讨论
登录后参与讨论
暂无评论，来开启讨论吧。