Perfil de la herramienta
openvinotoolkit/model_server
github.com
Un servidor de inferencia C++ escalable para servir modelos de IA generativa y de aprendizaje profundo clásico optimizados con OpenVINO.
Qué hace
openvinotoolkit/model_server
OpenVINO Model Server es un servidor de inferencia en C++ de nivel de producción que expone modelos de ML a través de APIs de red estándar, incluida una API compatible con OpenAI para LLMs, embeddings, generación de imágenes y audio, además de APIs de KServe para modelos clásicos. Está dirigido a equipos que despliegan cargas de trabajo de IA generativa, agéntica y de aprendizaje profundo clásico en hardware Intel CPU, GPU y NPU, ejecutándose mediante Docker, bare metal, Kubernetes o Windows. Se ofrece como código abierto desde el kit de herramientas OpenVINO.
PreciosCódigo abierto
ValoraciónN/D
Guardados0
Etiquetas
Categorías
Aún no se ha añadido un resumen.
FAQ
Preguntas frecuentes
- ¿Qué es openvinotoolkit/model_server?
- OpenVINO Model Server es un servidor de inferencia en C++ de nivel de producción que expone modelos de ML a través de APIs de red estándar, incluida una API compatible con OpenAI para LLMs, embeddings, generación de imágenes y audio, además de APIs de KServe para modelos clásicos. Está dirigido a equipos que despliegan cargas de trabajo de IA generativa, agéntica y de aprendizaje profundo clásico en hardware Intel CPU, GPU y NPU, ejecutándose mediante Docker, bare metal, Kubernetes o Windows. Se ofrece como código abierto desde el kit de herramientas OpenVINO.
- ¿Cuánto cuesta openvinotoolkit/model_server?
- openvinotoolkit/model_server tiene un modelo de precios: Código abierto. Consulta el sitio oficial para ver los planes actuales.
- ¿Para qué sirve openvinotoolkit/model_server?
- openvinotoolkit/model_server figura en TolsAI en estas categorías: Código abierto.
- ¿Dónde puedo usar openvinotoolkit/model_server?
- openvinotoolkit/model_server está disponible en su sitio oficial, github.com.
Explorar
Más en Código abierto
Un arnés agéntico de código abierto para un agente de IA que se mejora a sí mismo y que planifica y ejecuta las tareas que describes.
Un motor RAG sin vectores, basado en razonamiento, que indexa documentos como árboles y recupera con razonamiento LLM.
Una librería de Python similar a PyTorch para construir y autooptimizar flujos de trabajo de LLM como chatbots, RAG y agentes.
Una interfaz web modular para generar imágenes, video y audio con modelos de IA como Stable Diffusion, Flux y Wan.
Una guía paso a paso para diseñar sistemas de IA basados en LLMs, RAG y agentes de IA.
Motor de canalizaciones de IA de código abierto para crear, depurar y desplegar flujos de trabajo de LLM y orquestación de agentes desde tu IDE.
Conversación
Conversación
Inicia sesión para unirte a la conversación
Aún no hay comentarios. Inicia la conversación.