Fiche outil
openvinotoolkit/model_server
github.com
Un serveur d'inférence C++ évolutif pour servir des modèles d'IA générative et d'apprentissage profond classique optimisés avec OpenVINO.
Ce qu'il fait
openvinotoolkit/model_server
OpenVINO Model Server est un serveur d'inférence C++ de qualité production qui expose des modèles ML via des API réseau standard, incluant une API compatible OpenAI pour les LLMs, les embeddings, la génération d'images et l'audio, ainsi que des API KServe pour les modèles classiques. Il est destiné aux équipes déployant des charges de travail d'IA générative, agentique et de deep learning classique sur du matériel Intel CPU, GPU et NPU, fonctionnant via Docker, bare metal, Kubernetes ou Windows. Il est proposé en open source depuis la boîte à outils OpenVINO.
Tags
Catégories
Aucun résumé n'a encore été ajouté.
FAQ
Questions fréquentes
- Qu’est-ce que openvinotoolkit/model_server ?
- OpenVINO Model Server est un serveur d'inférence C++ de qualité production qui expose des modèles ML via des API réseau standard, incluant une API compatible OpenAI pour les LLMs, les embeddings, la génération d'images et l'audio, ainsi que des API KServe pour les modèles classiques. Il est destiné aux équipes déployant des charges de travail d'IA générative, agentique et de deep learning classique sur du matériel Intel CPU, GPU et NPU, fonctionnant via Docker, bare metal, Kubernetes ou Windows. Il est proposé en open source depuis la boîte à outils OpenVINO.
- Combien coûte openvinotoolkit/model_server ?
- openvinotoolkit/model_server applique un modèle tarifaire : Open source. Consultez le site officiel pour les offres actuelles.
- À quoi sert openvinotoolkit/model_server ?
- openvinotoolkit/model_server est référencé sur TolsAI dans ces catégories : Open Source.
- Où utiliser openvinotoolkit/model_server ?
- openvinotoolkit/model_server est disponible sur son site officiel, github.com.
Explorer
Plus dans Open Source
Un harnais agentique open source pour un agent IA auto-améliorant qui planifie et exécute les tâches que vous décrivez.
Un moteur RAG sans vecteurs, basé sur le raisonnement, qui indexe les documents sous forme d'arbres et effectue la récupération avec le raisonnement d'un LLM.
Une bibliothèque Python de type PyTorch pour construire et auto-optimiser des workflows LLM tels que les chatbots, le RAG et les agents.
Une interface web modulaire pour générer des images, des vidéos et de l'audio avec des modèles d'IA comme Stable Diffusion, Flux et Wan.
Un guide étape par étape pour concevoir des systèmes d'IA basés sur les LLM, le RAG et les agents d'IA.
Moteur de pipeline d'IA open source pour créer, déboguer et déployer des workflows LLM et l'orchestration d'agents depuis votre IDE.
Discussion
Discussion
Connectez-vous pour participer à la discussion
Aucun commentaire pour le moment. Lancez la discussion.