Perfil da ferramenta
openvinotoolkit/model_server
github.com
Um servidor de inferência C++ escalável para servir modelos de IA generativa e de aprendizado profundo clássico otimizados com OpenVINO.
O que faz
openvinotoolkit/model_server
O OpenVINO Model Server é um servidor de inferência C++ de nível de produção que expõe modelos de ML através de APIs de rede padrão, incluindo uma API compatível com OpenAI para LLMs, embeddings, geração de imagens e áudio, além de APIs KServe para modelos clássicos. Destina-se a equipas que implementam cargas de trabalho de IA generativa, agêntica e de aprendizagem profunda clássica em hardware Intel CPU, GPU e NPU, em execução via Docker, bare metal, Kubernetes ou Windows. É oferecido como open source a partir do OpenVINO toolkit.
PreçoCódigo aberto
AvaliaçãoN/D
Favoritos0
Tags
Categorias
Um resumo ainda não foi adicionado.
FAQ
Perguntas frequentes
- O que é openvinotoolkit/model_server?
- O OpenVINO Model Server é um servidor de inferência C++ de nível de produção que expõe modelos de ML através de APIs de rede padrão, incluindo uma API compatível com OpenAI para LLMs, embeddings, geração de imagens e áudio, além de APIs KServe para modelos clássicos. Destina-se a equipas que implementam cargas de trabalho de IA generativa, agêntica e de aprendizagem profunda clássica em hardware Intel CPU, GPU e NPU, em execução via Docker, bare metal, Kubernetes ou Windows. É oferecido como open source a partir do OpenVINO toolkit.
- Quanto custa openvinotoolkit/model_server?
- openvinotoolkit/model_server usa o modelo de preço: Código aberto. Confira os planos atuais no site oficial.
- Para que serve openvinotoolkit/model_server?
- openvinotoolkit/model_server está listado no TolsAI nestas categorias: Código Aberto.
- Onde posso usar openvinotoolkit/model_server?
- openvinotoolkit/model_server está disponível no site oficial, github.com.
Explorar
Mais em Código Aberto
Um harness agêntico de código aberto para um agente de IA autoaperfeiçoável que planeja e executa tarefas que você descreve.
Um mecanismo de RAG baseado em raciocínio, sem vetores, que indexa documentos como árvores e recupera com raciocínio de LLM.
Uma biblioteca Python semelhante ao PyTorch para construir e otimizar automaticamente fluxos de trabalho de LLM, como chatbots, RAG e agentes.
Uma interface web modular para gerar imagens, vídeo e áudio com modelos de IA como Stable Diffusion, Flux e Wan.
Um guia passo a passo para projetar sistemas de IA construídos sobre LLMs, RAG e agentes de IA.
Mecanismo de pipeline de IA de código aberto para criar, depurar e implantar fluxos de trabalho de LLM e orquestração de agentes a partir da sua IDE.
Discussão
Discussão
Entre para participar da discussão
Nenhum comentário ainda. Comece a discussão.