주요 기능
openvinotoolkit/model_server
OpenVINO Model Server는 표준 네트워크 API를 통해 ML 모델을 노출하는 프로덕션급 C++ 추론 서버로, LLM, 임베딩, 이미지 생성 및 오디오를 위한 OpenAI 호환 API와 클래식 모델을 위한 KServe API를 포함합니다. 이는 Intel CPU, GPU 및 NPU 하드웨어에서 생성형 AI, 에이전틱 및 클래식 딥러닝 워크로드를 배포하는 팀을 대상으로 하며, Docker, 베어 메탈, Kubernetes 또는 Windows를 통해 실행됩니다. OpenVINO 툴킷에서 오픈 소스로 제공됩니다.
가격오픈소스
평점N/A
북마크0
태그
카테고리
아직 요약이 추가되지 않았습니다.
FAQ
자주 묻는 질문
- openvinotoolkit/model_server란 무엇인가요?
- OpenVINO Model Server는 표준 네트워크 API를 통해 ML 모델을 노출하는 프로덕션급 C++ 추론 서버로, LLM, 임베딩, 이미지 생성 및 오디오를 위한 OpenAI 호환 API와 클래식 모델을 위한 KServe API를 포함합니다. 이는 Intel CPU, GPU 및 NPU 하드웨어에서 생성형 AI, 에이전틱 및 클래식 딥러닝 워크로드를 배포하는 팀을 대상으로 하며, Docker, 베어 메탈, Kubernetes 또는 Windows를 통해 실행됩니다. OpenVINO 툴킷에서 오픈 소스로 제공됩니다.
- openvinotoolkit/model_server의 가격은 어떻게 되나요?
- openvinotoolkit/model_server의 가격 모델은 '오픈소스'입니다. 최신 요금제는 공식 웹사이트에서 확인하세요.
- openvinotoolkit/model_server는 어디에 사용하나요?
- openvinotoolkit/model_server는 TolsAI에서 다음 카테고리에 등록되어 있습니다: 오픈 소스.
- openvinotoolkit/model_server는 어디에서 사용할 수 있나요?
- openvinotoolkit/model_server는 공식 웹사이트 github.com에서 사용할 수 있습니다.
탐색
오픈 소스 더 보기
사용자가 설명하는 작업을 계획하고 실행하는 자기 개선 AI 에이전트를 위한 오픈소스 에이전틱 하네스입니다.
문서를 트리로 인덱싱하고 LLM 추론으로 검색하는 벡터리스 추론 기반 RAG 엔진입니다.
챗봇, RAG, 에이전트와 같은 LLM 워크플로를 구축하고 자동 최적화하는 PyTorch와 유사한 Python 라이브러리입니다.
Stable Diffusion, Flux, Wan과 같은 AI 모델로 이미지, 비디오, 오디오를 생성하기 위한 모듈형 웹 UI입니다.
LLM, RAG 및 AI 에이전트를 기반으로 구축된 AI 시스템을 설계하기 위한 단계별 가이드입니다.
IDE에서 LLM 워크플로와 에이전트 오케스트레이션을 구축, 디버깅, 배포하기 위한 오픈소스 AI 파이프라인 엔진입니다.
토론
토론
로그인하고 토론에 참여하기
아직 댓글이 없습니다. 첫 댓글을 남겨보세요.