Hồ sơ công cụ
openvinotoolkit/model_server
github.com
Một máy chủ suy luận C++ có thể mở rộng để phục vụ các mô hình AI tạo sinh và học sâu cổ điển được tối ưu hóa với OpenVINO.
Công dụng
openvinotoolkit/model_server
OpenVINO Model Server là một máy chủ suy luận C++ cấp sản xuất, cung cấp các mô hình ML qua các API mạng tiêu chuẩn, bao gồm API tương thích OpenAI cho LLM, embeddings, tạo hình ảnh và âm thanh, cùng với các API KServe cho các mô hình cổ điển. Nó hướng đến các nhóm triển khai AI tạo sinh, khối lượng công việc học sâu tác tử và cổ điển trên phần cứng Intel CPU, GPU và NPU, chạy qua Docker, bare metal, Kubernetes hoặc Windows. Nó được cung cấp dưới dạng mã nguồn mở từ bộ công cụ OpenVINO.
GiáMã nguồn mở
Đánh giáN/A
Lượt lưu0
Thẻ
Danh mục
Chưa có phần tóm tắt.
FAQ
Câu hỏi thường gặp
- openvinotoolkit/model_server là gì?
- OpenVINO Model Server là một máy chủ suy luận C++ cấp sản xuất, cung cấp các mô hình ML qua các API mạng tiêu chuẩn, bao gồm API tương thích OpenAI cho LLM, embeddings, tạo hình ảnh và âm thanh, cùng với các API KServe cho các mô hình cổ điển. Nó hướng đến các nhóm triển khai AI tạo sinh, khối lượng công việc học sâu tác tử và cổ điển trên phần cứng Intel CPU, GPU và NPU, chạy qua Docker, bare metal, Kubernetes hoặc Windows. Nó được cung cấp dưới dạng mã nguồn mở từ bộ công cụ OpenVINO.
- openvinotoolkit/model_server có giá bao nhiêu?
- openvinotoolkit/model_server áp dụng mô hình giá: Mã nguồn mở. Xem gói hiện tại trên trang web chính thức.
- openvinotoolkit/model_server dùng để làm gì?
- openvinotoolkit/model_server được xếp trên TolsAI vào các danh mục: Mã nguồn mở.
- Có thể dùng openvinotoolkit/model_server ở đâu?
- openvinotoolkit/model_server có trên trang web chính thức github.com.
Khám phá
Thêm trong Mã nguồn mở
Một bộ khung tác tử mã nguồn mở cho một AI agent tự cải thiện, có khả năng lập kế hoạch và thực thi các nhiệm vụ bạn mô tả.
Một công cụ RAG không dùng vector, dựa trên suy luận, lập chỉ mục tài liệu dưới dạng cây và truy xuất bằng suy luận LLM.
Một thư viện Python giống PyTorch để xây dựng và tự động tối ưu hóa các quy trình làm việc LLM như chatbot, RAG và agent.
Giao diện web mô-đun để tạo hình ảnh, video và âm thanh bằng các mô hình AI như Stable Diffusion, Flux và Wan.
Hướng dẫn từng bước để thiết kế các hệ thống AI được xây dựng trên LLM, RAG và AI agents.
Công cụ pipeline AI mã nguồn mở để xây dựng, gỡ lỗi và triển khai các quy trình LLM và điều phối tác nhân ngay từ IDE của bạn.
Thảo luận
Thảo luận
Đăng nhập để tham gia thảo luận
Chưa có bình luận. Hãy bắt đầu thảo luận.