Hồ sơ công cụ
vLLM
vllm.ai
Công cụ suy luận và phục vụ LLM thông lượng cao, tiết kiệm bộ nhớ.
Công dụng
vLLM
vLLM (Apache-2.0) hỗ trợ CUDA, AMD và TPU.
GiáChưa rõ giá
Đánh giáN/A
Lượt lưu0
Thẻ
Danh mục
Chưa có phần tóm tắt.
FAQ
Câu hỏi thường gặp
- vLLM là gì?
- vLLM (Apache-2.0) hỗ trợ CUDA, AMD và TPU.
- vLLM dùng để làm gì?
- vLLM được xếp trên TolsAI vào các danh mục: Công cụ Dành cho Nhà phát triển AI và Mô hình ngôn ngữ lớn (LLMs).
- Có thể dùng vLLM ở đâu?
- vLLM có trên trang web chính thức vllm.ai.
Khám phá
Thêm trong Công cụ Dành cho Nhà phát triển AI
you.bot: Cùng các mô hình AI với giá rẻ hơn tới 46%. you.bot là một API duy nhất cho hơn 70 mô hình LLM, hình ảnh, video và âm nhạc — Claude, GPT, Gemini, Kling, Seedance, Veo, GPT Image 2, Nano Banana Pro, Suno và nhiều mô hình khác —
Corrath: Corrath là một cổng bảo mật AI dành cho các ứng dụng AI hiện đại. Nó nằm giữa ứng dụng của bạn và các nhà cung cấp AI để bảo vệ khóa API, chặn các cuộc tấn công prompt injection, kiểm soát chi tiêu, giám sát việc sử dụng, phát hiện t
Biến mã nguồn và tài liệu thành đồ thị tri thức có thể truy vấn.
Skill của Cloudflare giúp tác tử lập trình kiểm tra bảo mật nhiều giai đoạn.
CSDL trong bộ nhớ tương thích Redis/Valkey viết bằng Rust, có tìm kiếm vector.
Bộ quy tắc giúp tác tử lập trình AI chỉ viết lượng code tối thiểu mà vẫn chạy đúng.
Thảo luận
Thảo luận
Đăng nhập để tham gia thảo luận
Chưa có bình luận. Hãy bắt đầu thảo luận.