工具介绍
vLLM
vLLM（Apache-2.0）是广泛使用的开源大模型推理服务引擎，高吞吐、省显存，支持 Llama、Qwen、DeepSeek 等模型及 CUDA、AMD、TPU 硬件。
价格类型价格未知
评分暂无
收藏数0
标签
所属分类
暂时还没有精简摘要。
FAQ
常见问题
- vLLM 是什么？
- vLLM（Apache-2.0）是广泛使用的开源大模型推理服务引擎，高吞吐、省显存，支持 Llama、Qwen、DeepSeek 等模型及 CUDA、AMD、TPU 硬件。
- vLLM 可以用来做什么？
- vLLM 在 TolsAI 上归入以下分类：人工智能开发工具和大型语言模型 (LLM)。
- 在哪里可以使用 vLLM？
- 可以在 vLLM 的官网 vllm.ai 使用。
探索
人工智能开发工具 下更多工具
you.bot：相同的 AI 模型最多可节省 46%。 you.bot 是一个适用于 70 多个 LLM、图像、视频和音乐模型的 API — Claude、GPT、Gemini、Kling、Seedance、Veo、GPT Image 2、Nano Banana Pro、Suno 等 —
Corrath：Corrath 是适用于现代人工智能应用的人工智能安全网关。它位于您的应用程序和 AI 提供商之间，用于保护 API 密钥、阻止提示注入、控制支出、监控使用情况、检测
把代码库及其文档、SQL 结构、配置和 PDF 转成可查询的知识图谱，供编程智能体使用。
Cloudflare 出品的编程智能体技能，执行多阶段安全审计，输出经独立验证、机器可读的结果。
Rust 编写、兼容 Redis/Valkey 的内存数据库，内置全文与向量检索。
让 AI 编程智能体只写“刚好够用”的代码的规则集 / Skill。
讨论
讨论
登录后参与讨论
暂无评论，来开启讨论吧。