smg-project/smg

与引擎无关的 Rust LLM 网关。在 vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、Gemini 等之上完全兼容 OpenAI 与 Anthropic API。业界首创 gRPC 流水线、KV 缓存感知路由、聊天历史、分词缓存、Responses API、嵌入、WASM 插件、MCP 以及多租户认证。

暂时还没有精简摘要。

smg-project/smg 是什么？

与引擎无关的 Rust LLM 网关。在 vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、Gemini 等之上完全兼容 OpenAI 与 Anthropic API。业界首创 gRPC 流水线、KV 缓存感知路由、聊天历史、分词缓存、Responses API、嵌入、WASM 插件、MCP 以及多租户认证。

smg-project/smg 收费吗？

smg-project/smg 的定价模式是开源，具体套餐请以官网为准。

smg-project/smg 可以用来做什么？

smg-project/smg 在 TolsAI 上归入以下分类：开源。

在哪里可以使用 smg-project/smg？

可以在 smg-project/smg 的官网 github.com 使用。