hiw3c 日报精选
BestBlogs·AI 高分精选 中文 网页快照

GitHub - sturnus-dev/sturnus:基于延迟的负载均衡,横跨 OpenAI、Azure OpenAI、Vertex AI 和 Anthropic。一个单静态二进制文件中的 OpenAI 兼容 sidecar。

📌 One-Sentence Summary sturnus 是一个轻量级、无状态的 sidecar 代理,在多个 LLM 提供商(OpenAI、Azure OpenAI、Vertex AI、Anthropic)之间执行基于延迟的自动路由,同时对外暴露单一的 OpenAI 兼容 API 端点。 📝 Summary sturnus 是一个高性能的单二进制代理,设计用于与你的应用并排部署,负责 LLM

来源:BestBlogs·AI 高分精选 · www.bestblogs.dev

GitHub - sturnus-dev/sturnus: Latency-based load balancing across OpenAI, Azure OpenAI, Vertex AI and Anthropic. An OpenAI-compatible sidecar in a single static binary.

sturnus is a lightweight, stateless sidecar proxy that performs automatic latency-based routing between multiple LLM providers (OpenAI, Azure OpenAI, Vertex AI, Anthropic) while exposing a single OpenAI-compatible API endpoint.