LiteLLM
LiteLLM适合开发平台。统一调用多家大模型 API 的代理和网关工具。AI工具箱整理官网入口、工具详解、功能说明、使用指南和同类工具。
分类：AI开发平台
标签：开发平台,API,LLM
工具简介
统一调用多家大模型 API 的代理和网关工具。
工具详解
LiteLLM 更适合作为模型网关和统一调用层，而不是面向终端用户的聊天产品。它支持用 OpenAI 输入输出格式调用多家模型和部署，并提供 Proxy Server 与 Python SDK 两种形态。平台团队可以把它部署成中央 LLM Gateway，用虚拟 key、认证授权、预算、日志、缓存、限流、fallback、routing 和成本追踪管理多个项目的模型访问。 典型使用方式是让应用继续使用 OpenAI SDK，把 base URL 指到 LiteLLM Proxy，再在配置文件中定义 OpenAI、Azure、Anthropic、Vertex、Ollama、OpenRouter、Together、Groq 等模型。这样业务方不用在代码里散落大量供应商适配逻辑，平台团队也能统一监控成本、速率、异常和模型切换。对于需要多模型策略、私有模型与云模型共存、或希望避免单一供应商锁定的团队，LiteLLM 很实用。 边界在于，网关会成为关键基础设施。配置错误可能导致请求路由到错误模型、预算失效、日志泄露或服务不可用。团队需要管理密钥、租户隔离、模型别名、fallback 顺序、超时、重试、审计和高可用部署。LiteLLM 能简化接入和治理，但不能替代模型评估、prompt 管理、安全审查和业务层降级策略。 更稳妥的落地方式是由平台团队统一维护 LiteLLM 配置，让业务团队只申请虚拟 key 和模型别名。这样可以集中控制预算、可用模型、fallback、日志和安全策略。若每个业务自己部署一套网关，反而会带来配置漂移和治理成本。 如果它处在核心调用链上，还要准备旁路日志、健康检查和回滚方案，避免网关故障影响所有 AI 功能。
分类与标签
AI开发平台，标签：开发平台,API,LLM