liteLLM
liteLLM
软件
软件描述
Python SDK，代理服务器（LLM网关）以 OpenAI 格式调用 100 多个 LLM API - [Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq]。
官方网站
访问软件的官方网站了解更多信息
www.litellm.ai
什么是 liteLLM?
Python SDK，代理服务器（LLM 网关）以 OpenAI 格式调用 100 多个 LLM API - [Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq]
主要功能
🔄 替代方案
6 个选择
OpenRouter
OpenRouter（openrouter.ai）是一个AI模型聚合服务，通过统一的API为开发者和用户提供多种大型语言模型及生成式3D对象模型的访问。它允许用户与各类AI模型进行交互，包括来自主要厂商的……
AnyAPI
AnyAPI 是通往顶级AI模型（GPT、Claude、Mistral、Gemini及300多种其他AI模型）的统一网关，帮助开发者、初创企业和企业将其应用集成强大的大语言模型。
Character Gateway
角色网关提供统一的API以及角色、代理和提示词的数据库，使您无需自行初始化数据库即可构建自己的角色平台。
AIBoox
快速且实惠的LLM API（Deepseek Chat V3 与 Deepseek R1）。
Key Trustee
Key Trustee 是一款优化模型路由和安全层，适用于您的 AI 应用程序，可让您在无需服务器、密钥或 API 费用的情况下使用 OpenAI、Anthropic、Google 以及开源提供商的模型。
llamafile
LlamaFile 允许你通过一个文件分发和运行大语言模型，提供与 OpenAI 兼容的 API 以及 KoboldAI API。
