AIkit

AIKit 是一个全面的平台，可快速帮助您托管、部署、构建和微调大型语言模型（LLM）。 AIKit 提供两大主要功能： 推理：AIKit 使用 LocalAI，支持广泛的推理能力与格式。LocalAI 提供兼容 OpenAI API 的即插即用 REST API，因此您可以使用任何兼容 OpenAI API 的客户端（如 Kubectl AI、Chatbot-UI 等）向开源 LLM 发送请求！ 微调：AIKit 提供可扩展的微调接口，支持 Unsloth，实现快速、内存高效且简便的微调体验。