Fireworks AI

使用最先进的开源大语言模型和图像模型，以极快的速度运行，或在 Fireworks AI 上免费微调并部署您自己的模型。

构建可投入生产的复杂AI系统的最快、最高效的推理引擎。
弥合原型与生产之间的差距，释放生成式AI的真实价值。

构建和部署生成式AI的最快平台
从最快的模型API起步，通过高性价比的定制提升性能，并逐步演进为复杂的AI系统，打造强大应用。
即时运行热门及专用模型，包括 Llama3、Mixtral 和 Stable Diffusion，针对最低延迟、最高吞吐量和最长上下文长度进行优化。FireAttention 是我们自研的 CUDA 内核，使模型服务速度比 vLLM 快四倍，且不牺牲质量。

解耦式服务
语义缓存
推测性解码

通过基于 LoRA 的微调服务，成本效率是其他提供商的两倍。可在无额外费用的情况下，即时部署并切换最多 100 个微调模型以进行实验。在我们的无服务器推理平台上，模型服务速度高达每秒 300 个 token。

监督微调
自适应微调
跨模型批处理

支持多模型、多模态及外部 API 和数据的任务，而非依赖单一模型。使用 FireFunction——业界领先的函数调用模型，组合构建复杂AI系统，应用于 RAG、搜索、领域专家协作者（自动化、代码、数学、医学等）。

开放权重模型
编排与执行
基于模式的约束生成