OpenRouter Runner

OpenRouter Runner 是一个基于 Modal 构建的单体推理引擎，作为在 openrouter.ai 上以备用方式托管大量开源模型的稳健部署解决方案。

特性：

通过 Modal.com / 微服务实现自动扩展/负载均衡推理
集成 HuggingFace 等平台以下载模型
可观测性（通过 Datadog 与 Sentry 实现）

终端用户界面：
仅支持 REST API。

管理界面：
Modal CLI 与 "model.com" 网页服务。（设置需使用终端）。