Arch

Arch 负责处理构建 AI 代理时繁琐的底层工作，例如澄清模糊的用户输入、将提示路由至合适的代理、调用工具完成简单任务，以及统一接入大语言模型（LLMs）——所有这些都不强制绑定特定框架。专注于代理的高层逻辑，从而加速开发进程。

AI 演示容易搭建，但一旦新鲜感褪去，你就会陷入持续构建、维护和扩展底层基础设施代码的困境，这拖慢了 AI 创新步伐。例如：

• 想构建专用代理，却被路由与交接逻辑卡住；
• 想使用新的 LLM，却难以快速安全地集成而无需编写大量适配代码；
• 被提示工程工作淹没，需反复澄清用户意图并验证输入；
• 浪费时间在选择和集成可观测性工具上，而非让其自动完成。

借助 Arch，你可以以语言和框架无关的方式，聚焦更高层次的目标，实现更快迭代。Arch 由 Envoy Proxy 的贡献者打造，秉持如下信念： 提示是复杂且不透明的用户请求，需具备传统 HTTP 请求同等的能力，包括安全处理、智能路由、强大的可观测性，以及与后端（API）系统的集成，从而在常见代理场景中提升速度与准确性——全部独立于核心应用逻辑。

核心特性：

• 代理路由：专为 LLM 设计，支持快速（<100ms）代理路由与交接；
• LLM 路由：统一接入任意 LLM，支持基于偏好策略的动态路由；
• 安全护栏：集中配置，防止有害输出，保障用户交互安全；
• 工具调用：针对常见代理场景，可即时解析并转换提示为工具/API 调用；
• 可观测性：兼容 W3C 的请求追踪与 LLM 指标，无缝对接主流监控工具；
• 基于 Envoy 构建：Arch 以容器化进程形式运行于应用服务器旁，依托 Envoy 成熟的 HTTP 管理与可扩展能力，高效处理与提示及 LLM 相关的入站和出站流量。