Apache Airflow

Apache Airflow
软件
软件描述
Airflow 是一个用于编程式编写、调度和监控数据管道的平台。
官方网站
访问软件的官方网站了解更多信息
airflow.apache.org
安全链接HTTPS
什么是 Apache Airflow?
Airflow 是一个用于以编程方式创建、调度和监控数据管道的平台。
使用 Airflow,可将工作流编写为任务的有向无环图(DAG)。Airflow 调度器会根据指定的依赖关系,在一组工作者上执行任务。丰富的命令行工具使对 DAG 进行复杂操作变得轻松自如。强大的用户界面便于直观查看生产环境中的流水线运行状态,监控进度,并在需要时排查问题。
原则
动态:Airflow 流水线以代码形式配置(Python),支持动态生成流水线,允许编写可动态实例化流水线的代码。
可扩展:可轻松定义自定义算子、执行器并扩展库功能,以适应您环境所需的抽象层级。
简洁:Airflow 流水线简洁明确。通过强大的 Jinja 模板引擎,脚本参数化功能内置于核心。
可伸缩:Airflow 采用模块化架构,使用消息队列与任意数量的工作者进行协调。Airflow 可无限扩展。
🔄 替代方案
30 个选择利用一款多功能自动化工具,通过可扩展的开源框架,在不同平台上简化任务和工作流。适用于自托管解决方案和SaaS,n8n支持与Slack、Trello、Google Sheets等第三方服务的广泛集成。
免费增值 • 专有
查看详情AgentHub 是一个无需编码的平台,用于构建强大的AI自动化。我们的拖拽式可视化编辑器让用户能够创建可靠且经济高效的AI驱动自动化。完全无需编写一行代码,即可端到端自动完成任务。
免费增值 • 专有
查看详情
Windmill Labs
软件
将脚本转换为可共享的应用和 API,将其组合为工作流或数据管道,并通过最快最可靠的作业编排器暴露为用户界面。支持自托管的工作者基础设施:水平扩展、可靠、超快。
免费增值 • 开源
查看详情





