Apache Airflow
Apache Airflow
软件
软件描述
Airflow 是一个用于编程式编写、调度和监控数据管道的平台。
官方网站
访问软件的官方网站了解更多信息
airflow.apache.org
什么是 Apache Airflow?
Airflow 是一个用于以编程方式创建、调度和监控数据管道的平台。
使用 Airflow，可将工作流编写为任务的有向无环图（DAG）。Airflow 调度器会根据指定的依赖关系，在一组工作者上执行任务。丰富的命令行工具使对 DAG 进行复杂操作变得轻松自如。强大的用户界面便于直观查看生产环境中的流水线运行状态，监控进度，并在需要时排查问题。
原则
动态：Airflow 流水线以代码形式配置（Python），支持动态生成流水线，允许编写可动态实例化流水线的代码。
可扩展：可轻松定义自定义算子、执行器并扩展库功能，以适应您环境所需的抽象层级。
简洁：Airflow 流水线简洁明确。通过强大的 Jinja 模板引擎，脚本参数化功能内置于核心。
可伸缩：Airflow 采用模块化架构，使用消息队列与任意数量的工作者进行协调。Airflow 可无限扩展。
🔄 替代方案
30 个选择
Cronicle 是一个基于Web前端界面的多服务器任务调度与执行工具，可处理定时、重复及按需执行的任务，支持任意数量的从属服务器，并提供实时统计数据和实时日志查看功能。
船厂是您首选的基于云的数据操作平台，支持安全的数据提取、转换、反向ETL、工作流编排、监控、告警等功能。
Azkaban
Azkaban 是 LinkedIn 开发的一个批处理工作流调度器，用于运行 Hadoop 任务。Azkaban 通过作业依赖关系解决执行顺序，并提供一个易于使用的 Web 用户界面来维护和跟踪工作流。
Metaflow
Metaflow 是一个面向人类的 Python 库，帮助科学家和工程师构建并管理实际的数据科学项目。Metaflow 最初由 Netflix 开发，旨在提升从事各种项目（从传统……）的数据科学家的生产力。
Luigi
Luigi 是一个 Python 模块，用于帮助您构建复杂的批处理作业流水线。它可处理依赖关系解析、工作流管理、可视化等功能，并内置了对 Hadoop 的支持。
Dataplane
Dataplane 的理念是让各类规模的企业和团队能够更快、更轻松地构建具备强大数据管道和自动化工作流的数据网格。除了更加用户友好外，还特别注重可扩展性和韧性……
Apache Oozie
Hadoop 的 Apache Oozie 工作流调度器。
CloudReactor
轻松部署、调度、管理和监控任务及工作流程。几秒钟内创建复杂的工作流程。将任务部署到 AWS。