Airflow 是一个用于编程方式创建、调度和监控数据管道的平台。
您可以使用 Airflow 将工作流定义为任务的有向无环图（DAG）。Airflow 调度器会根据指定的依赖关系，在一组工作节点上执行您的任务。丰富的命令行工具使得对 DAG 进行复杂操作变得简单。直观的用户界面可轻松可视化生产环境中的管道运行情况，监控进度，并在需要时排查问题。
核心理念
动态性：Airflow 管道以代码形式（Python）进行配置，支持动态生成管道，从而可以编写动态实例化管道的代码。
可扩展性：您可以轻松定义自己的操作符（operators）、执行器（executors），并扩展库，以适应您环境所需的抽象层级。
简洁优雅：Airflow 管道结构简洁且明确，参数化脚本功能已内置在 Airflow 的核心中，通过强大的 Jinja 模板引擎实现。
可扩展性：Airflow 采用模块化架构，并通过消息队列与任意数量的工作节点进行通信，具备无限扩展的能力。