Apache Airflow
Apache Airflow
软件
软件描述
Airflow 是一个用于编程式编写、调度和监控数据管道的平台。
官方网站
访问软件的官方网站了解更多信息
airflow.apache.org
什么是 Apache Airflow?
Airflow 是一个用于以编程方式创建、调度和监控数据管道的平台。
使用 Airflow，可将工作流编写为任务的有向无环图（DAG）。Airflow 调度器会根据指定的依赖关系，在一组工作者上执行任务。丰富的命令行工具使对 DAG 进行复杂操作变得轻松自如。强大的用户界面便于直观查看生产环境中的流水线运行状态，监控进度，并在需要时排查问题。
原则
动态：Airflow 流水线以代码形式配置（Python），支持动态生成流水线，允许编写可动态实例化流水线的代码。
可扩展：可轻松定义自定义算子、执行器并扩展库功能，以适应您环境所需的抽象层级。
简洁：Airflow 流水线简洁明确。通过强大的 Jinja 模板引擎，脚本参数化功能内置于核心。
可伸缩：Airflow 采用模块化架构，使用消息队列与任意数量的工作者进行协调。Airflow 可无限扩展。
🔄 替代方案
30 个选择
Proxeus
软件
Proxeus 是一个用于快速便捷地实现文档数字化、签署、处理和分发的平台。它可让用户的重要文件得到安全保存并上链登记。Proxeus 使任何人都能创建区块链应用，现已上线……
Zenaton 是一个开发者工具及托管工作流引擎，用于编写、运行和监控您所有的后台进程，无论是单个任务还是长时间运行的工作流。它允许开发者轻松集成第三方服务和 API，通过触发任务来实现...
Google Cloud Composer
软件
Google Cloud Composer 是一项完全托管的工作流编排服务，具有可扩展性，并基于开源平台 Apache Airflow 构建。它提供了与 Google Cloud 产品的全面集成，使其成为……的合适选择。
StackStorm
StackStorm 是一个功能强大的开源自动化平台，可将您所有的应用程序、服务和工作流程连接起来。它易于扩展、灵活高效，专为 DevOps 和 ChatOps 而打造。
Aqueduct MLOps framework
软件
Aqueduct 是一个开源的 MLOps 框架，允许您使用原生 Python 编写代码，在任何您希望使用的云基础设施上运行这些代码，并获得对模型和预测执行及性能的可视化监控。