Dagster

Dagster 是一个云原生的数据管道编排工具，适用于整个开发生命周期，具备集成的血缘追踪和可观测性、声明式编程模型以及业界领先的可测试性。
它专为开发和维护数据资产（如数据表、数据集、机器学习模型和报告）而设计。
使用 Dagster 时，您可以通过 Python 函数声明希望构建的数据资产。Dagster 将帮助您在恰当的时间运行这些函数，并保持您的资产始终最新。