Orquestração de pipelines TFX

Apache Airflow

O Apache Airflow é uma plataforma para criar, agendar e monitorar fluxos de trabalho de forma programática. O TFX usa o Airflow para criar workflows como gráficos acíclicos direcionados (DAGs) de tarefas. O agendador do Airflow executa tarefas numa série de workers enquanto segue as dependências especificadas. Utilitários avançados de linha de comando facilitam a realização de cirurgias complexas em DAGs. A interface de usuário avançada facilita a visualização de pipelines em execução na produção, o monitoramento do progresso e a solução de problemas quando necessário. Quando os fluxos de trabalho são definidos como código, eles se tornam mais fáceis de manter, versionáveis, testáveis ​​e colaborativos.

Veja Apache Airflow para mais detalhes sobre como instalar e usar o Apache Airflow.