Cómo orquestar canalizaciones de TFX

Apache Airflow

Apache Airflow es una plataforma para crear, programar y monitorear flujos de trabajo mediante programación. TFX usa Airflow para crear flujos de trabajo como grafos acíclicos dirigidos (DAG) de tareas. El programador de Airflow ejecuta tareas en un arreglo de trabajadores mientras sigue las dependencias especificadas. Las completas utilidades de línea de comandos facilitan la realización de operaciones complejas en los DAG. La avanzada interfaz de usuario facilita la visualización de los procesos que se ejecutan en producción, el seguimiento del progreso y la resolución de problemas cuando sea necesario. Cuando los flujos de trabajo se definen como código, son más fáciles de mantener, versionar, probar y colaborar.

Consulte Apache Airflow para obtener información sobre la instalación y el uso de Apache Airflow.