TFX パイプラインのオーケストレーション

Apache Beam

いくつかの TFX コンポーネントは、分散データ処理を Beam に任せています。また、TFX は Apache Beam を使用して、パイプライン DAG のオーケストレーションと実行を行うことも可能です。Beam オーケストレータはコンポーネントのデータ処理に使用するものとは異なる BeamRunner を使用します。デフォルトの DirectRunner がセットアップされれば、追加の Airflow や Kuberflow 依存関係が発生することなくローカルデバッグに Beam オーケストレータを使用できるため、システム構成を簡略化できます。

詳細は、Beam での TFX の例をご覧ください。