custom_orchestrator.md

TFX パイプラインのオーケストレーション

カスタムオーケストレータ

TFX は、複数の環境とオーケストレーションフレームワークに移植できるように設計されており、開発者はカスタムオーケストレータを作成するか、TFX がサポートしているデフォルトのオーケストレータ（Local、Vertex AI、Airflow、および Kubeflow）のほかにさらにオーケストレータを追加することができます。

すべてのオーケストレータは TfxRunner を継承している必要があります。TFX オーケストレータは論理パイプラインオブジェクトを取ります。このオブジェクトにはパイプライン引数、コンポーネント、および DAG が含まれており、TFX パイプラインのコンポーネントを DAG が定義する依存関係に基づいてスケジューリングを管理します。

例として、BaseComponentLauncher でカスタムオーケストレータを作成する方法を見てみましょう。BaseComponentLauncher はすでに 1 つのコンポーネントのドライバ、executor、およびパブリッシャを処理するため、新しいオーケストレータでは DAG に基づいて ComponentLauncher をスケジューリングすることだけが必要です。単純なオーケストレータは、LocalDagRunner として提供されており、DAG のトポロジー順でコンポーネントを 1 つずつ実行します。

このオーケストレータは、Python DSL で次のように使用することができます。

def _create_pipeline(...) -> dsl.Pipeline:
  ...
  return dsl.Pipeline(...)

if __name__ == '__main__':
  orchestration.LocalDagRunner().run(_create_pipeline(...))

上記の Python DSL ファイルを実行するには（名前を dsl.py とした場合）、単純に次のようにします。

python dsl.py