Orquestração de pipelines TFX

Kubeflow Pipelines

O Kubeflow é uma plataforma de ML de código aberto dedicada a deixar as implantações de workflows de aprendizado de máquina (ML) no Kubernetes mas simples, portáteis e escalonáveis. O Kubeflow Pipelines é uma parte da plataforma Kubeflow que permite a composição e execução de workflows reproduzíveis no Kubeflow, integrados com experimentação e experiências baseadas em notebooks. Os serviços Kubeflow Pipelines no Kubernetes incluem a hospedagem do TF Metadata, mecanismo de orquestração baseado em container, servidor de notebooks e interface do usuário para ajudar os usuários a desenvolver, executar e gerenciar pipelines de ML complexos em escala. O SDK do Kubeflow Pipelines permite a criação e o compartilhamento de componentes, além da composição programática de pipelines.

Veja o exemplo do TFX no Kubeflow Pipelines para detalhes sobre como executar o TFX em escala na nuvem do Google.