cli.ipynb

Kernel: Python 3

TFDS CLI

TFDS CLI is a command-line tool that provides various commands to easily work with TensorFlow Datasets.

Copyright 2020 The TensorFlow Datasets Authors, Licensed under the Apache License, Version 2.0

Ver en TensorFlow.org

Ejecutar en Google Colab

Ver código fuente en GitHub

Descargar el bloc de notas

Deshabilitar registros de TF al importar

%%capture
%env TF_CPP_MIN_LOG_LEVEL=1  # Disable logs on TF import

Instalación

La herramienta CLI se instala con tensorflow-datasets (o tfds-nightly).

!pip install -q tfds-nightly
!tfds --version

Puede ver la lista de todos los comandos CLI con:

!tfds --help

tfds new: Implementación de un conjunto de datos nuevo

Este comando le ayudará a empezar a escribir su conjunto de datos de Python nuevo al crear un directorio <dataset_name>/ que contiene archivos de implementación predeterminados.

Uso:

!tfds new my_dataset

tfds new my_dataset creará:

ls -1 my_dataset/

Se puede usar un indicador opcional --data_format para crear generadores de conjuntos de datos de formato específico (por ejemplo, conll). Si no se proporciona ningún formato de datos, generará una plantilla para un tfds.core.GeneratorBasedBuilder estándar. Consulte la documentación para obtener detalles sobre los generadores de conjuntos de datos de formato específico disponibles.

Consulte nuestra guía para escribir conjuntos de datos para obtener más información.

Opciones disponibles:

!tfds new --help

tfds build: descargar y preparar un conjunto de datos

Use tfds build <my_dataset> para generar un conjunto de datos nuevo. <my_dataset> puede ser:

• Una ruta a la carpeta del dataset/ o al archivo del dataset.py (vacío para el directorio actual):

  • tfds build datasets/my_dataset/

  • cd datasets/my_dataset/ && tfds build

  • cd datasets/my_dataset/ && tfds build my_dataset

  • cd datasets/my_dataset/ && tfds build my_dataset.py

• Un conjunto de datos registrado:

  • tfds build mnist

  • tfds build my_dataset --imports my_project.datasets

Nota: tfds build tiene indicadores útiles para ayudar a crear prototipos y depurar. Consulte la sección Debug & tests: a continuación.

Opciones disponibles:

!tfds build --help