cli.ipynb

Kernel: Python 3

TFDS CLI

O TFDS CLI é uma ferramenta de linha de comando que fornece vários comandos para trabalhar facilmente com datasets do TensorFlow.

Copyright 2020 The TensorFlow Datasets Authors, Licensed under the Apache License, Version 2.0

Ver em TensorFlow.org

Executar no Google Colab

Ver fonte no GitHub

Baixar notebook

Desative os logs do TF ao importar

%%capture
%env TF_CPP_MIN_LOG_LEVEL=1  # Disable logs on TF import

Instalação

A ferramenta CLI é instalada junto com tensorflow-datasets (ou tfds-nightly).

!pip install -q tfds-nightly
!tfds --version

Para conhecer a lista de todos os comandos CLI, faça:

!tfds --help

tfds new : Implementando um novo dataset

Este comando vai ajudar você a começar a escrever seu novo dataset Python criando um diretório <nome_do_dataset>/ contendo arquivos de implementação padrão.

Uso:

!tfds new my_dataset

tfds new my_dataset vai criar:

ls -1 my_dataset/

Um sinalizador opcional --data_format pode ser usado para gerar construtores de datasets de formato específico (por exemplo, conll). Se nenhum formato de dados for fornecido, ele vai gerar um template para um tfds.core.GeneratorBasedBuilder padrão. Consulte a documentação para mais detalhes sobre os construtores de datasets de formato específico disponíveis.

Consulte nosso guia de como escrever datasets para mais informações.

Opções disponíveis:

!tfds new --help

tfds build: baixe e prepare um dataset

Use tfds build <my_dataset> para gerar um novo dataset, onde <my_dataset> pode ser:

• Um caminho para a pasta dataset/ ou arquivo dataset.py (vazio para o diretório atual):

  • tfds build datasets/my_dataset/

  • cd datasets/my_dataset/ && tfds build

  • cd datasets/my_dataset/ && tfds build my_dataset

  • cd datasets/my_dataset/ && tfds build my_dataset.py

• Um dataset registrado:

  • tfds build mnist

  • tfds build my_dataset --imports my_project.datasets

Observação: tfds build possui sinalizadores úteis para ajudar na prototipagem e depuração. Consulte a seção Debug e testes: abaixo.

Opções disponíveis:

!tfds build --help