cli.ipynb

Kernel: Python 3

TFDS CLI

TFDS CLI is a command-line tool that provides various commands to easily work with TensorFlow Datasets.

Copyright 2020 The TensorFlow Datasets Authors, Licensed under the Apache License, Version 2.0

TensorFlow.org で表示

Google Colab で実行

GitHub でソースを表示

ノートブックをダウンロード

インポート時に TF ログを無効にする

%%capture
%env TF_CPP_MIN_LOG_LEVEL=1  # Disable logs on TF import

インストール

CLI ツールは、tensorflow-datasets（または tfds-nightly）を使ってインストールします。

!pip install -q tfds-nightly
!tfds --version

すべての CLI コマンドをリスト表示するには、以下のようにします。

!tfds --help

tfds new: 新しい Dataset を実装する

このコマンドを使うと、デフォルトの実装ファイルを含む <dataset_name>/ ディレクトリを作成して、新しい Python データセットをすぐに記述できるようになります。

使用法：

!tfds new my_dataset

tfds new my_dataset は以下を作成します。

ls -1 my_dataset/

オプションのフラグ --data_format は、フォーマット固有のデータセットビルダー（conll）を生成するために使用できます。データ形式が指定されていない場合は、標準の tfds.core.GeneratorBasedBuilder 用のテンプレートを生成します。使用可能な形式固有のデータセットビルダーについての詳細は、ドキュメントをご覧ください。

See our writing dataset guide for more info.

以下のようにして、使用できるオプションを表示します。

!tfds new --help

tfds build: データセットをダウンロードして準備する

新しいデータセットを生成するには、tfds build <my_dataset> を使用します。<my_dataset> には、以下を使用します。

• dataset/ フォルダまたは dataset.py ファイルへのパス（現在のディレクトリの場合は空）:

  • tfds build datasets/my_dataset/

  • cd datasets/my_dataset/ && tfds build

  • cd datasets/my_dataset/ && tfds build my_dataset

  • cd datasets/my_dataset/ && tfds build my_dataset.py

• 登録済みのデータセット:

  • tfds build mnist

  • tfds build my_dataset --imports my_project.datasets

注意: tfds build には、プロトタイピングとデバッグを支援する有用なフラグがあります。以下の「デバッグとテスト」セクションをご覧ください。

以下のようにして、使用できるオプションを表示します。

!tfds build --help