更新日: 2021 年 6 月

TensorFlow の Model Optimization Toolkit（MOT）は、TensorFlow モデルから、モバイルや IoT デバイスで実行できる、より小規模でパフォーマンスに優れ、許容範囲の精度を得られる TensorFlow Lite モデルへの変換と最適化を実現するために広く使用されてきました。現在、この MOT テクニックとツーリングを、TensorFlow Lite の領域を超えて TensorFlow SavedModel もサポートできるよう、拡張に努めています。

以下は、ロードマップの概要です。このロードマップはいつでも変更される可能性があり、以下に示す順序は優先順位を示すものではないことに注意してください。このロードマップに関するコメントをディスカッショングループで共有することを強くお勧めします。

量子化

TensorFlow Lite

• 特定のレイヤーを量子化から除外する、選択的ポストトレーニング量子化。

• 量子化デバッガーで、量子化誤差損失をレイヤーごとに検査する。

• 量子化対応トレーニングを、TensorFlow Model Garden などより多くのモデルカバレッジに適用。

• トレーニング後のダイナミックレンジ量子化の品質とパフォーマンスの改善。

TensorFlow

• トレーニング後量子化（bf16 * int8 ダイナミックレンジ）。

• 量子化認識トレーニング（Fake Quant による bf16 * int8 重みのみ）。

• 特定のレイヤーを量子化から除外する、選択的ポストトレーニング量子化。

• 量子化デバッガーで、量子化誤差損失をレイヤーごとに検査する。

スパース性

TensorFlow Lite

• より多くのモデルでのスパースモデルの実行サポート。

• スパース性のターゲット対応オーサリング。

• パフォーマンスに優れた x86 カーネルによるスパース演算セットの拡張。

TensorFlow

• TensorFlow でのスパース性サポート

カスケード圧縮テクニック

• 量子化 + テンソル圧縮 + スパース性: 3 つすべてのテクニックの連携。

圧縮

• 標準的なテスト/ベンチマーク手法の提供など、開発者が独自のモデル圧縮アルゴリズムに圧縮アルゴリズムを実装しやすくするためのテンソル圧縮 API（重みクラスタリングなど）。