TensorFlow Model Analysis によるモデル品質の改善

はじめに

モデルを開発しながら調整する場合、その変更によってモデルが改善するかどうかを確認する必要があります。精度を確認するだけでは不十分な場合があります。たとえば、問題の分類子があり、95% のインスタンスが陽性である場合、常に陽性を予測するだけで精度を改善できるかもしれませんが、それでは非常に強力な分類子は得られません。

概要

TensorFlow Model Analysis は、TFX でモデルを評価するための仕組みを提供することを目標としています。TensorFlow Model Analysis では、TFX パイプラインでモデル評価を実行し、結果として出力されるメトリクスを表示して、Jupyter ノートブックにプロットすることができます。具体的には、次を提供できます。

• training と holdout データセット全体で計算されたメトリクス と Next-day 検証

• 長期間にわたるメトリクスの追跡

• 異なる特徴量スライスにおけるモデルの品質パフォーマンス

• モデルのパフォーマンスが一貫して維持されるようにするためのモデル検証

次のステップ

TFMA チュートリアルをお試しください。

GitHub ページで、サポートされているメトリクスとグラフ、および関連するノートブックの視覚化に関する詳細をご覧ください。

インストールガイドとスタートガイドでは、スタンドアロンパイプラインでのセットアップ方法に関する情報と例が掲載されています。TFMA は TFX の Evaluator コンポーネントでも使用されているため、これらのリソースは TFX の使用開始にも役立ちます。