linear.ipynb

Kernel: Python 3

Copyright 2019 The TensorFlow Authors.

#@title Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

使用 Estimator 构建线性模型

在 TensorFlow.org 上查看

在 Google Colab 中运行

在 GitHub 上查看源代码

下载笔记本

警告：不建议将 Estimator 用于新代码。Estimator 运行 v1.Session 风格的代码，此类代码更加难以正确编写，并且可能会出现意外行为，尤其是与 TF 2 代码结合使用时。Estimator 确实在我们的兼容性保证范围内，但除了安全漏洞之外不会得到任何修复。请参阅迁移指南以了解详情。

概述

本端到端演示使用 tf.estimator API 来训练逻辑回归模型。该模型通常用作其他更复杂算法的基线。

注：Keras 逻辑回归示例已提供，并推荐在本教程中使用。

安装

!pip install sklearn

import os
import sys

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from IPython.display import clear_output
from six.moves import urllib

加载 Titanic 数据集

使用 Titanic 数据集的目的是在给定诸如性别、年龄、阶级等特征的情况下预测乘客能否生存（相当病态）。

import tensorflow.compat.v2.feature_column as fc

import tensorflow as tf

# Load dataset.
dftrain = pd.read_csv('https://storage.googleapis.com/tf-datasets/titanic/train.csv')
dfeval = pd.read_csv('https://storage.googleapis.com/tf-datasets/titanic/eval.csv')
y_train = dftrain.pop('survived')
y_eval = dfeval.pop('survived')

探索数据

该数据集包含以下特征

dftrain.head()

dftrain.describe()

训练和评估集中分别有 627 个和 264 个样本。

dftrain.shape[0], dfeval.shape[0]

大部分乘客的年龄为 20 多岁和 30 多岁。

dftrain.age.hist(bins=20)

男性乘客人数大约是女性乘客人数的两倍。

dftrain.sex.value_counts().plot(kind='barh')

大多数乘客位于“三等”舱。

dftrain['class'].value_counts().plot(kind='barh')

与男性相比，女性的幸存机率要高得多。这显然是模型的预测性特征。

pd.concat([dftrain, y_train], axis=1).groupby('sex').survived.mean().plot(kind='barh').set_xlabel('% survive')

模型的特征工程

警告：不推荐为新代码使用本教程中介绍的 tf.feature_columns 模块。Keras 预处理层介绍了此功能，有关迁移说明，请参阅迁移特征列指南。tf.feature_columns 模块旨在与 TF1 Estimators 结合使用。它不在我们的兼容性保证范围内，除了安全漏洞修正外，不会获得其他修正。

Estimator 使用名为特征列的系统来描述模型应如何解释每个原始输入特征。需要为 Estimator 提供数字输入向量， 特征列描述了模型应如何转换各个特征。

选择和制作一组正确的特征列是学习高效模型的关键。特征列可以是原始特征 dict（基础特征列）中的一项原始输入，也可以是使用一个或多个基础列定义的转换创建的任何新列（派生特征列）。

线性 Estimator 同时使用数字和分类特征。特征列可与所有 TensorFlow Estimator 配合使用，其目的是定义用于建模的特征。此外，它们还提供了一些特征工程功能，例如独热编码、归一化和分桶。

基础特征列

CATEGORICAL_COLUMNS = ['sex', 'n_siblings_spouses', 'parch', 'class', 'deck',
                       'embark_town', 'alone']
NUMERIC_COLUMNS = ['age', 'fare']

feature_columns = []
for feature_name in CATEGORICAL_COLUMNS:
  vocabulary = dftrain[feature_name].unique()
  feature_columns.append(tf.feature_column.categorical_column_with_vocabulary_list(feature_name, vocabulary))

for feature_name in NUMERIC_COLUMNS:
  feature_columns.append(tf.feature_column.numeric_column(feature_name, dtype=tf.float32))

input_function 指定如何将数据转换为流式馈送输入流水线的 tf.data.Dataset。tf.data.Dataset 支持多种来源，例如数据帧、csv 格式文件等。

def make_input_fn(data_df, label_df, num_epochs=10, shuffle=True, batch_size=32):
  def input_function():
    ds = tf.data.Dataset.from_tensor_slices((dict(data_df), label_df))
    if shuffle:
      ds = ds.shuffle(1000)
    ds = ds.batch(batch_size).repeat(num_epochs)
    return ds
  return input_function

train_input_fn = make_input_fn(dftrain, y_train)
eval_input_fn = make_input_fn(dfeval, y_eval, num_epochs=1, shuffle=False)

您可以检查数据集：

ds = make_input_fn(dftrain, y_train, batch_size=10)()
for feature_batch, label_batch in ds.take(1):
  print('Some feature keys:', list(feature_batch.keys()))
  print()
  print('A batch of class:', feature_batch['class'].numpy())
  print()
  print('A batch of Labels:', label_batch.numpy())

您还可以使用 tf.keras.layers.DenseFeatures 层来检查特定特征列的结果：

age_column = feature_columns[7]
tf.keras.layers.DenseFeatures([age_column])(feature_batch).numpy()

DenseFeatures 仅接受密集张量，要检查分类列，您需要先将其转换为指示列：

gender_column = feature_columns[0]
tf.keras.layers.DenseFeatures([tf.feature_column.indicator_column(gender_column)])(feature_batch).numpy()

将所有基础特征添加到模型后，让我们开始训练模型。训练模型仅为使用 tf.estimator API 的单个命令：

linear_est = tf.estimator.LinearClassifier(feature_columns=feature_columns)
linear_est.train(train_input_fn)
result = linear_est.evaluate(eval_input_fn)

clear_output()
print(result)

派生特征列

现在，您已达到 75% 的准确率。单独使用每个基本特征列可能不足以解释数据。例如，年龄和标签之间的相关性可能因性别不同而不同。因此，如果您只学习了 gender="Male" 和 gender="Female" 的单个模型权重，则将无法捕获每个年龄-性别组合（例如区分 gender="Male" 和 age="30" 以及 gender="Male" 和 age="40"）。

要了解不同特征组合之间的区别，您可以向模型添加交叉特征列（也可以在添加交叉列之前对年龄列进行分桶）：

age_x_gender = tf.feature_column.crossed_column(['age', 'sex'], hash_bucket_size=100)

将组合特征添加到模型后，让我们再次训练模型：

derived_feature_columns = [age_x_gender]
linear_est = tf.estimator.LinearClassifier(feature_columns=feature_columns+derived_feature_columns)
linear_est.train(train_input_fn)
result = linear_est.evaluate(eval_input_fn)

clear_output()
print(result)

现在，准确率已达 77.6％，与仅使用基础特征进行训练相比略高。您可以尝试使用更多特征和转换，看看能否进一步提高准确率！

现在，您可以使用训练模型对评估集内的乘客进行预测。TensorFlow 模型进行了优化，能够每次以一批或一组样本的方式进行预测。之前，eval_input_fn 是使用整个评估集定义的。

pred_dicts = list(linear_est.predict(eval_input_fn))
probs = pd.Series([pred['probabilities'][1] for pred in pred_dicts])

probs.plot(kind='hist', bins=20, title='predicted probabilities')

最后，查看结果的受试者工作特征 (ROC)，这将使我们能够在真正例率与假正例率之间更好地加以权衡。

from sklearn.metrics import roc_curve
from matplotlib import pyplot as plt

fpr, tpr, _ = roc_curve(y_eval, probs)
plt.plot(fpr, tpr)
plt.title('ROC curve')
plt.xlabel('false positive rate')
plt.ylabel('true positive rate')
plt.xlim(0,)
plt.ylim(0,)