boundless.ipynb

Kernel: Python 3

Copyright 2020 The TensorFlow Hub Authors.

Licensed under the Apache License, Version 2.0 (the "License");

#@title Copyright 2020 The TensorFlow Hub Authors. All Rights Reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# ==============================================================================

Ver em TensorFlow.org

Executar no Google Colab

Ver no GitHub

Baixar notebook

Ver modelos do TF Hub

Colab Boundless

Agradecemos por acessar o Colab do modelo Boundless! Este notebook descreverá as etapas para executar o modelo em imagens e visualizar os resultados.

Visão geral

Boundless é um modelo para extrapolação de imagens. Esse modelo recebe uma imagem, mascara internamente uma parte dela (1/2, 1/4, 3/4) e completa a parte mascarada. Confira mais detalhes em Boundless: Generative Adversarial Networks for Image Extension (Boundless: Redes adversárias generativas para extensão de imagens) ou na documentação do modelo no TensorFlow Hub.

Importações e configuração

Vamos começar com as importações básicas.

import tensorflow as tf
import tensorflow_hub as hub
from io import BytesIO
from PIL import Image as PilImage
import numpy as np
from matplotlib import pyplot as plt
from six.moves.urllib.request import urlopen

Leia uma imagem para a entrada

Vamos criar um método utilitário para carregar a imagem e formatá-la para o modelo (257x257x3). Esse método também cortará a imagem na forma de um quadrado para evitar distorções, e você pode usar imagens locais ou da Internet.

  def read_image(filename):
    fd = None
    if(filename.startswith('http')):
      fd = urlopen(filename)
    else:
      fd = tf.io.gfile.GFile(filename, 'rb')

    pil_image = PilImage.open(fd)
    width, height = pil_image.size
    # crop to make the image square
    pil_image = pil_image.crop((0, 0, height, height))
    pil_image = pil_image.resize((257,257),PilImage.LANCZOS)
    image_unscaled = np.array(pil_image)
    image_np = np.expand_dims(
        image_unscaled.astype(np.float32) / 255., axis=0)
    return image_np

Método de visualização

Também vamos criar um método de visualização para mostrar a imagem original ao lado da versão mascarada e da versão "completada", ambas geradas pelo modelo.

def visualize_output_comparison(img_original, img_masked, img_filled):
  plt.figure(figsize=(24,12))
  plt.subplot(131)
  plt.imshow((np.squeeze(img_original)))
  plt.title("Original", fontsize=24)
  plt.axis('off')
  plt.subplot(132)
  plt.imshow((np.squeeze(img_masked)))
  plt.title("Masked", fontsize=24)
  plt.axis('off')
  plt.subplot(133)
  plt.imshow((np.squeeze(img_filled)))
  plt.title("Generated", fontsize=24)
  plt.axis('off')
  plt.show()

Carregue uma imagem

Vamos carregar uma imagem de amostra, mas fique à vontade para carregar sua própria imagem no Colab e fazer experimentos com ela. Lembre-se de que o modelo tem algumas limitações quanto a imagens de seres humanos.

wikimedia = "https://upload.wikimedia.org/wikipedia/commons/thumb/3/31/Nusfjord_road%2C_2010_09.jpg/800px-Nusfjord_road%2C_2010_09.jpg"
# wikimedia = "https://upload.wikimedia.org/wikipedia/commons/thumb/4/47/Beech_forest_M%C3%A1tra_in_winter.jpg/640px-Beech_forest_M%C3%A1tra_in_winter.jpg"
# wikimedia = "https://upload.wikimedia.org/wikipedia/commons/thumb/b/b2/Marmolada_Sunset.jpg/640px-Marmolada_Sunset.jpg"
# wikimedia = "https://upload.wikimedia.org/wikipedia/commons/thumb/9/9d/Aegina_sunset.jpg/640px-Aegina_sunset.jpg"

input_img = read_image(wikimedia)

Selecione um modelo do TensorFlow Hub

No TensorFlow Hub, temos três versões do modelo Boundless: Half (metade), Quarter (um quarto) e Three Quarters (três quartos). Na célula abaixo, você pode escolher uma dessas versões e experimentar em sua imagem. Se você quiser testar outra versão, basta escolhê-la e executar as células abaixo.

#@title Model Selection { display-mode: "form" }
model_name = 'Boundless Quarter' # @param ['Boundless Half', 'Boundless Quarter', 'Boundless Three Quarters']
model_handle_map = {
    'Boundless Half' : 'https://tfhub.dev/google/boundless/half/1',
    'Boundless Quarter' : 'https://tfhub.dev/google/boundless/quarter/1', 
    'Boundless Three Quarters' : 'https://tfhub.dev/google/boundless/three_quarter/1'
}

model_handle = model_handle_map[model_name]

Agora que escolhemos o modelo desejado, vamos carregá-lo a partir do TensorFlow Hub.

Observação: você pode apontar seu navegador para o identificador do modelo a fim de ler a respectiva documentação.

print("Loading model {} ({})".format(model_name, model_handle))
model = hub.load(model_handle)

Faça a inferência

O modelo Boundless tem duas saídas:

• A imagem de entrada com uma máscara aplicada

• A imagem mascarada com a extrapolação para completá-la

Podemos usar essas duas imagens para exibir uma visualização comparativa.

result = model.signatures['default'](tf.constant(input_img))
generated_image =  result['default']
masked_image = result['masked_image']

visualize_output_comparison(input_img, masked_image, generated_image)