experiment.si.json

{
 "<h1><a href=\"index.html\">StyleGAN 2</a> Model Training</h1>\n<p>This is the training code for <a href=\"index.html\">StyleGAN 2</a> model.</p>\n<p><span translate=no>_^_0_^_</span></p>\n<p><small><em>These are <span translate=no>_^_1_^_</span> images generated after training for about 80K steps.</em></small></p>\n<p><em>Our implementation is a minimalistic StyleGAN 2 model training code. Only single GPU training is supported to keep the implementation simple. We managed to shrink it to keep it at less than 500 lines of code, including the training loop.</em></p>\n<p><em>Without DDP (distributed data parallel) and multi-gpu training it will not be possible to train the model for large resolutions (128+). If you want training code with fp16 and DDP take a look at <a href=\"https://github.com/lucidrains/stylegan2-pytorch\">lucidrains/stylegan2-pytorch</a>.</em></p>\n<p>We trained this on <a href=\"https://github.com/tkarras/progressive_growing_of_gans\">CelebA-HQ dataset</a>. You can find the download instruction in this <a href=\"https://forums.fast.ai/t/download-celeba-hq-dataset/45873/3\">discussion on fast.ai</a>. Save the images inside <a href=\"#dataset_path\"><span translate=no>_^_2_^_</span> folder</a>.</p>\n": "<h1><a href=\"index.html\">StyleGan 2</a> \u0d86\u0daf\u0dbb\u0dca\u0dc1 \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0dc0</h1>\n<p>\u0dc3\u0db3\u0dc4\u0dcf\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dda\u0dad\u0dba \u0db8\u0dd9\u0dba\u0dba\u0dd2 <a href=\"index.html\">StyleGan 2</a> \u0d86\u0d9a\u0dd8\u0dad\u0dd2\u0dba. </p>\n<p><span translate=no>_^_0_^_</span></p>\n<p><small><em>\u0db8\u0dda\u0dc0\u0dcf80K \u0db4\u0dd2\u0dba\u0dc0\u0dbb \u0dc3\u0db3\u0dc4\u0dcf \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0dc0\u0dd9\u0db1\u0dca \u0db4\u0dc3\u0dd4 \u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1 \u0dbd\u0daf <span translate=no>_^_1_^_</span> \u0dbb\u0dd6\u0db4 \u0dc0\u0dda. </em></small></p>\n<p><em>\u0d85\u0db4\u0d9c\u0dda\u0d9a\u0dca\u0dbb\u0dd2\u0dba\u0dcf\u0dad\u0dca\u0db8\u0d9a \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0d85\u0dc0\u0db8 \u0dc0\u0dda StyleGAN 2 \u0d86\u0daf\u0dbb\u0dca\u0dc1 \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dda\u0dad\u0dba. \u0d9a\u0dca\u0dbb\u0dd2\u0dba\u0dcf\u0dad\u0dca\u0db8\u0d9a \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc3\u0dbb\u0dbd \u0dbd\u0dd9\u0dc3 \u0dad\u0db6\u0dcf \u0d9c\u0dd0\u0db1\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0dc3\u0dc4\u0dcf\u0dba \u0dc0\u0db1\u0dca\u0db1\u0dda \u0dad\u0db1\u0dd2 GPU \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0dc0\u0d9a\u0dca \u0db4\u0db8\u0dab\u0dd2. \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0dbd\u0dd6\u0db4\u0dba \u0d87\u0dad\u0dd4\u0dc5\u0dd4\u0dc0 \u0d9a\u0dda\u0dad \u0db4\u0dda\u0dc5\u0dd2 500 \u0d9a\u0da7 \u0dc0\u0da9\u0dcf \u0d85\u0da9\u0dd4 \u0db8\u0da7\u0dca\u0da7\u0db8\u0d9a \u0dad\u0db6\u0dcf \u0d9c\u0dd0\u0db1\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0d91\u0dba \u0dc4\u0dd0\u0d9a\u0dd2\u0dbd\u0dd3\u0db8\u0da7 \u0d85\u0db4\u0da7 \u0dc4\u0dd0\u0d9a\u0dd2 \u0dc0\u0dd2\u0dba. </em></p>\n<p><em>\u0da9\u0dd3\u0da9\u0dd3\u0db4\u0dd3(\u0db6\u0dd9\u0daf\u0dcf \u0dc4\u0dbb\u0dd2\u0db1 \u0dbd\u0daf \u0daf\u0dad\u0dca\u0dad \u0dc3\u0db8\u0dcf\u0db1\u0dca\u0dad\u0dbb\u0dc0) \u0dc3\u0dc4 \u0db6\u0dc4\u0dd4-gpu \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0dc0 \u0db1\u0ddc\u0db8\u0dd0\u0dad\u0dd2\u0dc0 \u0dc0\u0dd2\u0dc1\u0dcf\u0dbd \u0dc0\u0dd2\u0db7\u0dda\u0daf\u0db1 (128+) \u0dc3\u0db3\u0dc4\u0dcf \u0d86\u0d9a\u0dd8\u0dad\u0dd2\u0dba \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0da7 \u0db1\u0ddc\u0dc4\u0dd0\u0d9a\u0dd2 \u0dc0\u0db1\u0dd4 \u0d87\u0dad. \u0d94\u0db6\u0da7 fp16 \u0dc3\u0dc4 DDP \u0dc3\u0db8\u0d9f \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dda\u0dad\u0dba \u0d85\u0dc0\u0dc1\u0dca\u0dba \u0db1\u0db8\u0dca <a href=\"https://github.com/lucidrains/stylegan2-pytorch\">\u0dbd\u0dd4\u0dc3\u0dd2\u0da9\u0dca\u0dbb\u0dba\u0dd2\u0dc0\u0dca/\u0dc3\u0dca\u0da7\u0dba\u0dd2\u0dbd\u0dd9\u0d9c\u0db1\u0dca2-\u0db4\u0dba\u0dd2\u0da7\u0ddd\u0da0\u0dca</a>\u0daf\u0dd9\u0dc3 \u0db6\u0dbd\u0db1\u0dca\u0db1. </em></p>\n<p>\u0d85\u0db4\u0dd2\u0db8\u0dd9\u0dba <a href=\"https://github.com/tkarras/progressive_growing_of_gans\">\u0dc3\u0dd9\u0dbd\u0dd9\u0db6\u0dcf-\u0d91\u0da0\u0dca\u0d9a\u0dd2\u0dba\u0dd4 \u0daf\u0dad\u0dca\u0dad \u0d9a\u0da7\u0dca\u0da7\u0dbd\u0dba</a>\u0db8\u0dad \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dc5\u0dd9\u0db8\u0dd4. <a href=\"https://forums.fast.ai/t/download-celeba-hq-dataset/45873/3\">fast.ai \u0dc4\u0dd2 \u0db8\u0dd9\u0db8 \u0dc3\u0dcf\u0d9a\u0da0\u0dca\u0da1\u0dcf\u0dc0\u0dda\u0daf\u0dd3</a>\u0db6\u0dcf\u0d9c\u0dad \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0d8b\u0db4\u0daf\u0dd9\u0dc3\u0dca \u0d94\u0db6\u0da7 \u0dc3\u0ddc\u0dba\u0dcf\u0d9c\u0dad \u0dc4\u0dd0\u0d9a\u0dd2\u0dba. <a href=\"#dataset_path\"><span translate=no>_^_2_^_</span> \u0dc6\u0ddd\u0dbd\u0dca\u0da9\u0dbb\u0dba</a>\u0dad\u0dd4\u0dc5 \u0db4\u0dd2\u0db1\u0dca\u0dad\u0dd6\u0dbb \u0dc3\u0dd4\u0dbb\u0d9a\u0dd2\u0db1\u0dca\u0db1. </p>\n",
 "<h2>Configurations</h2>\n": "<h2>\u0dc0\u0dd2\u0db1\u0dca\u0dba\u0dcf\u0dc3\u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dca</h2>\n",
 "<h2>Dataset</h2>\n<p>This loads the training dataset and resize it to the give image size.</p>\n": "<h2>\u0daf\u0dad\u0dca\u0dad\u0d9a\u0da7\u0dca\u0da7\u0dbd\u0dba</h2>\n<p>\u0db8\u0dd9\u0dba\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0daf\u0dad\u0dca\u0dad \u0d9a\u0da7\u0dca\u0da7\u0dbd\u0dba \u0db4\u0da7\u0dc0\u0db1 \u0d85\u0dad\u0dbb \u0d91\u0dba \u0dbd\u0db6\u0dcf \u0daf\u0dd9\u0db1 \u0dbb\u0dd6\u0db4\u0dba\u0dda \u0db4\u0dca\u0dbb\u0db8\u0dcf\u0dab\u0dba\u0da7 \u0dc0\u0dd9\u0db1\u0dc3\u0dca \u0d9a\u0dbb\u0dba\u0dd2. </p>\n",
 "<h2>Train model</h2>\n": "<h2>\u0daf\u0dd4\u0db8\u0dca\u0dbb\u0dd2\u0dba\u0d86\u0d9a\u0dd8\u0dad\u0dd2\u0dba</h2>\n",
 "<h3>Generate images</h3>\n<p>This generate images using the generator</p>\n": "<h3>\u0dbb\u0dd6\u0db4\u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1</h3>\n<p>\u0db8\u0dd9\u0dba\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0dba\u0db1\u0dca\u0dad\u0dca\u0dbb\u0dba \u0db7\u0dcf\u0dc0\u0dd2\u0dad\u0dba\u0dd9\u0db1\u0dca \u0dbb\u0dd6\u0db4 \u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0dba\u0dd2</p>\n",
 "<h3>Generate noise</h3>\n<p>This generates noise for each <a href=\"index.html#generator_block\">generator block</a></p>\n": "<h3>\u0dc1\u0db6\u0dca\u0daf\u0dba\u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1</h3>\n<p>\u0db8\u0dd9\u0dba\u0d91\u0d9a\u0dca \u0d91\u0d9a\u0dca <a href=\"index.html#generator_block\">\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0d9a\u0ddc\u0da7\u0dc3</a>\u0dc3\u0db3\u0dc4\u0dcf \u0dc1\u0db6\u0dca\u0daf\u0dba \u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0dba\u0dd2</p>\n",
 "<h3>Initialize</h3>\n": "<h3>\u0d86\u0dbb\u0db8\u0dca\u0db7\u0d9a\u0dbb\u0db1\u0dca\u0db1</h3>\n",
 "<h3>Lazy regularization</h3>\n<p>Instead of calculating the regularization losses, the paper proposes lazy regularization where the regularization terms are calculated once in a while. This improves the training efficiency a lot. </p>\n": "<h3>\u0d9a\u0db8\u0dca\u0db8\u0dd0\u0dbd\u0dd2\u0dc0\u0dd2\u0db0\u0dd2\u0db8\u0dad\u0dca \u0d9a\u0dd2\u0dbb\u0dd3\u0db8</h3>\n<p>\u0db1\u0dd2\u0dba\u0dcf\u0db8\u0db1\u0dba\u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0db4\u0dcf\u0da9\u0dd4 \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc0\u0dd9\u0db1\u0dd4\u0dc0\u0da7, \u0d9a\u0da9\u0daf\u0dcf\u0dc3\u0dd2 \u0d9a\u0db8\u0dca\u0db8\u0dd0\u0dbd\u0dd2 \u0db1\u0dd2\u0dba\u0dcf\u0db8\u0db1\u0dba \u0dba\u0ddd\u0da2\u0db1\u0dcf \u0d9a\u0dbb\u0db1 \u0d85\u0dad\u0dbb \u0d91\u0dc4\u0dd2\u0daf\u0dd3 \u0dc0\u0dd2\u0db0\u0dd2\u0db8\u0dad\u0dca \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0db1\u0dd2\u0dba\u0db8\u0dba\u0db1\u0dca \u0dc0\u0dbb\u0d9a\u0da7 \u0dc0\u0dbb\u0d9a\u0dca \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dd4 \u0dbd\u0dd0\u0db6\u0dda. \u0db8\u0dd9\u0dba \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dcf\u0dbb\u0dca\u0dba\u0d9a\u0dca\u0dc2\u0db8\u0dad\u0dcf\u0dc0 \u0dc0\u0dd0\u0da9\u0dd2 \u0daf\u0dd2\u0dba\u0dd4\u0dab\u0dd4 \u0d9a\u0dbb\u0dba\u0dd2. </p>\n",
 "<h3>Sample <span translate=no>_^_0_^_</span></h3>\n<p>This samples <span translate=no>_^_1_^_</span> randomly and get <span translate=no>_^_2_^_</span> from the mapping network.</p>\n<p>We also apply style mixing sometimes where we generate two latent variables <span translate=no>_^_3_^_</span> and <span translate=no>_^_4_^_</span> and get corresponding <span translate=no>_^_5_^_</span> and <span translate=no>_^_6_^_</span>. Then we randomly sample a cross-over point and apply <span translate=no>_^_7_^_</span> to the generator blocks before the cross-over point and <span translate=no>_^_8_^_</span> to the blocks after.</p>\n": "<h3>\u0db1\u0dd2\u0dba\u0dd0\u0daf\u0dd2\u0dba <span translate=no>_^_0_^_</span></h3>\n<p>\u0db8\u0dd9\u0db8\u0dc3\u0dcf\u0db8\u0dca\u0db4\u0dbd <span translate=no>_^_1_^_</span> \u0d85\u0dc4\u0db9\u0dd4 \u0dbd\u0dd9\u0dc3 \u0dc3\u0dc4 \u0dc3\u0dd2\u0dad\u0dd2\u0dba\u0db8\u0dca\u0d9a\u0dbb\u0dab <span translate=no>_^_2_^_</span> \u0da2\u0dcf\u0dbd\u0dba\u0dd9\u0db1\u0dca \u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1. </p>\n<p>\u0d92\u0dc0\u0d9c\u0dda\u0db8 \u0d85\u0db4\u0dd2 \u0d9c\u0dd4\u0db4\u0dca\u0dad \u0dc0\u0dd2\u0da0\u0dbd\u0dca\u0dba\u0dba\u0db1\u0dca \u0daf\u0dd9\u0d9a\u0d9a\u0dca \u0da2\u0db1\u0db1\u0dba <span translate=no>_^_3_^_</span> <span translate=no>_^_4_^_</span> <span translate=no>_^_5_^_</span> \u0dc4\u0dcf \u0d85\u0db1\u0dd4\u0dbb\u0dd6\u0db4 \u0dbd\u0db6\u0dcf \u0d91\u0dc4\u0dd2\u0daf\u0dd3 \u0dc3\u0db8\u0dc4\u0dbb \u0dc0\u0dd2\u0da7 \u0dc1\u0ddb\u0dbd\u0dd2\u0dba \u0db8\u0dd2\u0dc1\u0dca\u0dbb \u0d85\u0daf\u0dcf\u0dc5 <span translate=no>_^_6_^_</span>\u0dc0\u0dda. \u0d89\u0db1\u0dca\u0db4\u0dc3\u0dd4 \u0d85\u0db4\u0dd2 \u0d85\u0dc4\u0db9\u0dd4 \u0dbd\u0dd9\u0dc3 \u0dc4\u0dbb\u0dc3\u0dca \u0d95\u0dc0\u0dbb\u0dca \u0dbd\u0d9a\u0dca\u0dc2\u0dca\u0dba\u0dba\u0d9a\u0dca \u0dc3\u0dcf\u0db8\u0dca\u0db4\u0dbd \u0d9a\u0dbb \u0dc4\u0dbb\u0dc3\u0dca \u0d95\u0dc0\u0dbb\u0dca <span translate=no>_^_7_^_</span> \u0dbd\u0d9a\u0dca\u0dc2\u0dca\u0dba\u0dba\u0da7 \u0db4\u0dd9\u0dbb \u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0d9a\u0dd4\u0da7\u0dca\u0da7\u0dd2 <span translate=no>_^_8_^_</span> \u0dc0\u0dbd\u0da7 \u0dc3\u0dc4 \u0db4\u0dc3\u0dd4\u0dc0 \u0d9a\u0dd4\u0da7\u0dca\u0da7\u0dd2 \u0dc0\u0dbd\u0da7 \u0d85\u0daf\u0dcf\u0dc5 \u0dc0\u0dd9\u0db8\u0dd4. </p>\n",
 "<h3>Train StyleGAN2</h3>\n": "<h3>\u0daf\u0dd4\u0db8\u0dca\u0dbb\u0dd2\u0dba\u0dc0\u0dd2\u0dbd\u0dcf\u0dbaGan2</h3>\n",
 "<h3>Training Step</h3>\n": "<h3>\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0db4\u0dd2\u0dba\u0dc0\u0dbb</h3>\n",
 "<p> </p>\n": "<p> </p>\n",
 "<p><a href=\"index.html#discriminator\">StyleGAN2 Discriminator</a> </p>\n": "<p><a href=\"index.html#discriminator\">Stylegan2 \u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dcf</a> </p>\n",
 "<p><a href=\"index.html#generator\">StyleGAN2 Generator</a> </p>\n": "<p><a href=\"index.html#generator\">StyleGan2 \u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0dba\u0db1\u0dca\u0dad\u0dca\u0dbb\u0dba</a> </p>\n",
 "<p><a href=\"index.html#gradient_penalty\">Gradient Penalty Regularization Loss</a> </p>\n": "<p><a href=\"index.html#gradient_penalty\">Gradient \u0daf\u0dab\u0dca\u0da9\u0db1 \u0db1\u0dd2\u0dba\u0dcf\u0db8\u0db1\u0dba \u0d85\u0d9e\u0dd4 \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0da7</a> </p>\n",
 "<p><a href=\"index.html#mapping_network\">Mapping network</a> </p>\n": "<p><a href=\"index.html#mapping_network\">\u0da2\u0dcf\u0dbd \u0dc3\u0dd2\u0dad\u0dd2\u0dba\u0db8\u0dca\u0d9a\u0dbb\u0dab\u0dba</a> </p>\n",
 "<p><a href=\"index.html#path_length_penalty\">Path length penalty</a> </p>\n": "<p><a href=\"index.html#path_length_penalty\">\u0db8\u0dcf\u0dbb\u0dca\u0d9c\u0dba \u0daf\u0dd2\u0d9c \u0daf\u0dac\u0dd4\u0dc0\u0db8</a> </p>\n",
 "<p><a id=\"dataset_path\"></a> We trained this on <a href=\"https://github.com/tkarras/progressive_growing_of_gans\">CelebA-HQ dataset</a>. You can find the download instruction in this <a href=\"https://forums.fast.ai/t/download-celeba-hq-dataset/45873/3\">discussion on fast.ai</a>. Save the images inside <span translate=no>_^_0_^_</span> folder. </p>\n": "<p><a id=\"dataset_path\"></a> \u0d85\u0db4\u0dd2 \u0db8\u0dd9\u0dba <a href=\"https://github.com/tkarras/progressive_growing_of_gans\">\u0dc3\u0dd9\u0dbd\u0dd9\u0db6\u0dcf-\u0d91\u0da0\u0dca\u0d9a\u0dd2\u0dba\u0dd4 \u0daf\u0dad\u0dca\u0dad \u0d9a\u0da7\u0dca\u0da7\u0dbd\u0dba</a> \u0db8\u0dad \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dc5\u0dd9\u0db8\u0dd4. <a href=\"https://forums.fast.ai/t/download-celeba-hq-dataset/45873/3\">fast.ai \u0dc4\u0dd2 \u0db8\u0dd9\u0db8 \u0dc3\u0dcf\u0d9a\u0da0\u0dca\u0da1\u0dcf\u0dc0\u0dda\u0daf\u0dd3</a>\u0db6\u0dcf\u0d9c\u0dad \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0d8b\u0db4\u0daf\u0dd9\u0dc3\u0dca \u0d94\u0db6\u0da7 \u0dc3\u0ddc\u0dba\u0dcf\u0d9c\u0dad \u0dc4\u0dd0\u0d9a\u0dd2\u0dba. <span translate=no>_^_0_^_</span> \u0dc6\u0ddd\u0dbd\u0dca\u0da9\u0dbb\u0dba \u0dad\u0dd4\u0dc5 \u0db4\u0dd2\u0db1\u0dca\u0dad\u0dd6\u0dbb \u0dc3\u0dd4\u0dbb\u0d9a\u0dd2\u0db1\u0dca\u0db1. </p>\n",
 "<p><span translate=no>_^_0_^_</span> and <span translate=no>_^_1_^_</span> for Adam optimizer </p>\n": "<p><span translate=no>_^_0_^_</span> \u0dc3\u0dc4 \u0d86\u0daf\u0db8\u0dca \u0db4\u0dca\u0dbb\u0dc1\u0dc3\u0dca\u0dad\u0d9a\u0dbb\u0dab\u0dba <span translate=no>_^_1_^_</span> \u0dc3\u0db3\u0dc4\u0dcf </p>\n",
 "<p><span translate=no>_^_0_^_</span> of image resolution </p>\n": "<p><span translate=no>_^_0_^_</span> \u0dbb\u0dd6\u0db4 \u0dc0\u0dd2\u0db7\u0dda\u0daf\u0db1\u0dba\u0dda </p>\n",
 "<p>Accumulate gradients for <span translate=no>_^_0_^_</span> </p>\n": "<p>\u0dc3\u0db3\u0dc4\u0dcf\u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a \u0dc3\u0db8\u0dd4\u0da0\u0dca\u0da0\u0dba <span translate=no>_^_0_^_</span> </p>\n",
 "<p>Add gradient penalty </p>\n": "<p>\u0dc1\u0dca\u0dbb\u0dda\u0dab\u0dd2\u0dba\u0dda\u0daf penalty \u0dd4\u0dc0\u0db8 \u0d91\u0d9a\u0dad\u0dd4 \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Add model hooks to monitor layer outputs </p>\n": "<p>\u0dc3\u0dca\u0dae\u0dbb\u0db4\u0dca\u0dbb\u0dad\u0dd2\u0daf\u0dcf\u0db1\u0dba\u0db1\u0dca \u0d85\u0db0\u0dd3\u0d9a\u0dca\u0dc2\u0dab\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0d86\u0daf\u0dbb\u0dca\u0dc1 \u0d9a\u0ddc\u0d9a\u0dd4 \u0d91\u0d9a\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Add noise tensors to the list </p>\n": "<p>\u0dbd\u0dd0\u0dba\u0dd2\u0dc3\u0dca\u0dad\u0dd4\u0dc0\u0da7\u0dc1\u0db6\u0dca\u0daf \u0d86\u0dad\u0dad\u0dd3\u0db1\u0dca \u0d91\u0d9a\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Add path length penalty </p>\n": "<p>\u0db8\u0dcf\u0dbb\u0dca\u0d9c\u0daf\u0dd2\u0d9c \u0daf penalty \u0dd4\u0dc0\u0db8 \u0d91\u0d9a\u0dad\u0dd4 </p>\n",
 "<p>Batch size </p>\n": "<p>\u0d9a\u0dab\u0dca\u0da9\u0dcf\u0dba\u0db8\u0dca\u0db4\u0dca\u0dbb\u0db8\u0dcf\u0dab\u0dba </p>\n",
 "<p>Calculate and log gradient penalty </p>\n": "<p>\u0dc1\u0dca\u0dbb\u0dda\u0dab\u0dd2\u0dba\u0dda\u0daf penalty \u0dd4\u0dc0\u0db8 \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dbb \u0dbd\u0ddc\u0d9c\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Calculate gradients </p>\n": "<p>\u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a\u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Calculate path length penalty </p>\n": "<p>\u0db8\u0dcf\u0dbb\u0dca\u0d9c\u0dba\u0daf\u0dd2\u0d9c \u0daf penalty \u0dd4\u0dc0\u0db8 \u0d9c\u0dab\u0db1\u0dba </p>\n",
 "<p>Clip gradients for stabilization </p>\n": "<p>\u0dc3\u0dca\u0dae\u0dcf\u0dba\u0dd3\u0d9a\u0dbb\u0dab\u0dba\u0dc3\u0db3\u0dc4\u0dcf \u0d9a\u0dca\u0dbd\u0dd2\u0db4\u0dca \u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a </p>\n",
 "<p>Compute gradients </p>\n": "<p>\u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a\u0d9c\u0dab\u0db1\u0dba </p>\n",
 "<p>Continuous <a href=\"../../utils.html#cycle_dataloader\">cyclic loader</a> </p>\n": "<p>\u0d85\u0d9b\u0dab\u0dca\u0da9 <a href=\"../../utils.html#cycle_dataloader\">\u0da0\u0d9a\u0dca\u0dbb\u0dd3\u0dba \u0d9a\u0dcf\u0dbb\u0d9a\u0dba</a> </p>\n",
 "<p>Convert to PyTorch tensor </p>\n": "<p>PyTorch\u0da7\u0dd9\u0db1\u0dca\u0dc3\u0dbb\u0dba \u0db6\u0dc0\u0da7 \u0db4\u0dbb\u0dd2\u0dc0\u0dbb\u0dca\u0dad\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create an experiment </p>\n": "<p>\u0d85\u0dad\u0dca\u0dc4\u0daf\u0dcf\u0db6\u0dd0\u0dbd\u0dd3\u0db8\u0d9a\u0dca \u0dc3\u0dcf\u0daf\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create configurations object </p>\n": "<p>\u0dc0\u0dd2\u0db1\u0dca\u0dba\u0dcf\u0dc3\u0dc0\u0dc3\u0dca\u0dad\u0dd4\u0dc0 \u0dc3\u0dcf\u0daf\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create data loader </p>\n": "<p>\u0daf\u0dad\u0dca\u0dad\u0db4\u0dd0\u0da7\u0dc0\u0dd4\u0db8 \u0dc3\u0dcf\u0daf\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create dataset </p>\n": "<p>\u0daf\u0dad\u0dca\u0dad\u0dc3\u0db8\u0dd4\u0daf\u0dcf\u0dba \u0dc3\u0dcf\u0daf\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create discriminator and generator </p>\n": "<p>\u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca\u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dcf \u0dc3\u0dc4 \u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0dba\u0db1\u0dca\u0dad\u0dca\u0dbb\u0dba \u0dc3\u0dcf\u0daf\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create mapping network </p>\n": "<p>\u0dc3\u0dd2\u0dad\u0dd2\u0dba\u0db8\u0dca\u0d9a\u0dbb\u0dab\u0da2\u0dcf\u0dbd\u0dba\u0d9a\u0dca \u0dc3\u0dcf\u0daf\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create optimizers </p>\n": "<p>\u0db4\u0dca\u0dbb\u0dc1\u0dc3\u0dca\u0dad\u0d9a\u0dbb\u0dab\u0dba\u0dc3\u0dcf\u0daf\u0db1\u0dca\u0db1 </p>\n",
 "<p>Create path length penalty loss </p>\n": "<p>\u0db8\u0dcf\u0dbb\u0dca\u0d9c\u0daf\u0dd2\u0d9c \u0daf penalty \u0dd4\u0dc0\u0db8\u0dca \u0db1\u0dd0\u0dad\u0dd2\u0dc0\u0dd3\u0db8 </p>\n",
 "<p>Data loader </p>\n": "<p>\u0daf\u0dad\u0dca\u0dad\u0d9a\u0dcf\u0dbb\u0d9a\u0dba </p>\n",
 "<p>Device to train the model on. <a href=\"https://docs.labml.ai/api/helpers.html#labml_helpers.device.DeviceConfigs\"><span translate=no>_^_0_^_</span></a>  picks up an available CUDA device or defaults to CPU. </p>\n": "<p>\u0d86\u0d9a\u0dd8\u0dad\u0dd2\u0dba\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0d8b\u0db4\u0d9a\u0dbb\u0dab\u0dba. <a href=\"https://docs.labml.ai/api/helpers.html#labml_helpers.device.DeviceConfigs\"><span translate=no>_^_0_^_</span></a> \u0dbd\u0db6\u0dcf \u0d9c\u0dad \u0dc4\u0dd0\u0d9a\u0dd2 CUDA \u0d8b\u0db4\u0dcf\u0d82\u0d9c\u0dba\u0d9a\u0dca \u0d85\u0dc4\u0dd4\u0dbd\u0db1\u0dc0\u0dcf \u0dc4\u0ddd CPU \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0da7 \u0db4\u0dd9\u0dbb\u0db1\u0dd2\u0db8\u0dd2. </p>\n",
 "<p>Dimensionality of <span translate=no>_^_0_^_</span> and <span translate=no>_^_1_^_</span> </p>\n": "<p>\u0db8\u0dcf\u0db1\u0dba\u0db1\u0dca\u0dc4\u0dd2 <span translate=no>_^_0_^_</span> \u0dc3\u0dc4 <span translate=no>_^_1_^_</span> </p>\n",
 "<p>Discriminator and generator loss functions. We use <a href=\"../wasserstein/index.html\">Wasserstein loss</a> </p>\n": "<p>\u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca\u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dcf \u0dc3\u0dc4 \u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0db1\u0dd0\u0dad\u0dd2\u0dc0\u0dd3\u0db8\u0dda \u0d9a\u0dcf\u0dbb\u0dca\u0dba\u0dba\u0db1\u0dca. \u0d85\u0db4\u0dd2 <a href=\"../wasserstein/index.html\">\u0dc0\u0ddc\u0dc3\u0dbb\u0dca\u0dc3\u0dca\u0da7\u0dba\u0dd2\u0db1\u0dca \u0db1\u0dd0\u0dad\u0dd2\u0dc0\u0dd3\u0db8</a> \u0db7\u0dcf\u0dc0\u0dd2\u0dad\u0dcf \u0d9a\u0dbb\u0db8\u0dd4 </p>\n",
 "<p>Discriminator and generator losses </p>\n": "<p>\u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca\u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dcf \u0dc3\u0dc4 \u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0db4\u0dcf\u0da9\u0dd4 </p>\n",
 "<p>Discriminator classification for generated images </p>\n": "<p>\u0da2\u0db1\u0db1\u0dba\u0d9a\u0dbb\u0db1 \u0dbd\u0daf \u0dbb\u0dd6\u0db4 \u0dc3\u0db3\u0dc4\u0dcf \u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0dc0\u0dbb\u0dca\u0d9c\u0dd3\u0d9a\u0dbb\u0dab\u0dba </p>\n",
 "<p>Discriminator classification for real images </p>\n": "<p>\u0dc3\u0dd0\u0db6\u0dd1\u0dbb\u0dd6\u0db4 \u0dc3\u0db3\u0dc4\u0dcf \u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0dc0\u0dbb\u0dca\u0d9c\u0dd3\u0d9a\u0dbb\u0dab\u0dba </p>\n",
 "<p>Expand <span translate=no>_^_0_^_</span> and <span translate=no>_^_1_^_</span> for the generator blocks and concatenate </p>\n": "<p>\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a\u0d9a\u0dd4\u0da7\u0dca\u0da7\u0dd2 <span translate=no>_^_0_^_</span> \u0dc3\u0dc4 \u0dc3\u0d82\u0dba\u0dd4\u0d9a\u0dca\u0dad \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 <span translate=no>_^_1_^_</span> \u0dc3\u0db3\u0dc4\u0dcf \u0db4\u0dd4\u0dc5\u0dd4\u0dbd\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Expand <span translate=no>_^_0_^_</span> for the generator blocks </p>\n": "<p>\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a\u0d9a\u0ddc\u0da7\u0dc3\u0dca <span translate=no>_^_0_^_</span> \u0dc3\u0db3\u0dc4\u0dcf \u0db4\u0dd4\u0dc5\u0dd4\u0dbd\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Flush tracker </p>\n": "<p>\u0dc6\u0dca\u0dbd\u0dc2\u0dca\u0da7\u0dca\u0dbb\u0dd0\u0d9a\u0dbb\u0dca </p>\n",
 "<p>Generate images </p>\n": "<p>\u0dbb\u0dd6\u0db4\u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Generate noise for each generator block </p>\n": "<p>\u0d91\u0d9a\u0dca\u0d91\u0d9a\u0dca \u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0d9a\u0ddc\u0da7\u0dc3 \u0dc3\u0db3\u0dc4\u0dcf \u0dc1\u0db6\u0dca\u0daf\u0dba \u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Generate noise to add after the first convolution layer </p>\n": "<p>\u0db4\u0dc5\u0db8\u0dd4\u0d9a\u0dd0\u0da7\u0dd2 \u0d9c\u0dd0\u0dc3\u0dd4\u0dab\u0dd4 \u0dc3\u0dca\u0dae\u0dbb\u0dba\u0dd9\u0db1\u0dca \u0db4\u0dc3\u0dd4 \u0d91\u0d9a\u0dad\u0dd4 \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0dc1\u0db6\u0dca\u0daf\u0dba \u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Generate noise to add after the second convolution layer </p>\n": "<p>\u0daf\u0dd9\u0dc0\u0db1\u0d9a\u0dd0\u0da7\u0dd2 \u0d9c\u0dd0\u0dc3\u0dd4\u0dab\u0dd4 \u0dc3\u0dca\u0dae\u0dbb\u0dba\u0da7 \u0db4\u0dc3\u0dd4 \u0d91\u0d9a\u0dad\u0dd4 \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0dc1\u0db6\u0dca\u0daf\u0dba \u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Generator &amp; Discriminator learning rate </p>\n": "<p>\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a\u0dc3\u0dc4 \u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0d89\u0d9c\u0dd9\u0db1\u0dd4\u0db8\u0dca \u0d85\u0db1\u0dd4\u0db4\u0dcf\u0dad\u0dba </p>\n",
 "<p>Get <span translate=no>_^_0_^_</span> </p>\n": "<p>\u0dbd\u0db6\u0dcf\u0d9c\u0db1\u0dca\u0db1 <span translate=no>_^_0_^_</span> </p>\n",
 "<p>Get <span translate=no>_^_0_^_</span> and <span translate=no>_^_1_^_</span> </p>\n": "<p>\u0dbd\u0db6\u0dcf <span translate=no>_^_0_^_</span> \u0d9c\u0db1\u0dca\u0db1 <span translate=no>_^_1_^_</span> </p>\n",
 "<p>Get discriminator loss </p>\n": "<p>\u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca\u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dcf\u0d9c\u0dda \u0db4\u0dcf\u0da9\u0dd4\u0dc0 \u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Get generator loss </p>\n": "<p>\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a\u0db1\u0dd0\u0dad\u0dd2\u0dc0\u0dd3\u0db8 \u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Get noise </p>\n": "<p>\u0dc1\u0db6\u0dca\u0daf\u0dba\u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Get number of generator blocks for creating style and noise inputs </p>\n": "<p>\u0dc1\u0ddb\u0dbd\u0dd2\u0dba\u0dc3\u0dc4 \u0dc1\u0db6\u0dca\u0daf \u0dba\u0dd9\u0daf\u0dc0\u0dd4\u0db8\u0dca \u0db1\u0dd2\u0dbb\u0dca\u0db8\u0dcf\u0dab\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0d9a\u0ddc\u0da7\u0dc3\u0dca \u0d9c\u0dab\u0db1 \u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Get real images from the data loader </p>\n": "<p>\u0daf\u0dad\u0dca\u0dad\u0db4\u0dd0\u0da7\u0dc0\u0dd4\u0db8\u0dd9\u0db1\u0dca \u0dc3\u0dd0\u0db6\u0dd1 \u0dbb\u0dd6\u0db4 \u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Get the paths of all <span translate=no>_^_0_^_</span> files </p>\n": "<p>\u0dc3\u0dd2\u0dba\u0dbd\u0dd4\u0db8 <span translate=no>_^_0_^_</span> \u0dbd\u0dd2\u0db4\u0dd2\u0d9c\u0ddc\u0db1\u0dd4 \u0dc0\u0dbd \u0db8\u0dcf\u0dbb\u0dca\u0d9c \u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Get the the <span translate=no>_^_0_^_</span>-th image </p>\n": "<p><span translate=no>_^_0_^_</span>-th \u0dbb\u0dd6\u0db4\u0dba \u0dbd\u0db6\u0dcf \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Gradient penalty coefficient <span translate=no>_^_0_^_</span> </p>\n": "<p>\u0dc1\u0dca\u0dbb\u0dda\u0dab\u0dd2\u0dba\u0dda\u0daf\u0dab\u0dca\u0da9\u0db1 \u0dc3\u0d82\u0d9c\u0dd4\u0dab\u0d9a\u0dba <span translate=no>_^_0_^_</span> </p>\n",
 "<p>Height/width of the image </p>\n": "<p>\u0dbb\u0dd6\u0db4\u0dba\u0dda\u0d8b\u0dc3/\u0db4\u0dc5\u0dbd </p>\n",
 "<p>How often to log generated images </p>\n": "<p>\u0da2\u0db1\u0db1\u0dba\u0d9a\u0dbb\u0db1 \u0dbd\u0daf \u0db4\u0dd2\u0db1\u0dca\u0dad\u0dd6\u0dbb \u0dbd\u0ddc\u0d9c\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dda \u0d9a\u0dd9\u0dc3\u0dda\u0daf? </p>\n",
 "<p>How often to save model checkpoints </p>\n": "<p>\u0d86\u0daf\u0dbb\u0dca\u0dc1\u0db8\u0dd4\u0dbb\u0db4\u0ddc\u0dbd\u0dc0\u0dbd\u0dca \u0dc3\u0dd4\u0dbb\u0dd0\u0d9a\u0dd3\u0db8\u0da7 \u0d9a\u0ddc\u0db4\u0db8\u0dab \u0dc0\u0dcf\u0dbb\u0dba\u0d9a\u0dca </p>\n",
 "<p>Ignore if <span translate=no>_^_0_^_</span> </p>\n": "<p>\u0db1\u0db8\u0dca\u0db1\u0ddc\u0dc3\u0dbd\u0d9a\u0dcf \u0dc4\u0dbb\u0dd2\u0db1\u0dca\u0db1 <span translate=no>_^_0_^_</span> </p>\n",
 "<p>Initialize </p>\n": "<p>\u0d86\u0dbb\u0db8\u0dca\u0db7\u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>List to store noise </p>\n": "<p>\u0dc1\u0db6\u0dca\u0daf\u0dba\u0d9c\u0db6\u0da9\u0dcf \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0da7 \u0dbd\u0dd0\u0dba\u0dd2\u0dc3\u0dca\u0dad\u0dd4\u0dc0 </p>\n",
 "<p>Log discriminator loss </p>\n": "<p>\u0dbd\u0ddc\u0d9c\u0dca\u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dcf\u0d9c\u0dda \u0d85\u0dbd\u0dcf\u0db7\u0dba </p>\n",
 "<p>Log discriminator model parameters occasionally </p>\n": "<p>\u0dc0\u0dd2\u0da7\u0dd2\u0db1\u0dca\u0dc0\u0dd2\u0da7 \u0dbd\u0ddc\u0d9c\u0dca \u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0d86\u0d9a\u0dd8\u0dad\u0dd2 \u0db4\u0dbb\u0dcf\u0db8\u0dd2\u0dad\u0dd3\u0db1\u0dca </p>\n",
 "<p>Log generated images </p>\n": "<p>\u0dbd\u0ddc\u0d9c\u0dca\u0da2\u0db1\u0db1\u0dba \u0d9a\u0dbb\u0db1 \u0dbd\u0daf \u0dbb\u0dd6\u0db4 </p>\n",
 "<p>Log generator loss </p>\n": "<p>\u0dbd\u0ddc\u0d9c\u0dca\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a \u0db1\u0dd0\u0dad\u0dd2\u0dc0\u0dd3\u0db8 </p>\n",
 "<p>Loop for <span translate=no>_^_0_^_</span> </p>\n": "<p>\u0dbd\u0dd6\u0db4\u0dca\u0dc3\u0db3\u0dc4\u0dcf <span translate=no>_^_0_^_</span> </p>\n",
 "<p>Mapping network learning rate (<span translate=no>_^_0_^_</span> lower than the others) </p>\n": "<p>\u0da2\u0dcf\u0dbd\u0d89\u0d9c\u0dd9\u0db1\u0dd4\u0db8\u0dca \u0d85\u0db1\u0dd4\u0db4\u0dcf\u0dad\u0dba \u0dc3\u0dd2\u0dad\u0dd2\u0dba\u0db8\u0dca\u0d9c\u0dad \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 (\u0d85\u0db1\u0dd9\u0d9a\u0dca \u0d92\u0dc0\u0dcf\u0da7 \u0dc0\u0da9\u0dcf<span translate=no>_^_0_^_</span> \u0d85\u0da9\u0dd4) </p>\n",
 "<p>Mix styles </p>\n": "<p>\u0db8\u0ddd\u0dc3\u0dca\u0dad\u0dbb\u0db8\u0dd2\u0dc1\u0dca\u0dbb \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Multiply by coefficient and add gradient penalty </p>\n": "<p>\u0dc3\u0d82\u0d9c\u0dd4\u0dab\u0d9a\u0dba\u0db8\u0d9c\u0dd2\u0db1\u0dca \u0d9c\u0dd4\u0dab \u0d9a\u0dbb \u0dc1\u0dca\u0dbb\u0dda\u0dab\u0dd2\u0dba\u0dda \u0daf penalty \u0dd4\u0dc0\u0db8 \u0d91\u0d9a\u0dad\u0dd4 \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Next block has <span translate=no>_^_0_^_</span> resolution </p>\n": "<p>\u0d8a\u0dc5\u0d9f\u0dc0\u0dcf\u0dbb\u0dab\u0dba\u0da7 <span translate=no>_^_0_^_</span> \u0dc0\u0dd2\u0db7\u0dda\u0daf\u0db1\u0dba\u0d9a\u0dca \u0d87\u0dad </p>\n",
 "<p>Noise resolution starts from <span translate=no>_^_0_^_</span> </p>\n": "<p>\u0dc1\u0db6\u0dca\u0daf\u0dc0\u0dd2\u0db7\u0dda\u0daf\u0db1\u0dba \u0d86\u0dbb\u0db8\u0dca\u0db7 \u0dc0\u0db1\u0dca\u0db1\u0dda <span translate=no>_^_0_^_</span> </p>\n",
 "<p>Number of blocks in the generator (calculated based on image resolution) </p>\n": "<p>\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a\u0dba\u0db1\u0dca\u0dad\u0dca\u0dbb\u0dba\u0dda \u0db6\u0dca\u0dbd\u0ddc\u0d9a\u0dca \u0d9c\u0dab\u0db1 (\u0dbb\u0dd6\u0db4 \u0dc0\u0dd2\u0db7\u0dda\u0daf\u0db1\u0dba \u0db8\u0dad \u0db4\u0daf\u0db1\u0db8\u0dca\u0dc0 \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dd4 \u0dbd\u0dd0\u0db6\u0dda) </p>\n",
 "<p>Number of images </p>\n": "<p>\u0dbb\u0dd6\u0db4\u0d9c\u0dab\u0db1 </p>\n",
 "<p>Number of layers in the mapping network </p>\n": "<p>\u0dc3\u0dd2\u0dad\u0dd2\u0dba\u0db8\u0dca\u0d9a\u0dbb\u0dab\u0da2\u0dcf\u0dbd\u0dba\u0dda \u0dc3\u0dca\u0dae\u0dbb \u0d9c\u0dab\u0db1 </p>\n",
 "<p>Number of steps to accumulate gradients on. Use this to increase the effective batch size. </p>\n": "<p>\u0db8\u0dad\u0db5\u0dbd\u0dba \u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a \u0dc3\u0db8\u0dd4\u0da0\u0dca\u0da0\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0da7 \u0db4\u0dd2\u0dba\u0dc0\u0dbb \u0d9c\u0dab\u0db1. Effective \u0dbd\u0daf\u0dcf\u0dba\u0dd3 \u0d9a\u0dab\u0dca\u0da9\u0dcf\u0dba\u0db8\u0dca \u0db4\u0dca\u0dbb\u0db8\u0dcf\u0dab\u0dba \u0dc0\u0dd0\u0da9\u0dd2 \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0da7 \u0db8\u0dd9\u0dba \u0db7\u0dcf\u0dc0\u0dd2\u0dad\u0dcf \u0d9a\u0dbb\u0db1\u0dca\u0db1. </p>\n",
 "<p>Optimizers </p>\n": "<p>\u0db4\u0dca\u0dbb\u0dc1\u0dc3\u0dca\u0dad\u0d9a\u0dbb\u0dab\u0dba </p>\n",
 "<p>Path length penalty calculation interval </p>\n": "<p>\u0db8\u0dcf\u0dbb\u0dca\u0d9c\u0daf\u0dd2\u0d9c \u0daf penalty \u0dd4\u0dc0\u0db8\u0dca \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0db4\u0dbb\u0dad\u0dbb\u0dba </p>\n",
 "<p>Probability of mixing styles </p>\n": "<p>\u0db8\u0ddd\u0dc3\u0dca\u0dad\u0dbb\u0db8\u0dd2\u0dc1\u0dca\u0dbb \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0dda \u0dc3\u0db8\u0dca\u0db7\u0dcf\u0dc0\u0dd2\u0dad\u0dcf\u0dc0 </p>\n",
 "<p>Random cross-over point </p>\n": "<p>\u0d85\u0dc4\u0db9\u0dd4\u0dc4\u0dbb\u0dc3\u0dca \u0d95\u0dc0\u0dbb\u0dca \u0dbd\u0d9a\u0dca\u0dc2\u0dca\u0dba\u0dba </p>\n",
 "<p>Reset gradients </p>\n": "<p>\u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a\u0dba\u0dc5\u0dd2 \u0db4\u0dd2\u0dc4\u0dd2\u0da7\u0dd4\u0dc0\u0db1\u0dca\u0db1 </p>\n",
 "<p>Resize the image </p>\n": "<p>\u0dbb\u0dd6\u0db4\u0dba\u0dc0\u0dd9\u0db1\u0dc3\u0dca \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Return images and <span translate=no>_^_0_^_</span> </p>\n": "<p>\u0d86\u0db4\u0dc3\u0dd4\u0db4\u0dd2\u0db1\u0dca\u0dad\u0dd6\u0dbb \u0dc3\u0dc4 <span translate=no>_^_0_^_</span> </p>\n",
 "<p>Return noise tensors </p>\n": "<p>\u0d86\u0db4\u0dc3\u0dd4\u0dc1\u0db6\u0dca\u0daf \u0d86\u0dad\u0dad\u0dd3\u0db1\u0dca </p>\n",
 "<p>Run the training loop </p>\n": "<p>\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0dbd\u0dd6\u0db4\u0dba \u0db0\u0dcf\u0dc0\u0db1\u0dba \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Sample <span translate=no>_^_0_^_</span> and <span translate=no>_^_1_^_</span> </p>\n": "<p>\u0db1\u0dd2\u0dba\u0dd0\u0daf\u0dd2\u0dba <span translate=no>_^_0_^_</span> \u0dc3\u0dc4 <span translate=no>_^_1_^_</span> </p>\n",
 "<p>Sample images from generator </p>\n": "<p>\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a\u0dba\u0db1\u0dca\u0dad\u0dca\u0dbb\u0dba\u0dd9\u0db1\u0dca \u0db1\u0dd2\u0dba\u0dd0\u0daf\u0dd2 \u0db4\u0dd2\u0db1\u0dca\u0dad\u0dd6\u0dbb </p>\n",
 "<p>Save model checkpoints </p>\n": "<p>\u0d86\u0daf\u0dbb\u0dca\u0dc1\u0db8\u0dd4\u0dbb\u0db4\u0ddc\u0dbd\u0dc0\u0dbd\u0dca \u0dc3\u0dd4\u0dbb\u0d9a\u0dd2\u0db1\u0dca\u0db1 </p>\n",
 "<p>Set configurations and override some </p>\n": "<p>\u0dc0\u0dd2\u0db1\u0dca\u0dba\u0dcf\u0dc3\u0dba\u0db1\u0dca\u0dc3\u0d9a\u0dc3\u0db1\u0dca\u0db1 \u0dc3\u0dc4 \u0dc3\u0db8\u0dc4\u0dbb \u0d92\u0dc0\u0dcf \u0d85\u0db7\u0dd2\u0db6\u0dc0\u0dcf \u0dba\u0db1\u0dca\u0db1 </p>\n",
 "<p>Set models for saving and loading </p>\n": "<p>\u0d89\u0dad\u0dd2\u0dbb\u0dd2\u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc3\u0dc4 \u0db4\u0dd0\u0da7\u0dc0\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0d86\u0d9a\u0dd8\u0dad\u0dd2 \u0dc3\u0d9a\u0dc3\u0db1\u0dca\u0db1 </p>\n",
 "<p>Set tracker configurations </p>\n": "<p>\u0da7\u0dca\u0dbb\u0dd0\u0d9a\u0dbb\u0dca\u0dc0\u0dd2\u0db1\u0dca\u0dba\u0dcf\u0dc3\u0dba\u0db1\u0dca \u0dc3\u0d9a\u0dc3\u0db1\u0dca\u0db1 </p>\n",
 "<p>Skip calculating path length penalty during the initial phase of training </p>\n": "<p>\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0dc0\u0dda\u0d86\u0dbb\u0db8\u0dca\u0db7\u0d9a \u0d85\u0daf\u0dd2\u0dba\u0dbb\u0dda\u0daf\u0dd3 \u0db8\u0dcf\u0dbb\u0dca\u0d9c \u0daf\u0dd2\u0d9c \u0daf penalty \u0dd4\u0dc0\u0db8 \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0db8\u0d9f \u0dc4\u0dbb\u0dd2\u0db1\u0dca\u0db1 </p>\n",
 "<p>Start the experiment </p>\n": "<p>\u0d85\u0dad\u0dca\u0dc4\u0daf\u0dcf\u0db6\u0dd0\u0dbd\u0dd3\u0db8 \u0d86\u0dbb\u0db8\u0dca\u0db7 \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Take a training step </p>\n": "<p>\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0db4\u0dd2\u0dba\u0dc0\u0dbb\u0d9a\u0dca \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>Take optimizer step </p>\n": "<p>\u0db4\u0dca\u0dbb\u0dc1\u0dc3\u0dca\u0dad\u0dd2\u0d9a\u0dbb\u0dab\u0db4\u0dd2\u0dba\u0dc0\u0dbb \u0d9c\u0db1\u0dca\u0db1 </p>\n",
 "<p>The first block has only one <span translate=no>_^_0_^_</span> convolution </p>\n": "<p>\u0db4\u0dc5\u0db8\u0dd4\u0d9a\u0ddc\u0da7\u0dc3 \u0d87\u0dad\u0dca\u0dad\u0dda \u0d91\u0d9a\u0dca <span translate=no>_^_0_^_</span> \u0dc3\u0d82\u0dc0\u0dc4\u0db1\u0dba\u0d9a\u0dca \u0db4\u0db8\u0dab\u0dd2 </p>\n",
 "<p>The interval at which to compute gradient penalty </p>\n": "<p>\u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a\u0daf penalty \u0dd4\u0dc0\u0db8 \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dc5 \u0dba\u0dd4\u0dad\u0dd4 \u0d9a\u0dcf\u0dbd \u0dc3\u0dd3\u0db8\u0dcf\u0dc0 </p>\n",
 "<p>Total number of training steps </p>\n": "<p>\u0db8\u0dd4\u0dc5\u0dd4\u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0db4\u0dd2\u0dba\u0dc0\u0dbb \u0d9c\u0dab\u0db1 </p>\n",
 "<p>Train the discriminator </p>\n": "<p>\u0dc0\u0dd9\u0db1\u0dc3\u0dca\u0d9a\u0db8\u0dca\u0d9a\u0dbb\u0db1\u0dca\u0db1\u0dcf \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Train the generator </p>\n": "<p>\u0d8b\u0dad\u0dca\u0db4\u0dcf\u0daf\u0d9a\u0dba\u0db1\u0dca\u0dad\u0dca\u0dbb\u0dba \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dbb\u0db1\u0dca\u0db1 </p>\n",
 "<p>Training mode state for logging activations </p>\n": "<p>\u0dbd\u0ddc\u0d9c\u0dca\u0dc0\u0dd3\u0db8 \u0dc3\u0d9a\u0dca\u0dbb\u0dd2\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dc3\u0db3\u0dc4\u0dcf \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0db8\u0dcf\u0daf\u0dd2\u0dbd\u0dd2\u0dba\u0dda \u0dad\u0dad\u0dca\u0dc0\u0dba </p>\n",
 "<p>Transformation </p>\n": "<p>\u0db4\u0dbb\u0dd2\u0dc0\u0dbb\u0dca\u0dad\u0db1\u0dba </p>\n",
 "<p>Update <span translate=no>_^_0_^_</span>. Set whether to log activation </p>\n": "<p>\u0dba\u0dcf\u0dc0\u0dad\u0dca\u0d9a\u0dcf\u0dbd\u0dd3\u0db1\u0d9a\u0dd2\u0dbb\u0dd3\u0db8 <span translate=no>_^_0_^_</span>. \u0dc3\u0d9a\u0dca\u0dbb\u0dd2\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8 \u0dbd\u0ddc\u0d9c\u0dca \u0d9a\u0dc5 \u0dba\u0dd4\u0dad\u0dd4\u0daf \u0dba\u0db1\u0dca\u0db1 \u0dc3\u0d9a\u0dc3\u0db1\u0dca\u0db1 </p>\n",
 "<p>We need to calculate gradients w.r.t. real images for gradient penalty </p>\n": "<p>\u0d85\u0db4\u0dd2\u0db5\u0dbd\u0dba \u0d85\u0db1\u0dd4\u0d9a\u0dca\u0dbb\u0db8\u0dd2\u0d9a \u0daf\u0dac\u0dd4\u0dc0\u0db8 \u0dc3\u0db3\u0dc4\u0dcf wr. \u0dc3\u0dd0\u0db6\u0dd1 \u0dbb\u0dd6\u0db4 \u0d9c\u0dab\u0db1\u0dba \u0d9a\u0dd2\u0dbb\u0dd3\u0db8\u0da7 \u0d85\u0dc0\u0dc1\u0dca\u0dba </p>\n",
 "<p>Whether to log model layer outputs </p>\n": "<p>\u0d86\u0daf\u0dbb\u0dca\u0dc1\u0dc3\u0dca\u0dae\u0dbb \u0db4\u0dca\u0dbb\u0dad\u0dd2\u0daf\u0dcf\u0db1\u0dba\u0db1\u0dca \u0dbd\u0ddc\u0d9c\u0dca \u0d9a\u0dc5 \u0dba\u0dd4\u0dad\u0dd4\u0daf \u0dba\u0db1\u0dca\u0db1 </p>\n",
 "<p>Without mixing </p>\n": "<p>\u0db8\u0dd2\u0dc1\u0dca\u0dbb\u0db1\u0ddc\u0d9a\u0dbb </p>\n",
 "<ul><li><span translate=no>_^_0_^_</span> path to the folder containing the images </li>\n<li><span translate=no>_^_1_^_</span> size of the image</li></ul>\n": "<ul><li><span translate=no>_^_0_^_</span> \u0db4\u0dd2\u0db1\u0dca\u0dad\u0dd6\u0dbb \u0d85\u0da9\u0d82\u0d9c\u0dd4 \u0dc6\u0ddd\u0dbd\u0dca\u0da9\u0dbb\u0dba\u0da7 \u0dba\u0db1 \u0db8\u0dcf\u0dbb\u0dca\u0d9c\u0dba </li>\n<li><span translate=no>_^_1_^_</span> \u0dbb\u0dd6\u0db4\u0dba\u0dda \u0db4\u0dca\u0dbb\u0db8\u0dcf\u0dab\u0dba</li></ul>\n",
 "An annotated PyTorch implementation of StyleGAN2 model training code.": "StyleGan2 \u0d86\u0daf\u0dbb\u0dca\u0dc1 \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4 \u0d9a\u0dda\u0dad\u0dba \u0dc0\u0dd2\u0dc0\u0dbb\u0dca\u0dae\u0db1\u0dba \u0d9a\u0dbb\u0db1 \u0dbd\u0daf PyTorch \u0d9a\u0dca\u0dbb\u0dd2\u0dba\u0dcf\u0dad\u0dca\u0db8\u0d9a \u0d9a\u0dd2\u0dbb\u0dd3\u0db8.",
 "StyleGAN 2 Model Training": "StyleGan 2 \u0d86\u0daf\u0dbb\u0dca\u0dc1 \u0db4\u0dd4\u0dc4\u0dd4\u0dab\u0dd4\u0dc0"
}