動(dòng)漫風(fēng)格遷移?AnimeGANv2?，發(fā)布線上運(yùn)行?Demo

作者 | 神經(jīng)星星出品 | HyperAI超神經(jīng)By 超神經(jīng)

內(nèi)容一覽：最強(qiáng)二次元風(fēng)格遷移模型 AnimeGAN 更新啦，現(xiàn)在可以在線上輕松運(yùn)行模型，還可以調(diào)整風(fēng)格參數(shù)，輸出你想要的照片效果。

關(guān)鍵詞：風(fēng)格遷移 機(jī)器視覺 二次元

AnimeGANv2 最近發(fā)布了一項(xiàng)更新，由社區(qū)貢獻(xiàn)者開發(fā)，通過 Gradio 實(shí)現(xiàn)了一個(gè)可以在線運(yùn)行的 Demo，發(fā)布在 huggingface 上。

訪問

https://huggingface.co/spaces/akhaliq/AnimeGANv2

即可在線上輕松實(shí)現(xiàn) AnimeGANv2  的處理效果（僅支持靜態(tài)圖片處理）。

AnimeGAN：三次元通通變二

AnimeGAN 是基于 CartoonGAN 的改進(jìn),并提出了一個(gè)更加輕量級(jí)的生成器架構(gòu)，2019 年 AnimeGAN 首次開源便以不凡的效果引發(fā)了熱議。

AnimeGANv2 線上測(cè)試效果

在初始版本發(fā)布時(shí)的論文《AnimeGAN: a novel lightweight GAN for photo animation》中還提出了三個(gè)全新的損失函數(shù)，用于提升風(fēng)格化的動(dòng)漫視覺效果。

這三個(gè)損失函數(shù)分別是：灰度風(fēng)格損失，灰度對(duì)抗損失、顏色重建損失。

AnimeGAN 與其他動(dòng)漫風(fēng)格遷移模型的效果對(duì)比

去年九月發(fā)布的 AnimeGANv2 優(yōu)化了模型效果，解決了 AnimeGAN 初始版本中的一些問題。

在 v2 中還新增了新海誠(chéng)、宮崎駿、今敏三位漫畫家漫畫風(fēng)格的訓(xùn)練數(shù)據(jù)集。

AnimeGAN 初代模型運(yùn)行效果

AnimeGANv2 模型運(yùn)行效果

以馬斯克為例，AnimeGAN 初代的效果已經(jīng)很令人驚艷，只是太過于白嫩病嬌，仿佛韓國(guó)男團(tuán)成員。相比之下，v2 更加自然，也更貼合真實(shí)氣質(zhì)。

AnimeGANv2 的更新重點(diǎn)：

- 解決了生成的圖像中高頻偽影的問題；

- v2 更易于訓(xùn)練，并能直接達(dá)到論文所述的效果；

- 進(jìn)一步減少生成器網(wǎng)絡(luò)的參數(shù)數(shù)量。(生成器大小 8.17Mb)；

- 加入更多高質(zhì)量影像數(shù)據(jù)。

項(xiàng)目信息

TensorFlow 版本環(huán)境配置要求

• python 3.6

  
  

• tensorflow-gpu

  
  

• tensorflow-gpu 1.8.0 (ubuntu, GPU 1080Ti or Titan xp, cuda 9.0, cudnn 7.1.3)

  
  

• tensorflow-gpu 1.15.0 (ubuntu, GPU 2080Ti, cuda 10.0.130, cudnn 7.6.0)

  
  

• opencv

  
  

• tqdm

  
  

• numpy

  
  

• glob

  
  

• argparse

  
  

PyTorch 實(shí)現(xiàn)

權(quán)重轉(zhuǎn)換

git clone https://github.com/TachibanaYoshino/AnimeGANv2python convert_weights.py 推理

python test.py --input_dir [image_folder_path] --device [cpu/cuda]

墻內(nèi) Colab 運(yùn)行

項(xiàng)目 GitHub
https://github.com/TachibanaYoshino/AnimeGANv2

線上 Demo
https://huggingface.co/spaces/akhaliq/AnimeGANv2

墻內(nèi) Colab

https://openbayes.com/console/open-tutorials/containers/pROHrRgKItf

眉清目秀的張三不像壞人