【每周CV论文】初学GAN图像风格化必须要读的文章

欢迎来到《每周CV论文》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

 

图像风格化是生成对抗网络的一大应用,今天给大家推荐初学该领域必须要读的文章。

 

作者&编辑 | 言有三

1 有监督Pix2Pix模型

当前大部分基于生成对抗网络的风格化模型都受到了Pix2Pix的影响,或借鉴其部分结构,或借鉴其代码。Pix2Pix是一个条件GAN的变种,它使用成对的图像作为训练数据集,完成图像到图像的翻译,是最经典的有监督图像风格化GAN模型。

 

文章引用量:3000+

推荐指数:✦✦✦✦✦

[1] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1125-1134.

2 无监督CycleGAN

Pix2Pix是最经典的有监督图像风格化GAN模型,CycleGAN[2]则是最经典的无监督图像风格化GAN模型,是后续大部分无监督GAN模型的鼻祖。它无须构建一对一映射的训练数据集,是图像风格化能够真正得以大规模商业化应用的基础,类似的框架还有UNIT[3]。

 

文章引用量:3000+

推荐指数:✦✦✦✦✦

[2] Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2223-2232.

[3] Liu M, Breuel T M, Kautz J, et al. Unsupervised Image-to-Image Translation Networks[C]. neural information processing systems, 2017: 700-708.

3 多领域转换StarGAN

原始的Pix2Pix,CycleGAN都只能解决两个领域之间的转换,虽然也可以对其进行拓展。StarGAN[4-5]的提出则只需要学习一个模型,就可以解决多领域间的转换问题,是当前最经典的多领域风格迁移框架。

 

文章引用量:600+

推荐指数:✦✦✦✦✦

[4] Choi Y, Choi M, Kim M, et al. Stargan: Unified generative adversarial networks for multi-domain image-to-image translation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 8789-8797.

[5] Choi Y, Uh Y, Yoo J, et al. StarGAN v2: Diverse Image Synthesis for Multiple Domains[J]. arXiv: Computer Vision and Pattern Recognition, 2019.

4 风格编码框架StyleGAN

在风格转换中最重要的就是学习到优秀的风格编码,StyleGAN[6]是当前最好的风格编码网络,它可以精确控制所生成图像的属性,是必须掌握的框架。

 

文章引用量:400+

推荐指数:✦✦✦✦✦

[6] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.

[7] Karras T, Laine S, Aittala M, et al. Analyzing and Improving the Image Quality of StyleGAN.[J]. arXiv: Computer Vision and Pattern Recognition, 2019. 

5 典型应用

图像风格化可以用于任何从一个域到另一个或者多个域转换的场景,不论是图像增强,图像分割,还是特定的风格迁移,这里我们给大家推荐人脸方向的两个经典应用,妆造迁移[8]以及人脸动画风格[9],其他的可以自行学习。

 

文章引用量:30+

推荐指数:✦✦✦✦✧

[8] Li T, Qian R, Dong C, et al. BeautyGAN: Instance-level Facial Makeup Transfer with Deep Generative Adversarial Network[C]. acm multimedia, 2018: 645-653.

[9] Kim J, Kim M, Kang H, et al. U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation[C]. international conference on learning representations, 2020.

6 文章解读

关于GAN图像风格化相关文章的详细解读,在有三AI知识星球-网络结构1000变-GAN下有较多的文章,感兴趣可以移步。

总结

 

本次我们介绍了基于GAN的图像风格化领域中值得读的文章,当前研究重点在于无监督模型,多域转换,图像细节控制,交互式方法等方向,读者可以继续关注。

有三AI知识星球

知识星球是有三AI的付费内容社区,里面包括各领域的模型学习,数据集下载,公众号的付费图文原稿,技术总结PPT和视频,知识问答,书籍下载,项目推荐,线下活动等资源,了解详细请阅读以下文章:

 

【杂谈】有三AI知识星球一周年了!为什么公众号+星球才是完整的?

【杂谈】万万没想到,有三还有个保密的‘朋友圈’,那里面都在弄啥!

 

转载文章请后台联系

侵权必究