论文笔记-Multimodal Unsupervised Image-to-Image Translation
发布时间
阅读量：
阅读量
论文信息
论文标题：Multimodal Unsupervised Image-to-Image Translation
论文出处：ECCV 2018
论文作者：Xun Huang, Ming-Yu Liu, Serge J. Belongie, Jan Kautz
研究机构：康奈尔大学；英伟达
代码链接：https://github.com/nvlabs/MUNIT
引用信息：
@inproceedings{DBLP:conf/eccv/HuangLBK18,
author = {Xun Huang and
Ming{-}Yu Liu and
Serge J. Belongie and
Jan Kautz},
editor = {Vittorio Ferrari and
Martial Hebert and
Cristian Sminchisescu and
Yair Weiss},
title = {Multimodal Unsupervised Image-to-Image Translation},
booktitle = {Computer Vision - {ECCV} 2018 - 15th European Conference, Munich,
Germany, September 8-14, 2018, Proceedings, Part {III}},
series = {Lecture Notes in Computer Science},
volume = {11207},
pages = {179--196},
publisher = {Springer},
year = {2018},
url = {https://doi.org/10.1007/978-3-030-01219-9\_11},
doi = {10.1007/978-3-030-01219-9\_11},
timestamp = {Tue, 14 May 2019 10:00:45 +0200},
biburl = {https://dblp.org/rec/conf/eccv/HuangLBK18.bib},
bibsource = {dblp computer science bibliography, https://dblp.org}
}论文要点
- 关键贡献：本研究开发了一种多模态的非监督图像转换技术，在作者团队之前工作的UNIT基础上进行了优化与创新。 UNIT主要实现了不同领域间共性特征的识别与提取，在此基础之上,MUNIT则进一步将其细化为区分域无关的内容信息与域相关的风格信息，并通过分解信息中的不同属性并重组它们来实现图像风格转换的目的。
- 参考价值
- 域适应方法
- 特征分解与整理技术
- 损失函数设计
- 参考价值
要点翻译
该方法包含两种核心机制：第一种是自编码器分离图片内容特征与风格特征后仍可重建原始图像；第二种是基于内容-风格迁移机制，在整合源图片内容与目标领域风格要素的基础上生成目标领域输出
图像的自编码体现在两个层面：（1）在图像层面，一张图片可被拆分为内容特性和风格特性后得以重建；（2）在特性层面中的一张图片的内容特性结合另一张图片之风格特性生成新图片后再次提取并解耦其风格信息，则由此生成的新图片再次提取并解耦其风格信息后的内容特性和风格特性应分别对应于原始图片之相关内容特性和风格特性
损失函数
双模重建损失：不仅涉及图像与特征之间的相互重建（即图像到特征再到图像的过程），也包含特征与图像之间的相互重建（即特征到图像再到特征的过程），这正是前面所述的两个自编码器的表现
图像级重建损失：
外部链接中的图片因防盗链问题无法直接访问，请确保将图片保存后再重新上传至该网站。(C:\Users\Kingsley\AppData\Roaming\Typora\tipora-user-images\image-20201002232511496.png)
特征级重建损失：
翻译图像的对抗损失：
总体损失：
全部评论 (0)
还没有任何评论哟~