原文链接

　　https://arxiv.org/abs/1901.05127

摘要

　　在本文中，首先使用自注意力机制(self-attention mechanism)构建了一种风格事先未知的重构自编码器(reconstruction autoencoder),在这过程中可以得到原始图像的注意力图(attention map)。通过在内容feature和风格feature上进行多尺度的风格变换，produce出代表多种笔画模式(stroke pattern)的feature maps。之后使用了一种灵活的混合模式来从attention map中包含最重要的特点，使得不同的笔画模式(stroke pattern)和谐地组成输出图像的不同特殊区域。

引言

　　现有的方法无法协调内容图和风格图之间视觉注意力的特殊分布。使用了相同的方式渲染风格化图像的不同区域(如前景和背景)，导致了风格化不足(Style-Swap)，未能预期的模式(AdaIN，StrokePrymaid)，或者失真的注意力区域(WCT, Avatar-Net)。由于使用了注意力机制和多笔划融合策略，本文的方法可以，并保证和原图的关注区域不变。
　　为了解决这些问题，本文引入了注意力一致性(即内容图和风格化的图视觉注意力分布的空间一致性)。具体来说，文中引入了自注意力机制来作为自编码器的互补，自注意力模块计算所有位置features的加权和作为一个位置的响应，来取得图像区域中长范围的独立性。通过自注意力机制的自编码器重构过程，attention map可以捕获任何内容图像中的最重要特征。将attention map注入多笔划的融合模块，和谐地合成不同的笔划模式，来实现空间比划大小的自动控制。
　　本文的主要贡献：

　在自编码器框架中引入了自注意力机制
　提出了多尺度的风格交换
　通过结合attention map，提出了一种灵活的混合策略将不同的区域笔划模式和谐地混合

提出的方法

　　训练和测试的过程如下图所示：
　　
　　训练时只需要原图像即可(不需要风格化的图像)，构建一个自注意力模块，得到attention map。测试时只需要(一张)风格图作为输入，通过多尺度笔划的融合完成风格转换。图中fc表示内容feature，fs表示风格feature，Ac表示attention map。自注意力模块通过内容feature生成attention map。