[Paper Reading] Volumetric Appearance Stylization with Stylizing Kernel Prediction Network

1. 这篇文章究竟讲了什么问题? 通过体积风格转移的方法,来高效地构造颜色外观上符合要求的、异质单反射体积。 网络使用了一个体积的自编码器,并且使用了 stylizing kernel predictor 2. 这个问题的性质是什么?如果不完全是一个新问题,那为什么它“仍然重要”? 属于改进性质的问题,之前已经有不少人研究过了体积上的风格迁移,但是文章提出的方法能够得到更好的效果。 同时这篇 paper 也属于 Artistic Appearance Design,传统的方法需要较为复杂的人工调整才能得到较好的效果,而本文的方法不需要人工干预,效率更高。 3. 这篇文章致力于证明什么假设? 证明它的这套风格迁移的框架是 work 的,并且效果很好 4. 有哪些与这篇文章相关的研究? Neural Style Transfer for Images Neural Style Transfer for 3D Contents Artistic Appearance Design Differentiable Rendering 5. 这篇文章提出的问题解决方案中,核心贡献是什么? 核心 idea 提出了一个将颜色外观从二维图形转移到三维图形上的框架 细节 设计了一个多尺度的基于 kernel 的神经网络来进行任意的风格迁移并保证时间上的一致性 SKP 首先使用 CNN (VGG) 来提取多个尺度的二维图片上的特征 然后选用 channel-wise 的均值和方差(实际网络中用的是标准差)进行拼接,得到一个特征向量 将这个向量通过一系列全连接层映射到一个 kernel 上 VolAE 经典的 encoder-decoder 结构,中间带有 skip 连接 在 decode 阶段将前面 SKP 得到的 kernel 插入进来,来将二维的风格加入到生成的体积中 引入了一个密度感知的 instance normalization 层,来避免色彩偏移...

February 13, 2022 · 2 min · 246 words · NCJ