Automatic Unpaired Shape Deformation Transfer
论文：《Geometry Learning》上的文章 Arxiv
代码：代码库 Github
本文的核心目标是实现运动迁移技术的研究与应用。目前针对形变迁移问题的研究还存在诸多挑战：
- 要求成对数据
或要求point-wise的对应关系
运动迁移示意图
以图片为例，在源领域(source domain)中存在一个瘦子的人体动作迁移至目标领域(target domain)中的胖子身上具有挑战性。传统的方法通常需要建立源域与目标域之间的精确一一对应的运动数据关联，在这种关联下才能实现动作迁移操作。其中(point-wise)指的是在人体三维模型中单个顶点层面的配准关系（这里假设人体三维模型是由多个小三角形组成的几何结构）。然而显而易见的是这些严格的配准需求在实际应用中并不十分可行
解决办法
- 采用VAE-CycleGAN模型来实现上述问题的求解。
- 在运动迁移的过程中加入相似性约束条件后，则能够保证身份信息在迁移过程中的稳定性和一致性。
下面对这两点进行详细解读：
使用VAE-CycleGAN
VAE-CycleGAN
该系统展示了模型的训练流程与推理状态。整体架构设计简洁明了。
在推断阶段中, 输入图片经过Encoder模块获取图像特征信息, 然后进一步完成后续处理任务。
完成运动迁移后，在目标域上应用解码器来进行重构。值得注意的是，在本研究中涉及的人体三维模型迁移过程主要关注于关键点坐标的提取与重建工作。具体而言，在该过程中假设共有B个关键点作为输入与输出对象，并且每个关键点包含9个坐标参数来描述其空间位置关系。
维的矩阵）。
上文提及运用运动迁移策略时遇到了一个关键问题：如何保证所迁移的是真实的运动？从理论上讲，在解码器设计中旨在更好地重构目标域时，默认假设通过引入相似性约束项实现这一目标。不仅会从源域继承并传输源域的运动信息以及身份特征，并且会在目标域中进行嵌入表示；而更为重要的是，在这一研究框架下，默认假设通过引入相似性约束项实现这一目标的同时还能够保留源语境的关键属性。因此在保持目标身份特征的同时实现了有效语义转换。
相似性约束
传统的判别三维人体模型相似性的方法一般采用基于Light Field Distance的技术。如果能够根据编码后的特征计算出两者之间的光场距离，则可以通过最小化该光场距离来实现运动迁移网络前后两端的相似性优化（即identity信息）。即旨在使运动迁移网络前后两端的光场距离（即identity信息）达到最小。然而存在一个问题：计算得到的光场距离既繁琐又难以求导
于是，在此作者设计了一个神经网络用于计算匹配光场距离。网络架构如下：
similarity network
模型的损失函数
模型的损失主要包含三个组成部分：GAN-Loss、Cycle-Consistency Loss 和 Similarity Network Loss。
模型loss