AI论文:ClothFlow基于外观流的穿衣人生成模型

摘要

提出了一个基于外观流的生成模型ClothFlow,该模型可以合成穿衣人,用于定位引导的人的图像生成和虚拟试穿。ClothFlow通过估计源和目标服装区域之间的密集流动,有效地模拟了几何变化,自然地转移了外观,合成了新的图像,如图1所示。我们通过一个three-stage框架实现了这一点:
1)以目标姿态为条件,我们首先估计一个人的语义布局,为生成过程提供更丰富的指导。
2)级联流量估计网络建立在两个特征金字塔网络的基础上,准确地估计出对应服装区域之间的外观匹配。由此产生的稠密流扭曲源图像,灵活地解释变形。
3)最后,生成网络以扭曲的服装区域为输入,呈现目标视图。

我们在DeepFashion数据集和VITON数据集上进行了大量的实验,分别用于定位引导的人物图像生成和虚拟实验任务。较强的定性和定量结果验证了该方法的有效性。

Pose-guided person generation和虚拟穿衣领域的处理主流方法:

  • Deformation-base methods(例如:TPS;CNN)该方法的主要问题当衣服较大的几何变化,容易导致不准确。不自然的变换预估
  • DensePose-base methods该方法2D图片映射到3D人体,结果看起来不够逼真

因此作者提出了ClothFlow方法;解决衣服变形;从而更好的合成人穿衣的图片。

实现

  • Stage1:Condition Layout Genteration 使用UNet图像分割网络(训练50K)
  • Stage2:Clothing Flow Estimation使用2个FPN网络作为Encoder F1使用UNet网络(训练200K)
  • Stage3:Rendering输入Source Image、Stage2生成Wraped Cloth和Stage1生成的Target Seq和Target Pose通过UNet网络(训练200K)合成最终图片

以上神经网络模型实现可以参考开源项目https://github.com/qubvel/segmentation_models

小工蚁认为:随着5G和人工智能技术不断完善,虚拟试衣消费者通过手机摄像头采集人体姿势,选择自己想要试穿的衣服,手机端立刻呈现消费者试穿衣服的效果,这一天到来将越来越近了。

推荐文章

沪公网安备 31010702002009号