解救独身狗:这个目标生成器帮你看看未来目标长啥样

解救独身狗:这个目标生成器帮你看看未来目标长啥样
来历:机器之心微信大众号 不知道自己未来的老婆 or 老公长什么样?来,咱们先用 AI 猜测出一个。 独身多年的你,是否曾梦想另一半的容貌?最近,有这样一个开源项目在深度学习社区火了起来——经过神经网络生成你另一半的容颜。想知道自己会和什么样的人在一起吗?已有网友测验了生成作用。 项目地址:https://github.com/irfanICMLL/CoupleGenerator 作者自己介绍,这是一个自 2017 年便开源了的项目,其时运用的是 TensorFlow,不过最近项目有更新到GitHub。 得到目标只需 8800 步练习 项目运用了一百多位新婚夫妇的成婚相片,图画是经过爬虫从百度上爬取下来的。 这些成婚照都有着一致的模板:喜庆而单一的赤色布景,明晰的人脸和五官,对模型练习比较友爱和便利。练习样本之一。爬取办法:https://blog.csdn.net/qq_27879381/article/details/65015280#comments 在模型构建和练习上,项目选用了 VGG 作为骨架网络学习图画特征。VGG 是一种常见的神经网络架构,发布于 2014 年,作者是 Karen Simonyan 和 Andrew Zisserman,该网络标明堆叠多个层是进步计算机视觉功能的关键因素。VGGNet 包含 16 或 19 层,首要由小型的 3×3 卷积操作和 2×2 池化操作组成。 VGG 的长处在于,堆叠多个小的卷积核而不运用池化操作可以添加网络的表征深度,一起约束参数的数量。例如,经过堆叠 3 个 3×3 卷积层而不是运用单个的 7×7 层,可以战胜一些约束。 首要,这样做组合了三个非线性函数,而不只是一个,使得决策函数更有判别力和表征才能。第二,参数量减少了 81%,而感触野坚持不变。别的,小卷积核的运用也扮演了正则化器的人物,并进步了不同卷积核的有效性。 在生成成果的过程中,模型运用 pix2pix 的方法。Pix2pix 是一种根据 GAN 架构的风格转化模型,来自论文《Image-to-Image Translation with Conditional Adversarial NetWorks》,作者包含朱俊彦等,论文在 CVPR 2017 宣布后,已有多种结构的完成。 Pix2pix 运用成对的图片数据,学习从一个图画到另一个图画的转化方法,并生成可以以假乱真的图画。 运用 pix2pix 完成不同风格和用处图画的相互转化。 在 Pix2pix 中,生成器选用 encoder-decoder 或 U-Net 的架构。 两种 Pix2pix 的生成器架构。 那么,应该怎样运用这个项目呢? 运用办法 在项目中,作者供给了一些内容,包含: CKPT 模型文件: https://cloudstor.aarnet.edu.au/plus/s/YHDWgez1g3RFc6o VGG 权重文件: https://github.com/machrisaa/tensorflow-vgg 练习数据: https://cloudstor.aarnet.edu.au/plus/s/VWZJaWfbla3kFch 在运用的过程中,你需求下载 VGG 权重文件和练习数据,下载代码到运转环境中并运转 autotest.sh 文件。 作用 在练习 8800 步后,模型对给定的图片供给了生成成果,如下所示: 考虑到练习数据并不算多,生成图画的质量还有进步的空间。此外咱们可以注意到,模型也学习了一些风趣的特征,比方右上角原始图画中有成婚证,则生成的图画中也保存了成婚证这一要素。 项目作者介绍 这个项目的作者是一位十分美丽的小姐姐,现在在澳大利亚阿德莱德大学攻读计算机科学博士学位,师从沈春华教授。Yifan Liu。 Liu 同学本科和硕士就读于北京航空航天大学自动化科学与电气工程学院,曾取得 2016 年北京市优异毕业生。在 2018 年 11 月进入阿德莱德大学攻读博士学位之前,她曾是微软亚研高档研讨员、2018 年 ACM 出色会员王井东教授的拜访学生。 Liu 的首要研讨方向是神经计算、模式辨认等范畴,包含图画语义切割等。在学术研讨方面,2017 至 2019 年,她作为一作或其他作者的多篇论文被 CVPR、ICCV、PAKDD、IEA/AIE、PACLING 等世界学术会议接纳,有一些为 Oral 论文。 这是她的个人主页:https://irfanicmll.github.io/ 实测作用怎样样 为了试一试项目的作用,咱们也下载了项目的预练习权重(迭代 8800 次)以及 VGG16 的预练习权重。因为数据集十分小,咱们先用项目中的数据试一试作用。如下所示咱们用项目 datasets 目录下的图画做测验,其间左边为两组输入图画,右侧为输出图画。从生成成果来看,不管性别,另一半的容颜总是可以被生成出来的,还进行了一点磨皮。 假如咱们只给一张人像呢?现在看起来,模型的生成规则是输出输入图画中左边的人像,假如只输入一张人像的作用可能会变差。为了验证这个主意,咱们将上述两张图都截成一个单一人像并输入模型。正如所料,现在生成作用不太好。如下所示左边为两组输入样本,右侧为输出作用。 假如数据不从测验数据会集取得呢?在默许输入规则为夫妻合照的情况下,咱们再次进行了新的测验。经过输入不在数据会集的夫妻人像样本,并查看模型的生成作用。如下图所示,左边为输入图画,右侧为输出成果,生成的图画较难辨认。夫妻图画来自网络查找成果。 固然,运用现有数据猜测未来目标的容颜这种主意是很不错的,可是因为数据量太小,模型的泛化才能还没有到达应有的要求。总的来说,独身狗还不能光靠这个生成一张自己目标的相片。 项目作者也表明,数据量比较少,作用也不太好,可是仍然欢迎咱们运用代码和数据进行进一步的练习,咱们也会进一步重视项目的发展。