近日,来自 Google 的研究人员与 Max Planck 信息学研究所和麻省理工学院 CSAIL 一起,发布了一个名为 DragGAN 的图像编辑工具。这是一个非常直观的图像编辑工具,用户只需要控制图像中的像素点和方向,就可以让图像变形。
看到这样的描述可能还没有直观的感受,不如先看看下面这张 GIF 图。一句话总结,DragGAN 可以让用户快速调整照片主体的位置、姿态、表情、大小和角度等。
如今文本转图像的工具已经非常多了,但你输入的提示词跟你最终想要的图像并不一定能够完全一致,可能在大小、角度等各个方面存在一些偏差。DragGAN 真正有趣的地方在于,它不仅可以生成逼真的图像,还可以灵活和精确地控制图像。
与之前的许多方法相比,DragGAN 的研究人员通过不依赖领域特定的建模或辅助网络,提出了一个通用框架。为了实现这一点,DragGAN 包含两个主要组成部分:基于特征的运动监督,引导手柄点向目标位置移动;以及一种新的点追踪方法,利用判别生成器特征来定位手柄点的位置。
研究人员表示,他们的方法在基于 GAN 的操作中优于 SOTA,并为图像编辑开辟了新方向。在接下来的几个月里,他们希望将基于点的编辑扩展到 3D 生成模型。
虽然该项目的代码到 6 月才会发布,但目前在 GitHub 上已有 4.8K Stars。
(文/开源中国)