投稿
  1. 谷达鸭首页
  2. 投稿

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

谷达鸭官方 • • 投稿
史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

在过去，每一个网站小编都会用PhotoShop来将图片去背，然后把一张图片贴在另外一张图片的图层上，才能进行简单的合成图。 而且如果是人物的话，头发的处理更是复杂，简单的将人物移花接木到其它背景上，往往就要处理大半天。

不过，现在「AI拼图」技术太强，你根本不需要这么麻烦。

例如，这是一份看似平平无奇的日式便当。

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

但你敢信，其实每一格食物都是 P 上去的，而且原图还是这样的？

直接抠图贴上去，效果一眼看出来是假的▲ 直接抠图贴上去，效果一眼看出来是假的

背后操作者并不是什么 PS 大师，而是一只 AI，名字很直白：拼图扩散（Collage Diffusion）。

随便找几张小图拿给它，AI 就能自己看懂图片内容，再把各元素非常自然地拼成一张大图 —— 完全不存在一眼假。

其效果惊艳了不少网友。

甚至还有 PS 爱好者直呼道：这简直是个天赐之物…… 希望很快能在 Automatic1111（ Stable Diffusion 用户常用的网络 UI，也有内建在 PS 中的外挂版）中看到它。

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

为什么效果这么自然？

实际上，此 AI 生成的「日式便当」还有好几个生成版本 —— 都很自然。

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

至于为啥还有多种版本？ 问就是因为用户还能自定义，在总体不变得太离谱的前提下，他们可以微调各种细节。

除了《日式便当》，它还有不少出色的作品。

比如，这是拿给 AI 的素材，P 图痕迹明显：

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

这是 AI 拼好的图，反正我愣是没看出什么 P 图痕迹：

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

话说这两年，文字生成图像的扩散模型真的是大红了，DALL・E 2和Imagen都是基于此开发出来的应用。 这种扩散模型的优点，是生成图片多样化、质量较高。

不过，文字终究对于目标图像，最多只能起到模糊的规范作用，所以用户通常要花大量时间调整提示（prompt），还得搭配上额外的控制元件，才可以取得不错的效果。

就拿前文展示的日式便当来说：

如果用户只输入「一个装有米饭、毛豆、生姜和寿司的便当盒」，那就既没描述哪种食物放到哪一格，也没有说明每种食物的外观。 但如果非要讲清楚的话，用户恐怕得写一篇小作文了……

鉴于此，斯坦福团队决定从别的角度出发。

他们决定参考传统思路，通过拼图来生成最终图像，并由此开发出了一种新的扩散模型。

有意思的是，说白了，这种模型也算是用经典技术拼出来的。

首先是分层：使用基于图层的图像编辑 UI，将源图像分解成一个个 RGBA 图层（R、G、B 分别代表红、绿、蓝，A 代表透明度），然后将这些图层排列在画布上，并把每个图层和文字提示配对。

通过分层，可以修改图像中的各种元素。

到目前为止，分层已经是电脑图形领域中一项成熟的技术，不过此前分层信息一般是作为单张图片输出结果使用的。

而在这种新型拼图扩散模型中，分层信息成了后续操作的输入。

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

除了分层，还搭配了现有的基于扩散的图像协调技术，提升图像视觉品质。

总而言之，该算法不仅限制了对象的某些属性（如视觉特征）的变化，同时允许属性（方向、光照、透视、遮挡）发生改变。

—— 从而平衡了还原度和自然度之间的关系，生成“神似”且毫无违和感的图片。

操作过程也很 easy，在互动编辑模式下，用户在几分钟内就能创作一幅拼贴画。

他们不仅可以自订场景中的空间排列顺序（就是把从别处扣出来的图放到适当的位置）; 还能调整生成图像的各个组件。 用同样的源图，可以得出不同的效果。

最右列是这个 AI 的输出结果▲ 最右列是这个 AI 的输出结果

而在非交互式模式下（即用户不拼图，直接把一堆小图丢给 AI），AI 也能根据拿到的小图，自动拼出一张效果自然的大图。

研究团队

最后，来说说背后的研究团队，他们是斯坦福大学计算机科学系的一群师生。

史丹佛大学公开AI拼图Collage Diffusion算法、丢给它几张食材图AI就能帮你拼成一个便当

论文一作，Vishnu Sarukkai 现为斯坦福计算机科学系研究生，还是硕博连读的那种。 他的主要研究方向为：计算机图形学、计算机视觉和机器学习。

此外，论文的共同作者 Linden Li，也是斯坦福计算机科学系研究生。

在校求学期间，他曾到英伟达实习4个月，与NVIDIA深度学习研究小组合作，参与训练了增加100M+参数的视觉转换器模型。

论文地址：

https://arxiv.org/abs/2303.00262

赞 (0)
打赏 微信扫一扫 微信扫一扫
谷达鸭官方谷达鸭官方
0 0

相关推荐

发表回复

登录后才能评论