在编辑照片时,需要一些特别的东西才能让疲惫的摄影师惊叹不已。Adobe最近发布了最新的公开测试版Adobe Photoshop,其中包含一个新的生成填充功能,可以使用生成人工智能技术在现有照片中创建逼真的物体、背景和场景扩展。

我们已经看到Adobe的生成式人工智能的实现Adobe萤火虫这是一个基于网络的工具,可以根据文本提示创建完整的合成图像。生成填充使用Firefly技术以更有针对性的方式编辑现有图像,很快将生成AI作为Photoshop的标准功能。(一些与其他生成人工智能系统相结合的第三方Photoshop插件已经有一段时间了,比如羊驼稳定的人工智能)。

图像制作机器是如何工作的

像Firefly这样的生成式AI系统年代完全原创的图像,基于在文本提示中描述的内容。它不会将现有图像的部分抬起并将它们放在一起以创建新的构图。相反,该系统利用从数以百万计的照片中学习到的知识,创造出与它所理解的文本含义相匹配的场景和对象。像“晚上下雨的街道上的古董车”这样的提示会从随机的大量像素中组合出一幅图像,与系统所理解的“汽车”、“雨”、“街道”和“夜晚”相匹配。系统通常会根据你的主题提供多种变体。

在Adobe萤火虫生成图像,从一个文本提示。

如果你已经有了一张晚上下雨的街道的照片,你想在构图中添加一辆古董车呢?使用Photoshop的生成填充功能,你可以选择一个你想要汽车出现的区域,然后输入“古董车”来生成一个(这也被称为“inpainting”)。或者,您可以选择要从图像中删除的对象,并使用生成填充,而不需要特定的文本提示,让工具确定如何填充缺失的区域。

Adobe正在使这个过程比其他生成式人工智能系统更用户友好。它具有将工具直接构建到Photoshop中的主场优势,其中生成填充运动具有干净直接的界面。相比之下,流行的Midjourney服务要求你加入一个Discord服务器,订阅该服务,进入一个设置为接收文本提示的聊天室,然后使用“想象一下晚上下雨的街道上行驶的古董车”等命令输入你想要生成的内容。你的搜索结果会显示在一个滚动的讨论框中,与同一聊天室中其他人生成的图像一起显示。

Photoshop的方法推出了一个新的上下文任务栏,其中包含选择主题或删除背景等命令。当您使用任何选择工具(例如套索工具)进行选择时,有一个选项在酒吧里是生成填充按钮。

在Photoshop中选择一个可见的上下文任务栏。

单击该按钮将显示一个文本字段,您可以在其中描述应该在选择中创建的内容。或者,您可以将该字段留空,然后单击Generate按钮,让Photoshop根据周围场景的上下文确定将出现什么。

点击“生成填充”将显示文本提示字段。

一旦你点击“生成”,Photoshop产生三个萤火虫生成的变化,并向你展示第一个。您可以使用上下文任务栏中的按钮或单击属性面板中的缩略图来循环浏览它们。如果它们都不好看,你可以再次点击“生成”来获得另外三个变体。

生成结果后,旅游者被移除。这是三个变体之一,在Properties面板中以缩略图的形式可见。

(顺便说一下,如果你对上下文任务栏出现在每个选择项的正下方感到沮丧,你可以把它拖到你想要的地方,然后点击栏上的三个点图标,从菜单中选择“固定栏位置”。)

所有的变化都包含在一个新类型的层中,生成层,它还包括你选择的区域的蒙版。如果你对图像的另一个区域应用生成填充,将创建一个新的生成层。所有的变化都保存在这些图层中,所以你可以回去尝试无损的变化,隐藏或显示图层,设置混合模式和不透明度,并使用所有其他灵活的图层属性。

另外请注意,生成填充正在创建与原始照片相同分辨率的结果。这与大多数系统(包括web上的Firefly)形成对比,后者生成的图像分辨率较低,通常为1024 * 1024像素。

现在让我们看看生成填充可以做什么。

删除对象

通常,当您使用工具从照片中删除不需要的项目时,软件会尝试使用图像中其他地方的像素来填充缺失的区域(参见清除所有的东西:使用现代软件清除讨厌的东西)。当要删除的区域很大时,这会变得更加困难,导致重复的工件,使某些东西明显被删除。

相反,生成填充会查看图像的上下文,并尝试在其位置上创建有意义的内容。在上面的例子中,我们删除了游客,Photoshop重新创建了建筑物的线条和颜色,并匹配了地面的纹理。

但是你不能假设这个功能每次都会正确。以下面两个人的形象为例。我们可以尝试删除一个人(左边的人),方法是用套索工具在他周围做一个松散的选择来定义我们想要替换的区域,然后单击Generate,在文本框中不添加任何内容。奇怪的是,在多次尝试中,该工具假设我们想用另一个随机的人来代替这个人。这些都是合成人的噩梦。

当文本框留空时,Photoshop真的不想把右边的人单独留下,于是生成了一些看起来很吓人的替代“人”。

根据Adobe的说法,不需要打字命令如下当使用生成填充时,“移除人”作为提示,但最终,输入提示给了我们想要的结果。但请注意,虽然Photoshop返回了一个没有人物的变体(见下文),但它也创建了两个仍然包含人物的变体。

我们也许可以把这归因于该功能的预发布,尽管更有可能的是,它揭示了尽管有大量的机器学习,软件仍然只是猜测。

根据Adobe的在线建议,你不需要编写像“Remove person”这样的命令,但在这个版本中,它最终成功了。

更换物品和区域

移除对象是一回事,但是用完全不同的东西替换它们呢?使用生成填充,您可以创建原始图像中从未出现过的东西。例如,在下面的图片中,我们可以将其中一种甜点变成蓝莓挞,方法是在覆盆子周围选择(稍微扩大选择范围有助于找出覆盆子背后的纸张质地),并在文本提示框中输入“蓝莓”。经过几次迭代才找到一个匹配的,但这些蓝莓看起来很有说服力。

原始图像与覆盆子选择。 把前景挞里的覆盆子换成蓝莓。

或者背景里的饮料呢?我们可以选择左边的杯子,然后输入“品脱啤酒”作为提示,而不是冷萃咖啡。请注意,为了配合它所取代的景深,玻璃不仅略微失焦,而且还反射出前面的覆盆子挞和旁边的咖啡。

后面的冷咖啡换成了一品脱啤酒。

将任意物品添加到空白区域可能更容易出错,如果你所选择的物品大小和形状大致正确,你将获得更好的结果。在这种情况下,我们在前景画了一个矩形选区,并输入提示“狗躺着”,然后Photoshop创建了几个小狗的变化,我们最喜欢下面这个。光线和阴影的角度相当吻合。

原始照片与矩形选择。
添加一只狗使每个场景更好,特别是当灯光保持一致时。

除了替换或添加前景对象外,通过使用Select Subject和反转选择来选择背景,我们可以输入提示来重新定义整个场景的上下文。

原图选择背景。我们将选区扩大了20个像素,这样它就包含了车辆的边缘。 用“Snowy road”替换背景。
将背景替换为“Jungle road”。

生成填充也可以用在更外科的方式,比如改变某人的衣服。这也会产生不可预测的结果,这取决于你想要创造什么。然而,在某些情况下,渲染的图像看起来很好。

原始照片与周围的服装选择。 文本提示“灰色龟领毛衣”应用。

请记住,它可能需要多次提示请求和修改才能得到您想要的结果。而真正有时尚感的人可能会对Photoshop的选择吹毛求疵。你可以在下面看到一些不同的服装。

我向你保证,这不是什么时尚报道的主题。

扩展画布

生成填充的另一个重要功能是能够扩展画布并在照片的原始框架之外创建内容,也称为“外画”。使用裁剪工具(并确保背景层未锁定),拖动以设置图像的新尺寸。选择空白区域,并重叠现有图像的边缘作为参考。

扩展裁剪区域,选择空白区域,确保选择到原始图像的边缘。

和以前一样,您可以单击生成填充,然后单击生成,而不需要文本提示,让Photoshop计算出来。

扩展的结果。

当然,如果你要扩展一个真实地点的图像,软件并不知道风景的细节;它仍然只是对新领域应该出现的东西进行有根据的机器学习猜测。所以,特别是当你在拍摄一个知名地区的照片时,不要指望定位准确。

将原图像的右侧进行扩展。 Photoshop用逼真的效果填充了缺失的区域。
在这张真实场景的广角照片中,右边没有树,小路分岔了。

如何获得ps公测版

生成填充功能出现在最新的Photoshop 24.6.0公开测试版中,Creative Cloud订阅者可以使用。在Creative Cloud应用程序中,在侧边栏中选择Beta应用程序,并在右侧列表中查找Photoshop (Beta)。点击Install。Photoshop的测试版和发布版可以同时存在于您的计算机上;测试版不会覆盖你已经安装的东西。

在Creative Cloud应用程序中获取Photoshop公测版。

警告很多,但未来就在这里

因为生成填充还在测试阶段,有些结果是惊人的,而另一些则是完全荒谬的。此外,该输出还不打算用于商业用途,根据Adobe在一篇宣布该功能的博客文章中写道:“免责声明:生成填充Photoshop(测试版)应用程序对所有订阅或试用包含Photoshop的Creative Cloud会员开放。生成填充目前不能用于商业用途,不能用于18岁以下的人,不能在中国使用,只能使用英语文本提示。”

值得一提的是,生成图层可以显着增加Photoshop文件的大小(或从Lightroom发送照片时创建的分层tiff)。上面那张有多种背景变化的面包车的照片最终以分层TIFF格式占用了2.67 GB的空间。删除未使用的生成层和变体会产生很大的不同,或者将结果保存为TIFF并丢弃这些层。

与此同时,Creative Cloud的订阅者可以探索测试版的功能,并向Adobe提供反馈。每个变体缩略图包括一个三点菜单,您可以在其中标记结果的好坏,删除变体,或报告潜在的违反有害或冒犯性内容的行为。

如果你没有ps图象处理软件的测试版,你可以玩这些功能Adobe萤火虫在网上。该服务现在对任何人开放,包括生成填充功能,您可以将其应用于上传的图像。