字节豆包SeedEdit上线,AI修图成大厂AI应用新焦点?

智车科技

2周前

昨天,字节跳动的豆包大模型团队,在公众号上秀出了最新的通用图像编辑模型SeedEdit。

动动嘴都能修图不是梦?

首先,小雷是对设计一窍不通的,毕竟我不是干设计这一行的。

但是嘛,这只要浸淫在互联网上的人,多少应该都会对传说中设计行业里那几道百年难得一遇的亘古难题,还有各种奇葩甲方才会提出的变态要求有所耳闻。

有道是,你的图片做得很好,那让画面里的大象转个身应该没有什么困难吧。

有道是,你的黑色有些单调,我希望能够看到一种五彩斑斓的黑色呢。

006APoFYly1gok20yfp32g30dc0dcmyx.jpg

就不说设计师们看到这些会不会气血上涌了,我一个负责文字工作的人,看到这种批注都有点难顶。

重点是你也不能说些什么,要知道画面另一头就是金主爸爸,而且他们对这些是真的不懂

到头来,工作就是工作,不管甲方要求有多离谱都得去做,哪怕客户要你把他照片里的拉链给拉上,你能做到的也只有截个图发到社交媒体上给大伙乐一乐,然后为了生活想尽办法去解决问题。

image.png

(图源:新浪微博)

不过,凡是问题,终究是会有解决办法的,只是这次的解决办法可能有点特殊。

昨天,字节跳动的豆包大模型团队,在公众号上秀出了最新的通用图像编辑模型SeedEdit。

官方表示,这款模型主打的就是「让一句话轻松P图成为现实」,用户只需输入简单的自然语言,便可对图像进行多样化编辑操作,包括修图、换装、美化、风格转化以及在指定区域添加或删除元素等。

听起来很不可思议?其实我也是这么觉得的。

让大象转个身

想体验这个功能的话,其实还蛮简单的就是了。

根据官方的说法,目前该模型已经在豆包PC端即梦网页端开启测试,豆包手机端暂时还用不了这个功能。

接下来,只要点击侧边栏的「图片生成」,应该就能看到上传参考图的选项了,这里就是SeedEdit模型的入口。

要做的事情很简单,上传图片,然后输入我们想要改变的内容。

比方说,像画面里面这种大象背对我们喝水的照片,如果我想让它转身的话,那应该怎么做呢?

答案是,输入「让大象面对我」。

image.png

(图源:雷科技)

对比一下两张图片。

可以看到,SeedEdit生成的大象正面是非常合乎逻辑的,耳朵的形状、脚部的位置、身体的颜色都做得相当不错,周围的环境也保持了高度的一致,当然部分石头形状存在差异这点,细心点还是能看出来的。

新建项目.jpg

(图源:雷科技)

生成后的图片还可以再次编辑,这点真的很棒。

image.png

(图源:雷科技)

不过进一步的操作,似乎就无法实现了。

我在豆包修改过的图片基础上,继续提出图片编辑的要求,但不论是「让大象跑起来」、「让大象用鼻子喷水」或者是「让大象侧过身子」,基本上很难得到令人满意的结果。

叫它喷水,结果这水确实是喷出来了,但却不是从鼻子里喷出来的,而是从象牙的部分喷出来的。

想让大模型理解啥叫作常识,确实不是件容易的事情。

让大象侧站.png

(图源:雷科技)

再换个人像,或者说模型的照片试试。

因为我家里环境有限嘛,所以一般来说,拍手办的背景就比较凑合,没有时间也没有啥精力去造景拍摄。

不过现在嘛,我让它「把背景换成城市」

image.png

(图源:雷科技)

效果有点平?那就改成「夕阳西下的光照质感」。

你还真别说,这感觉马上就到位了,整个过程中,我只对豆包说了简单的两句要求,体验起来真的很丝滑。

对贫困的胶佬来说,布景和打光的繁琐步骤或许真的能省略掉了。

更换背景 (1).png

(图源:雷科技)

当然,这些都是在原图上的小打小闹,如果我想直接更换画面主体呢?

比如「指鹿为马」

image.png

(图源:雷科技)

实际生成的效果确实很不错,不仅草地背景保留得挺完整,连马身上的纹理之类的都进行了替换。

如果不看原图,基本很难察觉比例上的问题。

换衣服也没啥问题,连光影和褶皱都改得挺到位的。

image.png

(图源:雷科技)

试了一下汽车,目前SeedEdit是不认识小米SU7的。

不过我随便传了一张五菱宏光Mini EV的照片上去,然后输入了一个异常复杂的编辑指令。

image.png

(图源:雷科技)

最后生成的车子,虽然不像玛莎拉蒂,但起码也有个跑车形状了。

AI修图,爆发在即

事实上,如今AI在绘画这块儿,已经能让我们眼前一亮了。

但是在图像编辑领域,AI技术其实是相对落后的,无法进行精准编辑,一直是行业的老大难问题。

在今年以前,这类需求一般通过Stable Diffusion的ControlNet插件来实现。

它可以获取额外的输入图像,通过不同的预处理器转换为控制图,进而作为Stable Diffusion扩散的额外条件,只需使用文本提示词,就可以在保持图像主体特征的前提下任意修改图像细节。

v2-98c016a02aecfe8f73343672cd211694_r.jpg

(图源:新浪微博,识别特征并进行重新绘制)

本地部署AI应用这事,和大部分小白是基本无缘的。

所以在进入今年后,包括ChatGPT/DALLE3、Midjourney、百度超能画布都推出了局部重绘应用,试图充当在线编辑图片的功能。

不过这类应用,大多数时候还得咱们手动涂抹,选定你要修改的对象,然后输入各种提示词来做修改。

640.jpg

(图源:雷科技

需要掌握正确的AI话术,才能获得理想的修图质量,门槛还是有点高了。

如果,我是说如果,我们只需要给定输入图像和告诉模型要做什么的文本描述,然后模型就能遵循描述指令来编辑图像,那得多省事儿啊。

字节端出的SeedEdit,确实是朝着这个方向努力的。

不过图修多了,问题也就出来了,目前这款模型在生成图片时还是有一些问题存在的。

首先,缺乏人像前后的一致性。

只要涉及到人物面部的修图,那么最终出来的图像和原图的差异会很夸张,基本上看不出来原来的样子。

image.png

(图源:雷科技

其次,缺乏图片内容的方向性。

对于元素较多的图像,目前SeedEdit很难判断你要修改的是图片里的哪个元素,即便偶然识别对了,出来的图片效果也会异常扭曲。

image.png

(图源:雷科技

最后,文字处理能力依然不行。

就像早期AI绘画那样,目前SeedEdit会编造文字内容,下面这三行小字看似有点逻辑,我看了半天,愣是没认出来写的是个啥。

修改产品文字.png

(图源:雷科技

在我看来,SeedEdit的出现,算是弥补了国产大模型在语义AI修图应用这块的空白。

可以预见的是,随着AI图像编辑技术的不断发展,未来手机、电脑都可能会集成这项功能,就像AI消除、AI扩图那样走进寻常百姓家。无论是小白还是大咖,每个人都有机会轻松上手使用,让自己对美的理解可以更直观地展现出来。

修图有手就行?或许真的不是梦。

    来源:雷科技

    原文标题 : 字节豆包SeedEdit上线,AI修图成大厂AI应用新焦点?

    昨天,字节跳动的豆包大模型团队,在公众号上秀出了最新的通用图像编辑模型SeedEdit。

    动动嘴都能修图不是梦?

    首先,小雷是对设计一窍不通的,毕竟我不是干设计这一行的。

    但是嘛,这只要浸淫在互联网上的人,多少应该都会对传说中设计行业里那几道百年难得一遇的亘古难题,还有各种奇葩甲方才会提出的变态要求有所耳闻。

    有道是,你的图片做得很好,那让画面里的大象转个身应该没有什么困难吧。

    有道是,你的黑色有些单调,我希望能够看到一种五彩斑斓的黑色呢。

    006APoFYly1gok20yfp32g30dc0dcmyx.jpg

    就不说设计师们看到这些会不会气血上涌了,我一个负责文字工作的人,看到这种批注都有点难顶。

    重点是你也不能说些什么,要知道画面另一头就是金主爸爸,而且他们对这些是真的不懂

    到头来,工作就是工作,不管甲方要求有多离谱都得去做,哪怕客户要你把他照片里的拉链给拉上,你能做到的也只有截个图发到社交媒体上给大伙乐一乐,然后为了生活想尽办法去解决问题。

    image.png

    (图源:新浪微博)

    不过,凡是问题,终究是会有解决办法的,只是这次的解决办法可能有点特殊。

    昨天,字节跳动的豆包大模型团队,在公众号上秀出了最新的通用图像编辑模型SeedEdit。

    官方表示,这款模型主打的就是「让一句话轻松P图成为现实」,用户只需输入简单的自然语言,便可对图像进行多样化编辑操作,包括修图、换装、美化、风格转化以及在指定区域添加或删除元素等。

    听起来很不可思议?其实我也是这么觉得的。

    让大象转个身

    想体验这个功能的话,其实还蛮简单的就是了。

    根据官方的说法,目前该模型已经在豆包PC端即梦网页端开启测试,豆包手机端暂时还用不了这个功能。

    接下来,只要点击侧边栏的「图片生成」,应该就能看到上传参考图的选项了,这里就是SeedEdit模型的入口。

    要做的事情很简单,上传图片,然后输入我们想要改变的内容。

    比方说,像画面里面这种大象背对我们喝水的照片,如果我想让它转身的话,那应该怎么做呢?

    答案是,输入「让大象面对我」。

    image.png

    (图源:雷科技)

    对比一下两张图片。

    可以看到,SeedEdit生成的大象正面是非常合乎逻辑的,耳朵的形状、脚部的位置、身体的颜色都做得相当不错,周围的环境也保持了高度的一致,当然部分石头形状存在差异这点,细心点还是能看出来的。

    新建项目.jpg

    (图源:雷科技)

    生成后的图片还可以再次编辑,这点真的很棒。

    image.png

    (图源:雷科技)

    不过进一步的操作,似乎就无法实现了。

    我在豆包修改过的图片基础上,继续提出图片编辑的要求,但不论是「让大象跑起来」、「让大象用鼻子喷水」或者是「让大象侧过身子」,基本上很难得到令人满意的结果。

    叫它喷水,结果这水确实是喷出来了,但却不是从鼻子里喷出来的,而是从象牙的部分喷出来的。

    想让大模型理解啥叫作常识,确实不是件容易的事情。

    让大象侧站.png

    (图源:雷科技)

    再换个人像,或者说模型的照片试试。

    因为我家里环境有限嘛,所以一般来说,拍手办的背景就比较凑合,没有时间也没有啥精力去造景拍摄。

    不过现在嘛,我让它「把背景换成城市」

    image.png

    (图源:雷科技)

    效果有点平?那就改成「夕阳西下的光照质感」。

    你还真别说,这感觉马上就到位了,整个过程中,我只对豆包说了简单的两句要求,体验起来真的很丝滑。

    对贫困的胶佬来说,布景和打光的繁琐步骤或许真的能省略掉了。

    更换背景 (1).png

    (图源:雷科技)

    当然,这些都是在原图上的小打小闹,如果我想直接更换画面主体呢?

    比如「指鹿为马」

    image.png

    (图源:雷科技)

    实际生成的效果确实很不错,不仅草地背景保留得挺完整,连马身上的纹理之类的都进行了替换。

    如果不看原图,基本很难察觉比例上的问题。

    换衣服也没啥问题,连光影和褶皱都改得挺到位的。

    image.png

    (图源:雷科技)

    试了一下汽车,目前SeedEdit是不认识小米SU7的。

    不过我随便传了一张五菱宏光Mini EV的照片上去,然后输入了一个异常复杂的编辑指令。

    image.png

    (图源:雷科技)

    最后生成的车子,虽然不像玛莎拉蒂,但起码也有个跑车形状了。

    AI修图,爆发在即

    事实上,如今AI在绘画这块儿,已经能让我们眼前一亮了。

    但是在图像编辑领域,AI技术其实是相对落后的,无法进行精准编辑,一直是行业的老大难问题。

    在今年以前,这类需求一般通过Stable Diffusion的ControlNet插件来实现。

    它可以获取额外的输入图像,通过不同的预处理器转换为控制图,进而作为Stable Diffusion扩散的额外条件,只需使用文本提示词,就可以在保持图像主体特征的前提下任意修改图像细节。

    v2-98c016a02aecfe8f73343672cd211694_r.jpg

    (图源:新浪微博,识别特征并进行重新绘制)

    本地部署AI应用这事,和大部分小白是基本无缘的。

    所以在进入今年后,包括ChatGPT/DALLE3、Midjourney、百度超能画布都推出了局部重绘应用,试图充当在线编辑图片的功能。

    不过这类应用,大多数时候还得咱们手动涂抹,选定你要修改的对象,然后输入各种提示词来做修改。

    640.jpg

    (图源:雷科技

    需要掌握正确的AI话术,才能获得理想的修图质量,门槛还是有点高了。

    如果,我是说如果,我们只需要给定输入图像和告诉模型要做什么的文本描述,然后模型就能遵循描述指令来编辑图像,那得多省事儿啊。

    字节端出的SeedEdit,确实是朝着这个方向努力的。

    不过图修多了,问题也就出来了,目前这款模型在生成图片时还是有一些问题存在的。

    首先,缺乏人像前后的一致性。

    只要涉及到人物面部的修图,那么最终出来的图像和原图的差异会很夸张,基本上看不出来原来的样子。

    image.png

    (图源:雷科技

    其次,缺乏图片内容的方向性。

    对于元素较多的图像,目前SeedEdit很难判断你要修改的是图片里的哪个元素,即便偶然识别对了,出来的图片效果也会异常扭曲。

    image.png

    (图源:雷科技

    最后,文字处理能力依然不行。

    就像早期AI绘画那样,目前SeedEdit会编造文字内容,下面这三行小字看似有点逻辑,我看了半天,愣是没认出来写的是个啥。

    修改产品文字.png

    (图源:雷科技

    在我看来,SeedEdit的出现,算是弥补了国产大模型在语义AI修图应用这块的空白。

    可以预见的是,随着AI图像编辑技术的不断发展,未来手机、电脑都可能会集成这项功能,就像AI消除、AI扩图那样走进寻常百姓家。无论是小白还是大咖,每个人都有机会轻松上手使用,让自己对美的理解可以更直观地展现出来。

    修图有手就行?或许真的不是梦。

      来源:雷科技

      原文标题 : 字节豆包SeedEdit上线,AI修图成大厂AI应用新焦点?

      展开
      打开“财经头条”阅读更多精彩资讯
      APP内打开