AI绘画不是每个模型都需要外挂VAE! VAE真正的作用是什么?

总有人不管哪个模型都在说需要VAE,今天必须要纠正一下这个错误的观点。

一、模型必须要手动选择VAE的错误观点

首先,正常情况下,每个模型都是自带了一个VAE的。是的,你没看错,就在一个大模型的内部,它本身是带有VAE权重的。(当然你可以使用我写的插件“模型转换” 把VAE从大模型内删除,这属于特殊情况)

那么为什么,我们经常需要在WebUI里面选择VAE?

注意,实际上这个选项的真正意思应该叫“外挂VAE模型”。也就是说,是在大模型内的VAE出问题了、坏了、或者是我们不满意的情况下,才需要使用外部手动选择的VAE权重。

选择了外挂VAE模型后,大模型内本身带有的VAE则会完全失效。

为什么会有这种情况的出现?

因为很久以前的一个模型,叫做AnythingV3,它的效果很好,传播很广泛,但唯独模型内的VAE权重由于模型融合导致它是坏掉的,最后直接使用这个模型出图发灰,而必须手动选择使用正常的外挂VAE才能正常出图。

那为什么后来的人越来越多的都要手动选择VAE?

因为融来融去,最后凡是融了A3的VAE都坏掉了

二、你下了一坨各种VAE,其实最后都是一个

是的,事实上所有的各种VAE,常见的那些什么Anythingv3.vae.pt、Anythingv4.vae.pt、xxx-Mix.vae.pt 等等等等各种各样的融合模型的VAE,都是这个animevae.pt,或者我以前喜欢叫他final-prune.vae.pt。

这玩意从哪里来的呢?一路玩过来的懂的都懂,我就不在多提了。

你的电脑里,存了一大坨乱七八糟的相同VAE模型!!

那么哪些VAE是真的有区别的?请认准他们的哈希值。启动器内的这些才是真正不一样的VAE。

三、VAE是会有像滤镜的效果,但是它不是滤镜

你说的对,但是《Stable Diffusion》是由Runwayml自主研发的一款全新开放世界冒险游戏。游戏发生在一个被称作「潜空间」的幻想世界,在这里,被神选中的人将被授予「Sampler」,导引扩散之力。你将扮演一位名为「提示词」的神秘角色,在自由的旅行中邂逅性格各异、能力独特的模型们,和他们一起击败强敌,找回失散的图像——同时,逐步发掘「稳定扩散」的真相。

先来复习一下Stable Diffusion的工作原理。详情可以看我以前的专栏。

总的来说,我们目前玩的SD,所谓的“绘画”过程是在一个名为“潜空间”内部发生的。

你可以把他理解为一个压缩的空间,为了节省资源所以这么做的

而VAE则是在 “潜空间” 与 “像素空间” 之间的一个桥梁。像素空间就是我们人眼看的正常图片。

VAE它分为编码器与解码器。编码器负责将图像压缩到潜空间中的低维表示,而解码器从潜空间恢复图像。

我们使用同一组参数,生成的潜空间图像实际上是一样的。

而切换了VAE,只是切换了不同的模型去把他的潜空间图像转换为像素空间的图像。这也就是为什么切换了VAE只有一些细节上的差距、以及颜色上的差距。


比丘资源网 » AI绘画不是每个模型都需要外挂VAE! VAE真正的作用是什么?

发表回复

提供最优质的资源集合

立即查看 了解详情