stable diffusion模型lora模型vae模型的关系,如何区分

SD模型

简单地说,稳定扩散模型允许您控制图像生成的风格。使用专门针对真实图像训练的模型将产生逼真的结果,例如照片真实感的肖像。另一方面,使用经过水彩插图训练的模型会给你一个看起来像是用同一风格画的图像。

SD模型分类

【1】大模型/底模型-属于基础模型也叫预调模型

首先介绍的是大模型,是SD能够绘图的基础模型。安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。

常见大小:2-7G

文件后缀:ckpt【早期】,safetensors

【2】Lora模型-属于微调模型

介绍:

在大模型得基础上用于满足一种特定的风格,或指定的人物特征属性。在数据相似度非常高的情形下,使用微调模型,可以节省大量的训练时间和训练资源,就可以产出我们需要的结果

常见大小:2-7G

文件后缀:ckpt【早期】,safetensors

【3】VAE美化模型

VAE,全名Variational autoenconder,中文叫变分自编码器。作用是:滤镜+微调。

三:大模型文件格式推荐——CKPT和SafeTensor之间有什么区别?

模型数据文件用于保存机器学习模型学习到的信息。有两种类型的模型数据文件:.ckpt和.safetentersor。这些文件包含相同的信息,但.safetendersor文件被认为更安全,因为它们不使用pickle模块。

四:最基础的大模型推荐

【1】写实大模型Realistic Vision V2.0

当涉及到人工智能图像生成时,现实主义是最难的主题之一。因为我们的眼睛被训练来识别最小的细节和缺陷,所以机器很难生成逼真的照片。然而,真实视觉已经能够通过其训练的模型产生惊人的结果。

该模型能够制作出一幅逼真的肖像,几乎完全符合我们的提示。另一方面,这幅插图展示了真实视觉捕捉数字艺术细节和细微差别的能力。

我们向任何希望使用人工智能生成照片级真实感图像的人推荐该模型。请记住,通过使用即时工程、更高的步数和其他技术,您可以获得更好的结果。

【2】DreamShaper

DreamShaper凭借其美丽的数字艺术感,进一步融入插画风格。这个模型在肖像提示上表现得特别好,创造了一件令人惊叹的艺术品,捕捉到了主题的感觉和风格元素。

在风景方面,DreamShaper能够创造出一个有趣而复杂的图像,具有鲜艳的色彩和迷人的细节。插图展示了充满活力的色彩和各种形状,使图像栩栩如生。

这个模型推荐给任何想用自己的人工智能模型创作插图的人。此外,您可以使用各种设置来确保结果看起来更像数字艺术作品。我们建议尝试不同的步数,并使用此模型提示工程技术以获得最佳结果。

【3】MeinaMix

MeinaMix是最受欢迎的型号之一,这是有充分理由的。这个模型能够生成具有独特绘画般质量的精彩插图。与Anything模型非常相似,MeinaMix在人物方面专注于动漫风格,但它也能够生成复杂的插图。

MeinaMix是一个由不同的模型组成的模型。它的创造者将其他几个模型中最好的部分结合在一起,创造了一个新的、更好的模型。这意味着你可以从所有世界中获得最好的输出。

如果你正在寻找数字艺术输出,这是一个很好的模型。需要注意的一点是,当涉及到人类时,MeinaMix非常注重日本风格,所以不要指望用这个来塑造逼真的人。

转自:https://zhuanlan.zhihu.com/p/632108313