AI绘画到底是怎么工作的？

引用：https://mp.weixin.qq.com/s/93_dNHAumzVrJWUbssGkNA

作者：九猫船长

今年跟chatgpt一样火出圈的还有AI绘画，做设计的同学可以用这个来提高工作效率，并拯救下这本来就所剩无几的头发了。也看到有一些人借助这个AI绘画玩些小项目赚零花钱的，这群人的执行力真的可。​

我目前所看到用得比较多的AI绘画工具主要有两个，Midjourney、Stable Diffusion。多提一嘴Midjourney是需要花钱才可以使用的，Stable Diffusion是免费的，但是使用起来存在一定的门槛。​

今天主要是想聊聊AI绘画模型，了解这些模型可以方便大家从更高的视角去理解这些工具的一些使用方法。那么AI绘画是如何工作的？这里面会涉及到很多技术原理和底层细节，一篇文是根本说不清的。所以这篇我会从比较宏观的视角来聊起，不会涉及一些比较晦涩难懂的技术点。​

我们先从一个简单的例子开始。

假如现在我们想要让AI绘画去画一个宫崎骏风格的夏天。不考虑AI，从我们自身的角度出发，我们会自己先想下，宫崎骏的夏天是什么样子的。如果看过宫崎骏电影的同学脑海里大概可以闪现一下画面，但是没看过电影的同学他们知道什么样的吗，我猜应该是不知道的。​

common.docs_name - LarkCCM_Docs_Menu_Image

宫崎骏风格的夏天

如果让小朋友来回答宫崎骏风格的夏天是什么样的，可能有些小朋友都不知道宫崎骏是什么，也不知道这是代表一个人的人名。​

其实AI绘画也一样，人工智能绘画嘛，那是不是也得跟人一样知道宫崎骏是什么，宫崎骏风格的夏天又是什么样的。​

那AI绘画是怎么去知道这些东西的呢，这里我介绍两个模型。​

CLIP-》Diffusion Models

CLIP模型

CLIP模型它就是用来理解语义，主要的训练数据是文本跟图像的对应。可以理解为就是一张图像和它对应的文本描述。比如，提到宫崎骏你脑海里就会有画面，因为看过他的照片，知道长什么样。那“宫崎骏”这三个字所对应的画面在你脑海是已经有了的。​

那对于CLIP模型也是一样，当你输入一个词的时候，CLIP模型就可以找到这个词所对应的图像。这个也可以说是AI绘画的基石了，彻底打通了文字跟图像之间的桥梁。​

Diffusion Models模型

Diffusion Models模型这两年很火阿，中文名叫扩散模型。现在的AI绘画普遍都是使用这个生成模型。这个模型生成图片的过程看起来好像不是很难，但这背后都是很复杂的数学理论来支撑的。​

可以发挥我们大脑的想象力，去想一想如果是我的话。我该怎么画这种风格的夏天，画之前是不是得先学习这种风格，这种风格的夏天会有那些元素，光和场景还有颜色该怎么搭配。​

很多插画师在画一幅画前都是要看大量这种风格的案例，以了解更多的细节。可能还会拿出别人的代表作直接进行临摹，临摹是目的是在实践的过程中知道更多的细节，俗话说实践才能出真知。那想要画一副这种风格的画是不是要对这种进行反反复复的学习，学习就是一万个小时定律。​

对于Diffusion Models来说也是一样，它也需要反反复复的进行这种风格的学习。只不过它的学习方式跟我们人不一样，Diffusion Models是通过把这种风格类型的图片一步一步的拆解开来，提取这种图片中的关键信息来进行学习。也就是我们下面会提到的加噪和降噪。​
​
比如让Diffusion Models去学习宫崎骏风格的画的时候，它就会对图片不断的加噪和解噪拆解到宫崎骏风格的夏天中应该会有哪些元素，来学习到他独有的光和场景还有颜色。​

来看看下面这张图，Diffusion Models加噪和降噪的过程中会发生什么。​

从左向右不断增加高斯噪声的就是加噪，这是扩散过程。从右向左不断减少高斯噪声就是降噪，这是 diffusion model 生成数据的过程。​

一滴墨水滴到一碗水里，直到这碗水被染黑了，这也可以理解为扩散过程。时间一秒接一秒的倒流，就是倒流回到水干净的时候，这也就是diffusion model 生成数据的过程。​

Diffusion Models模型就是通过对图片不断加噪，在对图片不断的降噪还原成原始图片的过程中，进行对图片随机采样还原(生成)成各式各样的图片。​

加噪

加噪是对图片进行一定的破坏，简单来说就是对图片进行降维了。比如说一张2k的图可以在mac电脑上显示出完整的细节，但是到一个1080P电脑显示屏上就显示不出那么多的细节，那对图片进行降维把一些不必要的细节删掉。这也是为什么我们一般的电脑显卡也可以用Stable Diffusion生成图片的原因。​

我们通过不断的给图片加噪点然后去训练AI，AI就能逐步的从一个满是噪点的图片中提取到这个图片的关键信息，知道这个图片的内容是什么。那么在这个过程中AI理解了这张图片并对这张图片进行的标注。​

降噪

降噪是在生成图片的过程，AI是会有专门的算法去预测图片重点信息的噪点，然后进行每次循环迭代的降噪。平常用Midjourney和Stable Diffusion生成图片的时候，最开始都是一张很模糊的图然后逐渐的清晰成一张完整的图片。这其实也就是在降噪，在生成数据。​

好了现在有了CLIP模型和Diffusion Models模型。CLIP模型可以理解语义，知道宫崎骏是什么。Diffusion Models模型的超强学习力理论上应该是可以还原出每一张训练过的图片，可以给Diffusion Models模型学习宫崎骏风格的夏天。​

但是光靠这两个模型还是不能够生成我们想要的图片，这背后还有很多比较复杂的技术。今天只是介绍了这其中的两个模型，想要生成这个图片背后还需要其他的模型一起合作。等有时间的话，我会再继续说说其他的模型。​

-END-

扫码加入AI Flow Genius社群，探讨使用AI来提升生产力的方法，成为超级个体​

超过200需手动拉人备注：加群

AI绘画到底是怎么工作的 ？​

AI绘画到底是怎么工作的？