第378章 绘图AI的三种形式
【377是当选的内容肯定是出不来了，378前半部分和谐了，不能写，我把后半部分放免费章节在这里吧。】
不论大家的观点如何离谱，对于ai领域的关注随着大选节节攀升也是不争的事实。
这种热度在孟繁岐宣布即将发布真正的，能够根据文本绘图的人工智能后，来到了一个新的巅峰。
因为接近半年之前，孟繁岐放出的试用版本clip就已经展现了相当出色的绘图能力和多模态理解能力。
好到大家都以为这东西是专门为了ai绘图而研发的。
结果没想到，仅仅只是加入了图像和文本之间的对应关系，模型就很快自发的拥有了如此之强的图像生成能力。
而且半年前就已经那么惊人了，现在那还得了？
对于万众期待的ai绘图，内部的研发其实并不顺利，这点从发布时间上就能够看出。
孟繁岐也犹豫了相当一段时间，应该具体选择怎样的路线。
前世最为著名的ai图像生成器，主要是stable diffusion， midjourney和dalle三个。
其中sd扩散模型是基于clip的文本生成图像模型，它的方式是从有噪声的情况开始，逐渐改善图像，直到完全没有噪声，逐步接近所提供的文本描述。
它的训练方式也已经经过了多次的研究打磨，先采样一张图片，并随着时间的推移逐渐增加噪声，直到数据无法被识别。随后让模型尝试将图像回退到原始形式，在此过程中学习如何生成图片或其他数据。
这种路线如其名字stable一样，非常稳定，不过倘若想要生成非常高质量的图像，计算消耗非常之大。
技术上已经达成，但在成本上，似乎目前不是很适合投入市场。
前世的midjourney则比较擅长各种艺术化的风格，生成的图像常有非常精美的结果。
隐姓埋名，一举夺得绘画大赛金奖的那副【太空歌剧院】便是midjourney的作品。
按理来说，这个路线更具美感，既能够起到震撼宣传的效果，又能吸引大量用户，应该是上上之选。
不过对比开源的扩散模型办法，midjourney使用的是公共平台机器人来处理用户的请求。
由于其封闭盈利的模式，孟繁岐对这款ai的具体技术细节知之甚少，也不清楚它最为核心的技术关键是什么，因而只得放弃这条线路。
“如果从前世的知名度和受欢迎情况来看，扩散模型和midjourney会更加稳定，不过dalle在我重生前已经和chatgpt进行了组合，有非常大的潜力，考虑到以后的发展情况的话我需要对两者路线进行融合。”
正是因为需要集两家之长处，孟繁岐的扩散绘图ai才会比预期要晚了几個月。
最终形成了一个比较成熟的压缩、扩散、和隐空间再扩散三步走的系统。
这种整体做法的实验、讨论和最终确定，耗费的时间甚至比正式训练还要久。
“也不知道量子计算机这种计算性能数量级提升的东西什么时候能弄出来，如果算力够快，其实能省事不少。”孟繁岐想起这件事情还是觉得疲倦。
之所以要拆分出这么多模块，其中最大的原因就是计算资源消耗的问题。
图像的分辨率是平方，t方法内的运算又有维度上平方的操作，用户觉得256和512分辨率的图片差不多，可反应到全局则往往会是一个数量级的提升。
为此，只得将扩散模型的学习步骤放到低纬度空间里进行采样。
说直白点，就是先把分辨率搞低，从而极大地减少扩散前后步骤的计算量。
“这样做会不会有损性能？使得生成的图片效果不够好？”决定发布这版本算力上有所阉割的扩散模型，closeai内部也提出了这样的担忧。
毕竟算法方面其实可以做得更好，虽然代价会大一些。
“这里也不仅仅是计算时间的问题，同时也是显存的问题。不做这种拆分和图像分辨率的阉割，相同的一张卡不仅运算速度变慢一个数量级，能够同时进行的任务也少了好几倍。”孟繁岐坚持先解决用户数量的问题，性能和效果可以慢慢去优化。
这就像是一个巨大的胖子来吃饭，不仅用餐时间是别人好几倍，他一个人还能坐四个座位。
在孟繁岐看来，control提出之前，首先发布的绘图ai也只是一个玩具。
其性能有所上下波动无伤大雅，因为早期优质出图的成功率本来也不高，往往是需要大量测试后挑选一个能看的。
这主要是因为不管是文生图还是图生图，在早期都缺乏一个特别好的控制手段。
“我们现在推出的这款扩散模型，具体的用法还是大量的文字输入去控制图像的产出。但是文字想要清楚地描述一张具体的图像是非常困难的，即便大批量的尝试加上大量的生成，未必就能得到自己想要的结果。”
“这种生成模式，也要用图文结合的方式。我们还要找到具体的办法，通过额外的条件添加来控制扩散模型的行为，告诉它什么要调整，什么不要调整。做到生成图像内容的尽量可控，要远远比图像似乎更加精美好看一点要更重要，优先级更高。”
孟繁岐很清楚早期ai绘图的最大问题，那就是生成图像像是在吟唱黑魔法。
为了得到一张心满意足的图片，很可能需要咏唱一百来个关键词。
当时不少人都笑称，玩ai绘图搞得跟赛博邪教一样，嘴里嘟囔着一大堆别人似懂非懂的话。
甚至还有打包了大量优质图片关键词，直接拿去售卖的。