AI 绘画狂欢夜：Dalle3 VS Midjourney VS Controlnet XS
2023-09-21 11:06
一大清早起来惊呆了，就在昨晚。Openai 宣布即将发布 dalle3，然后 SD 的重要插件 controlnet 又迭代出了 XS 版本，然后凌晨的 MJ 的周会上 MJ 预告了 V6 的功能规划。
说实话自从去年 4 月发布了 Dalle2 之后，openai 几乎对这个产品没啥更新了，因为他们对产品的保守策略，所以让 MJ 快速抢占了市场。曾经的 dalle2 内测一号难求，到后来又贵又难用无人问津。我一度以为 openai 专注 chatgpt 去了，已经放弃了这个产品。
没想到啊😂 居然在时隔一年多又发布了 dalle3。
Dalle3 官网：https://openai.com/dall-e-3
发布时间：DALL·E 3 将于 10 月初向 ChatGPT Plus 和 Enterprise 客户提供。现代文本到图像系统往往有忽略文字或描述的倾向，迫使用户学习如何更好地构建提示。DALL·E 3 代表了我们在生成与您提供的文本完全一致的图像方面的能力上的一次重大飞跃。本质上就是吐槽了现在的 SD 的插件和微调模型的方向，表明自己的产品可以只通过文字来完美的展示画面，完全通过文字来控制画面。
可以从这张官网的示意图上看到，Dalle3 对于文字的精准呈现。除此之外，Dalle3 将会和 Chatgpt 结合，通过对话的形式实现交互。下面的官方的演示视频。
此外无论是风格还是人物肖像，Dalle3 都做了更加严格的限定：他们不仅剔除了所有在世艺术家的图像，还可以保证把你用 dalle 生成的图像从模型中去掉。这是在打所有现在 AI 绘画模型的脸啊，但是如此没有原罪的模型的风格的表现上可能会大大的受限。虽然要等到十月份才能真正的使用，但是官网提供了很多提示词和相关的案例，那么同样的提示词下 midjourney 的表现如何呢？
推特网友 @MattGarciaEth 对此逐一做了测试："An illustration of an avocado sitting in a therapist's chair, saying 'I just feel so empty inside' with a pit-sized hole in its center. The therapist, a spoon, scribbles notes.""一幅插图，一个鳄梨坐在心理医生的椅子上，说着'我只是觉得内心空虚'，中间有一个果核大小的洞。而治疗师，一把匙，正在匆匆记录着笔记。"An illustration of a human heart made of translucent glass standing on a pedestal amidst a stormy sea. Rays of sunlight pierce the clouds illuminating the heart revealing a tiny universe within. The quote 'Find the universe within you' is etched in bold letters across the horizon一幅插图，是一个由半透明玻璃制成的人类心脏，矗立在汹涌的海洋中的基座上。阳光穿透云层照亮了心脏，揭示出其中微小的宇宙。地平线上以粗体字刻着引言：“在你内心找到宇宙。”"A vibrant yellow banana-shaped couch sits in a cozy living room, its curve cradling a pile of colorful cushions. on the wooden floor a patterned rug adds a touch of eclectic charm, and a potted plant sits in the corner, reaching towards the sunlight filtering through the window"
一张充满活力的黄色香蕉形状的沙发坐在一个舒适的客厅中，它的曲线托起一堆五颜六色的靠垫。在木地板上，一块有图案的地毯增添了些许怪异的魅力，而一个盆栽植物坐落在角落里，朝向透过窗户射进来的阳光伸展。"A detailed oil painting of an old sea captain, steering his ship through a storm. Saltwater is splashing against his weathered face, determination in his eyes. Twirling malevolent clouds are seen above and stern waves threaten to submerge..."
一幅细致入微的油画，描绘着一位老海船长，正在驾驶他的船穿越风暴。咸水溅在他的风霜之脸上，眼中充满了坚决的决心。上方漩涡般的恶劣云层可见，严峻的波浪威胁着将其淹没..."An antique botanical illustration drawn with fine lines and a touch of watercolour whimsy, depicting a strange lily crossed with a Venus flytrap, its petals poised as if ready to snap shut on any unsuspecting insects."一幅古老的植物插图，绘有精细的线条和一丝水彩的奇妙，描绘了一种奇特的百合与捕蝇草交叉的植物，其花瓣摆在那里，仿佛随时准备合上捕捉任何不经意的昆虫。"A vast landscape made entirely of various meats spreads out before the viewer. tender, succulent hills of roast beef, chicken drumstick trees, bacon rivers, and ham boulders create a surreal, yet appetizing scene. the sky is adorned with pepperoni sun and salami clouds."一幅广袤的风景画，完全由各种肉类构成，展现在观众面前。嫩滑多汁的烤牛肉山丘、鸡腿树、培根河流和火腿巨石创造出一个超现实但令人垂涎的场景。天空装点着辣香肠太阳和萨拉米云朵。"An expressive oil painting of a basketball player dunking, depicted as an explosion of a nebula."一幅富有表现力的油画，描绘了一个篮球运动员扣篮，呈现为一个星云的爆发。"A 2D animation of a folk music band composed of anthropomorphic autumn leaves, each playing traditional bluegrass instruments, amidst a rustic forest setting dappled with the soft light of a harvest moon."一部二维动画，展现了一个由拟人化的秋叶组成的民谣乐队，每个叶子都演奏着传统的蓝草乐器，在一个充满乡村氛围的森林背景中，柔和的收获月光洒在其中。由上面这些测试图我们可以看出来，Dalle3 在语义的理解和呈现上是完爆 mj 和现有的所有模型的，相比之下 MJ 就像是个傻子。但是 DALLE3 因为更加严格的风格限制，所以在画风上非常的单一，说直接点就是：有点土。
一种可能得解决方案是，用 dalle2 生成符合要求的画面大体结构元素。然后再用 SD 的 controlnet 来重绘风格。说到 controlnet，昨晚 controlnet 也有个重大更新。接下来就聊聊 controlnet XS。官方论文地址：https://vislearn.github.io/ControlNet-XS/在这个项目中，我们研究了用于控制基于稳定扩散模型的图像生成过程的 ControlNet 的大小和架构设计。展示了一个新的架构，仅使用基础模型参数的 1%，就可以实现最先进的结果，在 FID 分数方面远远优于 ControlNet。因此，我们称之为 ControlNet-XS。效果并没有什么特别的，但是这个论文表明未来我们的模型将会越来越小。之前的 controlnet 的模型可能需要几个 G，这里只需要几十 MB 就可以了。现在大家为了使用 SD 需要购买非常贵的机器和显卡，但是这个在不久的将来可能就不需要了。
Midjourney Office Hours 2023 年 9 月 20 日- 个性化 - 将帮助您在无需使用各种设置的情况下制作您想要的内容
上周一个粉丝做的概念视频骗了好多人，大家都以为 MJ 要出 3D 版本了，这次周会确定了 3D 还早的很。至少在 V6 是没有的。大家还是欣赏一下这个脑洞视频吧:- 新的 /describe 将在某个时候推出。不确定何时发布。
- 正在尝试控制网络类型的东西。何时调整可控性旋钮或如何使事情变得更好。例如，色彩调色板
真是越来越卷了，那么你会选择 MJ，Dalle3 还是 SD 呢？真是的，小孩子才做选择，我们当然是全都要。一个推特网友就把 MJ 和 Dalle3 做了结合，并且命名为 Chatjourney
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
