前不久玩了一下 Stable-Diffusion，也让蒙爷搓了几张：

prompt 如下：

3d Littlest Pet animal, flowers, forest, nature, Greek mythology, master painter and art style of Noel Coypel, art of Émile Eisman-Semenowsky, art of Édouard Bisson, K_lms, 50 steps

然后他就问，「这样的 AI，是不是会让很多人没有工作？」

「不只要抢工作吧，还会像《Wall·E》里面那样，反过来统治人类？」，我故意这么问他。

「那应该不会，因为人类还搞不懂大脑究竟是怎么工作的，所以还搞不出来 General AI¹。」

看来，天还是没有白聊。

但 AI 会抢人类的饭碗吗？作为一个中老年 AI 不从业者，我觉得是，「Yes and No」。

短期内确实会

人创造内容到它们被消费，主要是「构思」——>「创作」——>「批量复制」——>「分发」这么几个步骤。

文明发展的过程中，我们一直在解决这个链条上的瓶颈：

• 脑子里想的如何被更好创作出来是个瓶颈
  • 文字和纸张出现了；
• 大量复制这些内容让更多人消费它们成了瓶颈
  • 印刷术出现了；
• 高效分发这些内容让更多人消费它们成了瓶颈
  • 报刊杂志，广播电视出现了；
• 数字化和互联网，消解了「批量复制」和「分发」被捆绑在一起，由媒体控制的局面：复制和分发变得几乎是免费且无国界的，于是大量（良莠不齐）的内容创作者开始低成本发行自己的内容获利
• 从「构思」到「创作」的门槛和效率成了新的瓶颈²
  • 各种 AI 辅助工具出现了；

虽然现在 AI 的工具完成的作品还像玩具，但就跟之前某个瓶颈被人类盯上了一样，里面的问题肯定会被解决的。从事初级内容生产岗位的人³，如果掌握不了这些工具来升级自己，肯定会丢工作。

长期看也不会

人类历史上每次出现一些带来效率极大提升的科技进步，都会有反对的声音⁴，批评者不但会论证它抢人工作，还会列出一堆的问题。

这种织布工看到织布机的焦虑，挺容易理解的。但不用那么多人参与织布的民族，后来并没有种族灭绝：人们可以花更多时间干更有价值的工作了而已。

所以，短期内看，对一些人是有点残酷：科技就是会不断进步。石器时代的结束，不是因为石头用完了。但「构思」到「作品」的过程，因为 AI 参与，门槛和成本大大降低，肯定也会让更多人有更多时间把自己更好的想法实体化，从而创造更多的价值⁵。

同时，下面这些事，也许会发生。

搜索走向衰落

按需生成，会慢慢代替「搜索」：当你可以用 Stable-Diffusion 生成插画，要 Pinterest 干嘛呢；当你有了 Copilot，要 StackOverflow 干嘛呢？

因为「搜索」的弱化，SEO 也将弱化。营销从业者开始用生成的内容去碰瓷平台算法，这种做法现在已经非常普遍（比如自动在小红书或者知乎铺稿）。

后面甚至可能会有类似于 DDOS 的内容攻击。

垄断化的 AI

除非你是做一个类似于 Meta、Google、OpenAI、BAT 这样 规模的公司，创业搞 AI 还有没有什么真正的前途呢（真正的前途，指并不是融几亿美金找一个领域搞几年）？

因为一方面，训练最好的 AI 模型需要极大的硬件投入⁶，和大量的数据。

另一方面因为这些大公司提供的工具里内嵌的 AI 特别好用，会给它们带来大量的用户，也就是更多的钱和数据。

这是个有双边网络效应的事。

放下 AI，往机器人领域搞搞，应该会有点前途：现实世界仍然有着非常多的细节没有被建模。就像网络爬虫索引了网络上的万事万物一样，肯定有一类机器人，被用来对物理世界进行详尽的扫描和数据化。这个东西需要的技术比较 niche，也不太依赖一个十亿美金的集群。

创意更多，公司更小

公司制在人类历史上出现的时间并不久。

这里面很多管理方法、流程制度，是为了让几百几千人一起协作完成某个事情演化出来的。

当人从创意的产生，到作品的产出，到复制分发，都越来越数字化，越来越采取异步而不是同步的协作，人类的工作和生活肯定会再碎片化一点。

说不定慢慢回到穴居时代，大家有个部落，但没有大众，只有小众。没有公司，只有作坊。

目录

• 一些结果
• 一点历史
• 一点原理
• 一点缺陷
• 一点问题

我一直挺关注 人工智能在内容合成（不管是图片、视频、文本，还是程序）方面的进展的¹。最近发现 Stability 刚刚发布的 ISM（Image Synthesis Model） Stable Diffusion 可以直接跑在 M1 芯片的 MBP 上，赶紧试玩了一下。

一些结果

各种风格各种题材手到擒来的感觉，是真好…那么 Stable-Diffusion 究竟做了什么呢？

一点历史

用深度学习进行图像合成，可以追溯到 2014 年的一些研究，到今年算是迎来了高峰：4 月份封在家里的时候，先是看到 OpenAI 发布了 DALL·E 2，然后 Meta 和 Google 也立刻跟进；接下来 Midjourney 项目让你有一个 Discord 账号就能玩 TTI（Text-To-Image）。

然后就是 8 月 22 号 Stable-Diffusion 的发布。它和 DALL·E 2 最大的不同就是，虽然也有一个商业化的版本 DreamStudio，但是它的代码是开源的，任何人都可以修改和调试它。

因为使用门槛的降低，全世界人民，包括很多艺术家，都在疯狂试玩它。

一点原理

目前大部分 ISM 都是基于latent diffusion的。通俗点儿解释它的主要的过程，就是通过在纯噪声中去识别自己熟悉的形状，与你给它的输入（Stable-Diffusion 里面叫 prompt）里的单词进行匹配，然后强化这些元素，最后「画出」一副图片。

要完成这个过程，首先要在海量数据集上进行训练：比如 Stable-Diffusion 使用了 LAION-5B 的一个子集，包括了 50 多亿来自各种网站（比如 Getty Images、Pinterest、 DeviantArt）的图片。

接下来，使用 OpenAI 的 CLIP （Contrastive Language–Image Pre-training）技术，把单词与图像联系起来。值得注意的是 Stable-Diffusion 大概只花了60w 美金就完成了这部分工作。

通过训练，Stable-Diffusion 会关联一些有色像素点的组合跟某些特定主题之间的联系。然后，很多看了最终产出的人无法相信的是，模型虽然还谈不上对颜色、形状等要素与某个绘画风格或者主题之间深度的理解，仅仅是通过这些训练建立起来的联系，就可以在不复制原数据集中任何图像的基础上，完全从无到有在噪声中生成一副全新的图片。

一点缺陷

目前看，最大的问题我感觉有三个²：

• 肢体异常

目前看来，它经常生成两个头，三只手，六根手指这类畸形的图片。所以很多人在生成图片的时候只好增加数量从里面挑选「正常」的。

我感觉这个问题应该是出在训练数据集的标注上。一个好的人体要标注清楚不容易，得按照类似 body>arm>hand>fingers>[sub digits + thumb]> [digit segments]>fingernails 的颗粒度逐一标注。

可以想象「人工智能」里面「人工」这部分的质量，在这里是比较低的。特别是当标注的图片有很多是艺术作品的时候，要非常清晰地标出哪里是手指哪里是手掌哪里是指甲，误差是相当大的。

这部分的问题解决，要靠 OpenAI 的内容过滤这种做法，或者是，更好的数据集了。

• 分辨率受限

目前有很多 repo 开始把一些 upscaler，比如 txt2imghd，集成进去来解决这个问题。这种「先生成再整容」的做法，可以在一开始不要求那么奢侈的内存，基本上是现在唯一的办法。

• 自定义程度低

Stable-Diffusion 最值得期待的是你可以在现有模型上进行一些自定义风格的增量的训练。但也可以想象，往现有的模型里面加入你自己的特征，是挺难的，因为这是一个基于 50 亿张图片的训练结果。

目前看比较成功的例子³开销也挺大的（比如 30GB 的显存你有吗？），能搞一搞的主要是对表面材质做一点贴膜，也就是 Textual Inversion。但同时，也可以看到这部分的进展也非常迅速，估计不久就可以用更低的算力实现。。

一点问题

Stable-Diffusion 目前面临了一些法律和道德上的问题。

法律上，因为索引了大量艺术家的图片，它模仿这些人的风格进行创作后，图片的版权怎么算？目前看，有一些艺术家表现得非常愤怒，但好像还找不到一条具体的法律可以去告 Stability。

道德上，如果用 AI 来生成色情的图片或者诽谤的图片会怎样？虽然现在 Stable-Diffusion 提供了一个 NSFW 的校验，把所有色情图片都处理掉，同时还在图片里面加了一个隐藏的水印，但，它是开源的…