第一部分传送门

人工智能的问题

图 1. 不说整个人工智能

不说整个人工智能，光是 LLM，就有很多问题。所以下面挑一些个人认为比较核心的问题稍微讲讲。

图 2. 与生俱来的缺陷

第一个可能也是最大的问题，是神经网络的先天不足。因为人工（artificial）这个词对应的是自然（natural）。我们要搞好「人工智能」，需要对自然的智能有深入了解。但如果说当年连接派刚刚创立的时候，智能和计算机这两块的研究都还在起步阶段，所以长期被符号派压着打的话，今天计算机的各方面研究已经有了长足进步，但我们对智能的理解仍然还比较浅。

可以看右边这张图。人类在 1986 年对秀丽隐杆线虫做了纵切后，逐步搭建了它的由 302 个神经元构成的神经网络，并且形成了一个 OpenWorm 项目，希望能够模拟整个网络的运行。

至今，这个项目里已经诞生了三个诺奖，但距离搞明白这张神经网络的运行机制，还很遥远。而我们的人类，有大概 1000 亿个神经元。所以不要说人类的智能究竟是怎么回事，光是神经网络本身，我们的理解都不深。

图 3. 信任问题

信任有两种，组织或者社会信任（social trust）和个体间信任（interpersonal trust）。

前者以规章制度法律等为基础来构建，后者以道德声望名节等为基础来构建。

你给女朋友买了块表，手机上找个同城快递送过去，是基于对这个服务的「组织信任」。手机上叫个朋友送过去，是基于对这个兄弟的「个体间信任」。

现代社会和传统社会有一个大家很容易忽略的变化，是「个体间信任」被「社会信任」大规模取代了。

过去的人，生活在一大群跟自己有「个体间信任」的关系中，跟其他「陌生人」少有连接。Ta 找谁买肉，找谁打铁，找谁写对联，都是基于对个体的信任。

今天我来演讲，敢打一个陌生人的车过来。我们出差，敢把命交给自己根本不认识的飞行员。不是因为我们对这些人有个体上的信任，而是我们信任背后滴滴也好，航空公司也好，都进行了自己的选拔、培训和管理。政府的有关部门，对这些公司也有相应的监管。

因为有了社会信任对个体间信任的大规模取代，「可信」很大程度上体现了一个社会的整体治理水平。比如我们收到的短信敢不敢点，电话敢不敢接，买到的东西敢不敢放心吃，相信大家深有体会。

人工智能的到来，肯定会对这些信任带来新的挑战。因为这些更加拟人甚至看着就是真人的 AI，背后是商业公司花费巨资打造的。商业上只有一种道德，就是在合法合规的基础上挣钱。

因此，人工智能需要政府的介入也需要政府的监管。

图 4. 合法合规

从去年年底开始，面向 OpenAI 的大量诉讼，特别是版权相关的诉讼就开始了。所以首先，做基底模型，训练数据来源是不是合法合规还要看最终事情的走向。

第二方面，我们大量的应用开发者，用的是国外的产品做封装。这种方法是否合法合规？

第三方面，国内做这块儿业务，已经有了一些相应的政策条列，必须了解它们，才能规避风险：

• 责任主体风险：AIGC 产品提供者是 2023 年 8 月 15 日生效的《生成式人工智能服务管理暂行办法》规定的信息内容责任主体，负有网络信息内容生产者责任和网络信息安全义务，需严格遵守《办法》及《互联网信息服务深度合成管理规定》对个人信息处理、生成内容标识、投诉举报渠道等服务规范的要求。
• 上线备案风险：根据《办法》第十七条，境内 AIGC 产品如向社会公众开放且「具有舆论属性或社会动员能力」，应在行政机关进行算法备案。结合《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》及目前的备案实践来看，绝大多数 AIGC 产品都负有备案义务。在网信办于 2023 年 6 月及 8 月公布的两批次备案信息共计 151 个算法中，不乏在线智能客服、商品三维图像合成、文本转语音等较为功能较为单一的算法。
• 用户参与风险：用户输入内容可能存在知识产权侵权、涉密、违反法律法规等情形。如果该 AIGC 产品同步将用户输入内容纳入数据集或模型改进，则相关侵权内容可能对既有的合规数据集造成「污染」，增加数据集侵权风险和违法风险。
• 数据安全风险：使用 AIGC 产品产生的用户数据的使用、存储、处理和分级管理应符合数据合规要求。尤其值得注意的是，境内第三方主体在其提供的 AIGC 产品嵌入境外大模型 API 的，涉及用户数据及个人信息向境外传输，可能触及《数据安全法》《个人信息保护法》等跨境数据合规要求。

图 5. Scaling Laws 的有效性

目前发展大模型最核心的路径，就是根据 Scaling Laws，去加算力，加数据，加参数规模。但是 Scaling Laws 其实是一个统计出来的经验，是不是长期有效并没有理论支持。并且就算长期有效，我们可以看到，算力是好加的，但是未必有那么多数据，特别是现在模型进入多模态阶段了，高质量的图片数据集非常少。

图 6. 高成本 & 高能耗

右边上面这张表说明，目前基底模型的训练成本往十亿美金数量级发展了。这里再给两个不同规模的模型训练成本让大家有一个直观印象：

• BloomBerg 打造 50B 参数的金融垂类大模型，训练成本约为 454 万元；
• 阿布扎比大学发布 180B 参数的 Falcon 大模型，训练成本约为 1.08 亿；

可以看到，训练一个比 GPT-4 小得多的基底模型也不是一个普通的创业团队或者大学可以去承担的任务。

有人可能会觉得，训练不起，是不是只做推理会便宜一点。

我们右边下面这张表说明，也没有那么便宜。一个大模型只要在线上有足够多的活跃用户，推理和运营的成本也是非常昂贵的。

图 7. 我们面对的独特问题

国外现在不管是模型这一侧，还是基础设施这一侧，都在收敛：

• 大的基底模型基本上就是 Google、Anthropic 和 OpenAI 三家最好，到 2024 年这种身位领先会体现得更加明显；
• 算力的芯片就是 NV、AMD 和 Google 的 TPU，2024 年可以看看比如苹果要不要入局；

而国内，我们因为受到了芯片禁令等技术封锁，而自主可控的软硬件产业还不成熟，这会带来一系列的问题。

举个例子，两张 3080 算力差不多是一张 A100，买不到 A100，看起来我们可以用更多的 3080 来组建网络。但：

• 更多的卡带来更大的出错概率，而且因为这种东西是乘法（后面道客的郑松总把这块儿讲得更细更精彩）；
• 各自的功耗分别为 700W 和 300W。在三年生命周期内，电费就会有几万块钱的差距；

更大的问题是，因为没有办法获得足够多资源，我们的发展比较分散。模型侧有百模大战，基础设施侧也有大量处于追赶阶段的国产公司。这两边的中间层，其实非常关键。

人工智能的展望

讲了这么多问题，接下来聊聊展望。

图 8. 算法方面展望

2024 年，在模型，包括算子这方面，可以做的优化还是很多的。但是这些优化对于效能的提升不是根本性的，因为基本架构并没有变。可能一系列的优化最终累积起来，聚沙成塔，可以带来几倍的变化。

图 9. 算力方面展望

算力这部分肯定是未来几年都比较关键的，特别是我们前面说了国内面临的独特问题。

现在基座模型的训练很多都是上万张 GPU 了，到这个规模，IDC 的 Power、Cooling、Networking 都是问题。拿网络举例，能这么玩的架构就非常有效，我们看到 NV 自己正在从 Fat-tree 逐步转向 Dragonfly，而 Google 在 Torus 架构上有了两代 TPU 的积累。

除开智算中心的建设之外，建好后这些算力如何去调度？如何去容错？如何让使用者拿到运行稳定，价格合适的环境？包括芯片这部分，有没有办法使用大量的端侧芯片来运行一些小模型，解决很多简单的任务，而不是所有请求都到云端。

图 10. 数据方面展望

整个 2023 年，可以看到的一个趋势就是高质量数据集已经是壁垒。有一些训练使用了高质量的「小数据集」，证明了效果跟大数据集比并不差。再加上多模态之后，高质量的数据集更加成为瓶颈，因此可以预见，2024 年 Synthetic Data 会成为进行数据准备的关键能力。

另外，右边这张图可以看到，我们存储性能的发展是远远落后于算力发展的。因此大模型训练的瓶颈，其实会是数据带宽，而不是数据计算。因此，近存储计算、存内计算乃至存算一体，也会是数据这方面在 2024 年发展的一个趋势。

图 10. 开源与闭源模型展望

虽然中国有百模大战，但是真正从 pre-training 开始做的模型并没有那么多。这个部分既有投入上的硬门槛，也有人才密度和基础设施上的软门槛。

但另一方面，在 pre-training 上相互较劲的头部玩家，最大的能力差别体现在 post-training 上。因此强如 Google，追 OpenAI 仍然追得很辛苦。

在这种背景下面，闭源模型和开源模型的差距，在 2024 年个人感觉会进一步拉大。很可能是手里面有闭源模型的厂开源一些小一点的旧一点的模型出来，丰富热度和生态，特别是端侧的小模型。

但无论开源闭源模型，都享受着所谓「新摩尔定律」的利好。可以看到闭源模型在语言能力甚至是知识能力上距离闭源模型的差距在迅速缩小，但在推理能力上还是有不小的差距。

图 11. 应用与应用架构展望

2024 年首先可以做的应用层的展望毫无疑问是多模态将会成为主流，视频生成类将会出现头部应用。

此外，作为企业需要仔细思考，究竟要不要采用大模型技术来开发自己的应用。很多企业现在还处于没有算清楚账，看明白场景的阶段。比如用户来的请求，要不要做分流？是不是有些可以走传统的知识图谱或者专家系统就很好的解决？是不是有一些使用小模型就可以解决？

另一方面，虽然 OpenAI 最近上线了 App 商店，但未必会有应用的爆发。因为里面同质化的应用会非常多，本质上是因为大模型这场千亿豪赌究竟能不能转化到实实在在的生产力，能够在哪些场景产生实际的用户价值，还处于摸索阶段，跑通的比较少。并且，一旦跑通，可能模型本身就会增加相应的能力，所以模型本身可能就是最大的甚至是最终唯一的应用。

图 12. 中间层值得期待

前面讲了，国内一方面有百模大战，一方面有相对比较散的基础设施。那么 2024 年我们可以期待的是一些中间层应用出来，解决统一编译，部署，调度等等问题，并且在过程里面系统性解决安全和信任的问题。

但是这样的中间层平台谁来建设是一个问题：民企缺少足够多的资源和许可，国央企缺少足够的产品技术能力，也许移动这样的企业可以来做一下这部分的工作。

图 13. 把时间拉长来看

「展望」这东西好玩之处就在于，如果回头看，几乎从来没有谁的展望是准过的，但是人们会继续期待它。

如果只有一句话，我的展望会是 2024 年比 2023 年更加疯狂。

正好有人说，疯狂的年代，利好身心灵行业，比如算命。

其实要我这样的人去展望未来，跟找人算命，底层大概是一回事：人们需要确定性。

所以最后我给大家分享我很喜欢的一张图片，是斯图尔特·布兰德的书里的。

他认为我们所处的世界，其实是分层的。每层变化的速度有快有慢，比如流行风尚，恨不得天天变。商业模式，以年为单位变。而越往下，比如我们的文化，处处还是几千年农业社会孕育出来的样子。自然的大环境，更是以亿为单位的年头在变了。

布兰德认为，这种速度的差异，其实是好事：

• 上层变化更快，会带动下层的变化，避免僵化；
• 下层变化更慢，会给上层约束条件，避免冒进；

我觉得他的洞见很有道理。

在一个真正持久的系统中，每个层次都应该被允许以自己的速度运行，由下面的层次提供坚实基础，由上面的层次保持活力。

不管是一个公司还是一个国家，如果把管某一层的方式或者要求，拿去管理别的层次，那是要出问题的。

同时，另一方面，每个人在这样疯狂的年代，应该找到适合自己和团队的节奏和层次。

如果你喜欢新技术，喜欢跟用户打交道，就应该呆在最上面一层。不管是折腾产品还是做主播打造个人影响力，总之不要浪费了自己的热情。

如果你喜欢钻研业务体系甚至是构建基础设施，那就老老实实地干，做好持久战的准备，不要羡慕台前的人起高楼。

找到适合自己的层次和速度，是在这样一个疯狂的时代立足的最好方式。

上周去移动讲了讲人工智能。很多朋友说把材料分享一下，那就整理整理。

拿到的题目比较大，但出去讲或者听人家讲，主要是个照镜子的过程。稍微有点经验就知道，任何的知识、系统、手法，再具体再性感，都不是照搬过来就能解决自己的问题的。所以整个过程里面可能有那么一两句话，一两个场景能够给彼此启发，就应该知足了。

人工智能的成果

图 1. 治学先治史

中国有句话叫治学先治史，我们搞清楚了过去，就搞清楚了未来。

如果我们去搜索人工智能历史，通常会看到的一个图，所谓的有两次寒冬，然后整体趋势是向上的。我会觉得，这其实就是 Roy Amara 的「阿拉玛定律」的一个体现：一个新技术出现，总是有短期被高估，长期被低估的现象。

Roy Amara 是未来研究院的总裁，见得多了，所以得出了这个结论。

一个典型的例子是 GPS，它出现的时候，人们脑补了很多使用场景，大大地高估了。但实际上 GPS 铺开，是导航上的使用。今天的小朋友已经么有办法想象，车开到二环或者三环，一堆举着「带路」牌子的人在那里了。但是 GPS 通过导航普及，一旦上行、下行、端侧的基础设施建设完毕，我们看到，就出现了第二批的互联网公司：美团、滴滴、货车帮…因为这个时候，供需双方的地理信息可以准确拿到了。所以，GPS 短期被高估，但长期看，它仍然从根本上改变了很多的行业，以及我们的生活方式。

阿拉玛定律在人工智能领域会放大，反反复复地出现高峰低谷，我个人觉得是因为人工智能这项技术里面有「智能」这两个字。因为在普通人的认知里，和在学术界工业界这些真正的人工智能从业者认知里，「人工智能」这四个字根本就是两个意思。

接下来我就把它们拆开聊聊。

图 2. 普通人的人工智能

我们如果去搜索人工智能，看到的图片一般都是这样的：有一个洁白光滑的机器人，它可以像人类一样去思考，甚至像人类一样去行动。这其实是代表了大众心中的人工智能：它是比较单一且明确的，就是对标的科幻小说或电影里面那，接近于我们今天说的 AGI 的存在。

所以我们每次说人工智能出现了重大突破，大家就会去想，这个东西是不是要来了。

图 3. 麦卡锡娇嗔背后的「模式」

所以人工智能奠基人之一麦卡锡有一个娇嗔，说，一旦这东西工作了，大家就不把它叫人工智能了。

这话啥意思呢，就是人工智能它研究的各个领域，最终会变成算法，甚至算法最终稳定了之后，会定制成为硬件。比如我们大家现在付钱，或者刷门禁，一刷脸搞定了，大家觉得，这叫人脸识别。在 AlphaGo 出来的时候，我就听一些同学说我们的 AI 四小龙，号称人工智能，不就是做人脸识别吗。为什么？因为大家脑子里面对标的人工智能是类似于《her》里面的萨曼莎，所以就会觉得不够厉害。实际上，人脸识别也是一个可以做得很深的人工智能的领域。

所以我们可以看到人工智能历史上的一个模式：

1. 研究（包括技术）取得进展；
2. 人们开始激动并对 AI 抱着很高的期望；
3. 产业界开始加大投入并开发各种应用；
4. 应用未能满足期望，人工智能行业进入低谷；
5. 整个过程中，「某林频谱仪」常伴左右；

今天，因为人工智能大量以 chatbot 或者 agent 的形式存在，会增加用户的错误期望。

那么究竟什么是人工智能呢？比如电饭煲里面加一点 PID 控制是不是人工智能呢？

图 4. 学术界的「人工智能」

在学术界和工程界或者说真正的 AI 从业者内部，AI 的定义不是那么明确的，而是相当模糊的。很多领域，比如自然语言处理，数字图像处理，增强学习，机器学习等等都被纳入其中。

这是因为比较公认的「AI」的提出，在 1956 年达特茅斯会议，整个命题就很宽泛。

大家可以看这张 slide，左边是这次头脑风暴形式的 workshop 讨论的主题，右边是主要的参与者，可以看到两个现象：首先，今天我们人工智能讨论的很多话题，比如神经网络，那个时候其实已经在讨论了；更重要是，讨论的话题以及参与者的背景，非常宽泛，横跨了计算机、自动化、逻辑、数学、心理学等多个学科。

比如，整个神经网络的提出主要就是维纳的学生，麦卡洛克（W. McCulloch）。图片里另外一位，塞弗里奇（O. Selfridge），名声没有那些拿了图灵奖的大，但其实是公认的模式识别之父，也做过一段时间明斯基的主管。他在 MIT 时一直和麦卡洛克一起在维纳手下工作。维纳对他非常欣赏，《控制论》的第一个读者就是他，但因为没有写博士论文，所以没有拿到博士学位：这大概跟他出身有关，日不落帝国牛津街上的 Selfridges 是他们家的。

图 5. 两种主义的持续斗争

达特茅斯会议后，人工智能的研究蓬勃发展，但却分裂成了以「符号主义」和「连接主义」为主的数个阵营：

• 「符号主义（Symbolicism）」，又称逻辑主义，主张用符号、公理和逻辑体系搭建一套人工智能系统；
• 「连接主义（Connectionism）」，又叫仿生学派，主张模仿人类的神经元，用神经网络的连接机制实现人工智能；

「符号主义」里的「符号」，就是表示客观事物或者事物间关系的「字符串」。通过它们对人类的「认知」进行编码，形成可逻辑演算的系统，是「符号主义」的核心思想。

因此，「符号主义」的核心特点在于：

• 推理的过程是可解释的；
• 出现错误，是可以追溯和定位的；
• 符号化方法对于知识的表达能力强，能够应对较复杂的知识推理；

这些优势让「符号主义」在 AI 领域长期一枝独秀，被广泛地运用于「自动定理证明」和「专家系统」的构建。尤其是「专家系统」的成功开发与应用，为人工智能走向工程应用做出了杰出贡献。

但「符号主义」也有一些根深蒂固的困境。比如，哥德尔不完全性定理（证明了对于任何一个公理化系统，都存在此公理体系所无法判定真伪的命题），就让使用「符号主义」构建的系统面临泛化的问题。再比如，既然要用符号来表达事物和事物之间的关系，这里就有一个谁可以把客观世界抽象成这些符号，并解释给其他人的问题。

因为这些没法解决的问题，「人工智能」曾经有很长一段时间发展得并不算好。我读书的时候，国内的人工智能集中在自动化专业。当时我感觉自动化专业主要有三拨人：

• 搞控制理论的，主要是用数学工具在矩阵推导；
• 搞应用系统的，主要是想要做出国产的工控机；
• 搞算法的，主要是遗传算法、神经网络；

前面两帮人是主流，彼此不太看得上，但是他们一起看不上搞算法的。到了今天，人工智能在很多学校已经和计算机、自动化平起平坐，有自己的学院了。

这似乎全靠「神经网络」的大获全胜。实际上，今天我们基本上听不到「连接主义」，只听得到这个门派的代表作：「神经网络」，即通过模仿人类的神经元组网，实现人工智能。

需要注意的是，它说的神经元是 1943 年生理学家麦卡洛克(McCulloch)和数理逻辑学家皮茨(Pitts)创立的脑模型，即 MP 模型，跟今天我们对脑神经的认知有很大的不同。但报导 ChatGPT 的媒体好像很喜欢配一张现代科学理解下的大脑透视图，显得这套东西多么先进甚至科幻。

实际上，神经网络提出快 90 年了，并且曾多次被主流圈子抛弃。比如右边这张图上，大家可以看到 Marvin Minsky，虽然他 1954 年的博士论文你看标题就知道很「连接主义」，但后来却改旗易帜，成了「符号主义」领袖。特别是 1969 年，作为「符号主义」的领军人物，Marvin Minsky 和 ​​Seymour Papert 出版了一本书《Perceptrons》，对连 XOR 运算都不会的神经网络判了死刑。

但大家看到右边这张图就知道，神经网络后来又再次突飞猛进，成为主流，这是为什么呢？

图 6. 从「玩具」到「产品」

我个人觉得，神经网络再次成为主流，主要是下面三方面的进展综合造成的：

• 算力
• 数据
• 算法

算力方面，今天很多人都对处境艰辛的 Hinton 和同样处境艰辛的黄教主，是怎么把 GPU 用起来的故事耳熟能详了。

互联网的兴起，也带来了大量公开的数据，让大规模神经网络的训练成为可能。

当然，算法也有不断的进步，这里列出了几个里程碑式的算法进展，最后一个就是 transformer。

有了这三方面的加持，人工智能在很多细分领域的能力超越了人类，从「玩具」正式变成具备一定生产力的「产品」。

图 7. 从「炼丹」到「系统」

人工智能在过去一两年的发展，还有一个特点，就是从「炼丹」到「系统」。

什么意思？我们判断一个行业或者叫赛道是不是进入了收敛期，主要看是不是出现了分工和分层。

比如倒过去五六年，如果你问一个公司的技术负责人在干嘛，Ta 大概率会说，在做「微服务」或者「中台」。

这就有点像你问晚年的牛顿在干嘛，他会说，他在炼金。

炼金距离真正的化学，主要就是差一张门捷列夫的化学元素周期表。

类似的，一旦有了分工和分层，一个体系就建立了。比如你最近两三年问技术负责人，Ta 会说，在做微服务里面的哪个模块，或者说哪种中台，这就是收敛的迹象。

目前，人工智能也已经有了明确的分工和分层。有干基础设施的，有干应用层的。干应用的，还会细分，有干纵向的，有干垂类的。

图 8. 还是有争议

但是尽管有了长足进步，参加各种的人工智能讨论和会议，会有一个明显的感受，就是一些核心问题还没有收敛，比如这里列出的这些。

并且有个特点，不仅仅是普通从业者对这些问题有争议，行业领军人物也不例外。IEEE Spectrum 为此专门搞了个计分卡，把 AI 领域的 22 位杰出领袖的意见做了一个整理：可以看到，以 Rodney Brooks、Yann Lecun 为代表的大部分人，还是觉得哪怕 GPT-4 也没有任何发展为 AGI 的可能。少数派主要是忧心忡忡的 Hinton 和 Sam Altman。

为什么能有这么大争议呢？

图 9. 为什么还有很多争议

我对这个问题的看法是，因为我们讨论的过程中，涉及很多「suitcase words」，所以根本没法聊清楚。

「suitcase words」是 Minsky 在 2006 年的这本《Emotional Machine》里提出的概念，就是说我们讨论人工智能的时候使用的很多词是，类似于出行的时候用手提箱打包一样，一个抽象了打包好的概念，外延和边界都非常模糊。

下面举两个例子。

图 10. 例子一：机器学习

比如「学习」这个词。

Arthur Samuel 使用「机器学习」这个词，我们看原文，其实是一个类比。

而且，机器学习几个主要分支，监督学习、无监督学习、深度学习等等，都是已经提出了大几十年的概念。

它和人的「学习」有很大不同。

人学东西有两个显著特点，即「抽象」和「泛化」能力。

GPT-3 的训练使用了数千亿个 token，与此相对，普通儿童听到的所有单词，不排重还不到一个亿。

人类不需要那么大的数据量做训练，因为人擅长各种层次的抽象，并能够把抽象出来的认知泛化。

比如，你买一把香蕉告诉四五岁的小孩儿这是香蕉，从此以后不管是长的短的，熟的生的，黄的绿的甚至闷烂了发黑的香蕉摆在 Ta 面前， Ta 都知道这是香蕉。为什么说机器「学习」和人的「学习」完全不是一回事？因为你绝不会感到教小朋友某个东西，是在调 Ta 的参数。

图 11. 例子二：中文屋问题

再比如一个经典的哲学问题：「中文屋」。

如果简单地思考，肯定觉得如果屋子里面这个人完全不懂中文，他没有中文能力。

但是我们如果多想几步，比如这个人经过相当长时间，已经把各种中文的 rule book 内化了，外面给他的中文问题，他可以在头脑里面查找给出回复，那么他会不会中文？

这个时候，他其实已经可以脱离那间屋子了，非常接近于一个经过训练的「大模型」，对不对？

实际上「中文屋」是一个非常深的问题，可以聊很多，比如什么是语法和语义，什么是意识和心智，限于时间，我们制定这些东西都是「suitcase words」即可。

图 12. 人工智能的成果总结

总结一下第一部分，人工智能的成果：

1. 大部分人心中的 AI 和从业者心中的 AI 很不一样，所以目前的这些成果是否会再次遇到「短期被高估」的问题，还有待时间检验；
2. 得益于数据、算力、软硬件框架等各方面的进展和成熟，以及类似于 Transformer 这样算法上的创新，神经网络在人工智能的各个领域都取得了一骑绝尘的巨大进展，很多细分领域的能力超越了人类，有了从「玩具」到「产品」，从「炼丹」到「系统」的趋势；
3. 但构建当今 AI 系统的大部分理论仍然没有大的变化，因此 Suitcase Words 这样的问题会长期存在，很多类似于「有没有涌现」，「会不会通向 AGI」的问题很难讨论出结果；