@Lenciel

LLM 调研（1）- 引言

本系列是，LLM 调研…说一下我对它的看法，以及它能做什么不能做什么

最近十年1，基本上是神经网络一统 AI 江湖的十年：随着算力的增加，神经网络变得更大，训练它们的数据集也变得更大，AI 的几个主要领域（包括数字图像处理、计算机视觉、自然语言处理等）里传统的技术基本都被它取代了。但作为沾点科班边儿的 AI 爱好者，我上一次写相关的东西，还是 AlphaGo 战胜一众顶尖围棋选手2。

然后就有了今年这股 AIGC 的风潮3。

在目前的这些 AIGC 服务中，围绕「文本到文本」（主要是 GPT 相关）的讨论最多，并且不少人认为它有可能是 AGI 的起点。但正如 Wired 的文章《Some Glimpse AGI in ChatGPT. Others Call It a Mirage》所描述的那样，ChatGPT 发展到后面究竟会不会带来 AGI，无论是在民科还是在学界，仍然有很大的争议。

于是，ChatGPT 背后的关键技术——大语言模型（LLM），成为了技术史上一个非常独特的存在：一方面，它具备技术创新中非常少见的确定性。更大的算力和语料，更多的参数，往往就意味着训练出更好的模型。一方面，它具备非常少见的不确定性，就是那动辄千亿万亿级别的参数，它们究竟怎么工作，有什么产出，会带来什么影响，好像没有人可以讲清楚也很难共识。

我自己对 LLM 的看法是，它仍然类似于 AlphaGo 或深蓝，在一个领域接近甚至说超过了普通人的能力（比如AlphaGo下围棋或者深蓝下国际象棋），但它没有科学地推理和思考问题的能力，不会去想要不要把地球变成回形针4：所以现在的 LLM 不是所谓的 AGI，也没有迹象会成为 AGI。

只不过，它擅长且超越凡人的这个能力——语言能力——和以前机器人掌握的能力有一个本质的区别，就是语言实际上编码了我们头脑中的世界，影响着我们对真实世界，而不是某个棋局或者某张图片，的理解、认知和判断。

可以说，关于 GPT 是不是带来 AGI 的很多争论，本身也是因为我们每个人对「心智」、「逻辑」、「推理」、「创造性」这些词有多种多样的定义，对「AGI」这种本来就没有稳定内涵和外延的术语，理解上就更是见仁见智了。

所以这些争论在我看来也挺有意思：用非常有限的「语言」，来讨论一个擅长「语言」的模型，它的能力是「有限」或「无限」的，这必然导致大量的讨论将要脱离技术范畴，进入伦理、哲学等范畴5。

这个系列的主要目的，不是去参与这些热门的讨论。而是回到 LLM 被构建的初始目的，来看看：

  1. 为什么涌现可能是一个误会？
  2. LLM 究竟取得了怎样的进展？
  3. LLM 究竟胜任什么样的工作？

  1. 目前供职于 OpenAI 的 Leo Gao 有一篇《The Decade of Deep Learning》值得一看。 ↩

  2. 现在回看也花了不少篇幅去界定什么是「人工智能」，人类语言真是有局限性啊… ↩

  3. AIGC 目前指通过文本（prompt）生成各种内容，包括文本到文本（如 ChatGPT），文本到图像（如 Stable-Diffusion、Midjourney ），文本到视频（如 Visla，Make a Video ），文本到音乐，文本到 3D 或者文本到任务等等。 ↩

  4. 这是关于 AGI 带来的灾难性后果的一个有名的思想实验。即如果人类要具备 AGI 能力的机器人，找到最便宜的方式来获得回形针。机器人将最终通过纳米技术，把地球变成回形针。 ↩

  5. 「语言」这个技能的特殊性和多样性，还可以通过一个例子说明，就是 GPT 是根据现有的单词生成下一个单词的。有一些批评它的语言学家说，这是鹦鹉学舌，因为没有人实际上这样说话。但其实有一个很有名的作家 Tom Robbins 据说就是这样写文章的。 ↩

UPF及一种食品分类方法

工作需要，最近在研究运动科学和减脂。

七分吃，三分练，具体怎么吃和怎么练搭配，真是多种多样。

少碳水的，断食的，生酮的…学到了蛮多的理论体系和实践方式。

但是，一个最大的发现是，原来有一个技术性的词语来归类「不太健康却很受待见」的食品：超加工食品（Ultra Processed Food，也就是 UPF）。事实上，稍微了解一下 UPF 以及相关的食品分类方法，然后在平时选择食物的时候稍微留意一下它的分类，都能让我们吃得健康不少。

I） 什么是 UPF

人类的各方面科技都在高速发展。过去我们觉得炸鸡、薯片这些食物是「垃圾食品」。但现在越来越多的食品，它们卖相精美，口感舒适，味道浓郁，方便快捷，价格适中。比如我们公司零食架上的那些。

UPF 的概念诞生于本世纪初，当时一位名叫 Carlos Monteiro 的巴西科学家注意到了一个悖论：人们购买的糖似乎减少了，但肥胖和 II 型糖尿病却在上升。甚至，那些还在买糖的家庭，反而比不怎么买糖的家庭出健康问题的概率更低：后来他发现，在买糖的家庭仍然在自己做传统一点的饭菜，而不买糖的家庭可能也不自己做饭了。

于是，他打破了之前美国科学家长期向全世界推荐的金字塔模型，提出一个叫「Nova」的四层食品分类：

  • 几乎不加工：果蔬，新鲜或冷冻牛羊鱼肉等；
  • 加工为原料：黄油、盐、糖、猪油等；
  • 加工食品：传统方式发酵、腌制、熏制的食品；
  • 超加工食品：和其他类别不同，这类食品主要成分其实是第二类里加工后的原料（糖、油和盐）而不是必需营养素（脂肪、碳水化合物等）。并且这些原料通过色素、乳化剂、调味剂和其他添加剂进行转化，变得更加美味。

也就是说，无论你早上的切片面包或晚上的一罐酸奶，你周四的麦辣鸡块还是健身后的纯素热狗，你放纵时买的奶茶还是你在节食时吃的蛋白棒，它们其实都是 UPF。

和传统意义上的「垃圾食品」比，它有两个比较特别的地方。

首先这些食物都不太好一眼看出成分。因为它们是「混合物的混合物」，由已经高度精炼的成分制成，例如便宜的植物油、面粉、乳清蛋白和糖等等，然后在乳化剂等工业添加剂的帮助下，加上良好的造型和包装，成为了比普通食物都可口的食品。

其次，单拉出来，它们确实对人体没有太大危害。并且因为保质期长，生物学上也确实是安全的。那 UPF 的问题是什么？

II） UPF 的危害

UPF 最主要的问题是它在现代人的饮食结构中占比太高。

以爱达乐这类面包店里量产的切片面包为例。它存在好几十年了，单独看没有那么不健康。但是，如果你早餐面包，到公司咖啡奶茶，外卖点各种调味料做出来的快餐，那就麻烦了：来自法国、巴西、美国和西班牙的大规模研究表明，大量摄入 UPF 与较高的肥胖率有关。当大量食用时，还导致抑郁症、哮喘、心脏病和各种胃肠道疾病。 2018 年，法国一项针对 100,000 多名成年人的研究发现，某人饮食中 UPF 的比例增加 10% 会导致整体癌症风险升高。

因为这些研究，2014 年，巴西政府采取了激进的措施，建议其公民彻底避免 UPF。但现实却是，UPF 在大部分人生活中的占比还在增加：英国和美国所有卡路里摄入的一半以上是 UPF。

因为它们真的是便宜方便又好吃：有研究表明，超加工饮食占比提升后，人们进餐速度更快，因为这些食物往往更软且更容易咀嚼。

III）怎么办

那么我们可以怎么办呢？《儿童食品：在高度加工的世界中喂养儿童的挑战》这本书的作者 Bettina Elias Siegel 认为，你至少要抛弃之前的对食品分类的二分法：垃圾食品，以及不是垃圾食品的食品，然后熟悉 Nova 的分类体系。

比如，他举了一个例子：煮熟的胡萝卜大部分家长知道是健康食品。但打着「纯天然玉米糊」的工业生产的玉米味淀粉糊，家长就不一定知道它是 UPF 了。一旦在生活中大量使用和依赖这类即食的 UPF，你和你的孩子就可能会产生依赖。

然后，有了这个意识，你选择食物的时候要刻意避开那些你自己的厨房里可能不会出现甚至你不会听过的东西。比如某些你没在厨房里用过的原料：「转化糖、麦芽糖糊精、葡萄糖、乳糖、可溶性或不溶性纤维、氢化或酯交换油」，或者你没在厨房里用过的添加剂：「增味剂、色素、乳化剂、乳化盐、甜味剂、增稠剂、消泡剂、膨胀剂、碳酸化剂、发泡剂、胶凝剂和上光剂」…

现在，还有了一个专门的网站，来展示常见的超加工食品，以及它们有什么成分。