@Lenciel

LLM 调研(1)- 引言

本系列是,LLM 调研…说一下我对它的看法,以及它能做什么不能做什么

最近十年1,基本上是神经网络一统 AI 江湖的十年:随着算力的增加,神经网络变得更大,训练它们的数据集也变得更大,AI 的几个主要领域(包括数字图像处理、计算机视觉、自然语言处理等)里传统的技术基本都被它取代了。但作为沾点科班边儿的 AI 爱好者,我上一次写相关的东西,还是 AlphaGo 战胜一众顶尖围棋选手2

然后就有了今年这股 AIGC 的风潮3

在目前的这些 AIGC 服务中,围绕「文本到文本」(主要是 GPT 相关)的讨论最多,并且不少人认为它有可能是 AGI 的起点。但正如 Wired 的文章《Some Glimpse AGI in ChatGPT. Others Call It a Mirage》所描述的那样,ChatGPT 发展到后面究竟会不会带来 AGI,无论是在民科还是在学界,仍然有很大的争议。

于是,ChatGPT 背后的关键技术——大语言模型(LLM),成为了技术史上一个非常独特的存在:一方面,它具备技术创新中非常少见的确定性。更大的算力和语料,更多的参数,往往就意味着训练出更好的模型。一方面,它具备非常少见的不确定性,就是那动辄千亿万亿级别的参数,它们究竟怎么工作,有什么产出,会带来什么影响,好像没有人可以讲清楚也很难共识。

我自己对 LLM 的看法是,它仍然类似于 AlphaGo 或深蓝,在一个领域接近甚至说超过了普通人的能力(比如AlphaGo下围棋或者深蓝下国际象棋),但它没有科学地推理和思考问题的能力,不会去想要不要把地球变成回形针4:所以现在的 LLM 不是所谓的 AGI,也没有迹象会成为 AGI。

只不过,它擅长且超越凡人的这个能力——语言能力——和以前机器人掌握的能力有一个本质的区别,就是语言实际上编码了我们头脑中的世界,影响着我们对真实世界,而不是某个棋局或者某张图片,的理解、认知和判断。

可以说,关于 GPT 是不是带来 AGI 的很多争论,本身也是因为我们每个人对「心智」、「逻辑」、「推理」、「创造性」这些词有多种多样的定义,对「AGI」这种本来就没有稳定内涵和外延的术语,理解上就更是见仁见智了。

所以这些争论在我看来也挺有意思:用非常有限的「语言」,来讨论一个擅长「语言」的模型,它的能力是「有限」或「无限」的,这必然导致大量的讨论将要脱离技术范畴,进入伦理、哲学等范畴5

这个系列的主要目的,不是去参与这些热门的讨论。而是回到 LLM 被构建的初始目的,来看看:

  1. 为什么涌现可能是一个误会?
  2. LLM 究竟取得了怎样的进展?
  3. LLM 究竟胜任什么样的工作?
  1. 目前供职于 OpenAI 的 Leo Gao 有一篇《The Decade of Deep Learning》值得一看。 

  2. 现在回看也花了不少篇幅去界定什么是「人工智能」,人类语言真是有局限性啊… 

  3. AIGC 目前指通过文本(prompt)生成各种内容,包括文本到文本(如 ChatGPT),文本到图像(如 Stable-DiffusionMidjourney ),文本到视频(如 VislaMake a Video ),文本到音乐,文本到 3D 或者文本到任务等等。 

  4. 这是关于 AGI 带来的灾难性后果的一个有名的思想实验。即如果人类要具备 AGI 能力的机器人,找到最便宜的方式来获得回形针。机器人将最终通过纳米技术,把地球变成回形针。 

  5. 「语言」这个技能的特殊性和多样性,还可以通过一个例子说明,就是 GPT 是根据现有的单词生成下一个单词的。有一些批评它的语言学家说,这是鹦鹉学舌,因为没有人实际上这样说话。但其实有一个很有名的作家 Tom Robbins 据说就是这样写文章的。 

流年


刘阿姨住我家楼上。

封起来前,邻里间还不大熟的时候,我就知道有这么位大妈。

小小的骨架,干干瘦瘦,还常带着愁容,让你觉得她的脸庞和身体,总嵌在暗影里。

但只要遇到人,她就会咧着嘴热情地打招呼,哪怕喊不出名字,也会笑吟吟地说声「你好」。

有天她来敲门,说家里有人学琴,大概会吵到我,让多多包涵。

这份被命运倾轧而不顺遂者才会有的温柔,让我想起梵高的《吃土豆的人》,所以印象挺深。

封控后,小区其他楼栋陆续有人阳了。为了保住我们楼的胜利成果,楼里选了楼长,按大家的情况做了分工,对所有对外对内的接触点进行统一管理:有一定社会关系的人,组成了「采购组」,主要负责去搞定各种物资。有一定劳动能力的人,组成了「运输队」,负责去充满「危险」的快递区把楼里采购的物资运回来,并且要负责统计和照顾有特别需要的老人。

我才知道原来刘阿姨家,住的是她,她儿子和她的小孙子。

这样的组合为啥要特别照顾呢?

「她的儿子,戆大,老婆嘛跑掉了。孙子才两年级,个么这一大一小,都是刘阿姨伺候。」

楼长这么一说,我马上就知道谁是刘阿姨的儿子了。自从搬到这里,我就时常看到一个大高个,三十多岁的样子,拎着菜或生活用品上电梯。他看到人,会站着不动,像是让路又像是不知所措。你跟他点头,他眼睛看着你,却没有眼神的交流。但是如果你东西多了,他也会给你开个门或者按下按钮。

「一直这样?还能娶老婆生孩子?」

在小区里住了十来年的庄大哥就搭话说,「她儿子之前挺正常的,还参加过小区的球队。小孩儿出生没多久,就得了躁郁症。已经好些年没有上过班了,也不怎么出门。老婆陪着熬了段时间,最后还是离了。为了好再结婚,没要孩子,刘阿姨也心疼孙子,就这么一大一小都养着了。」

「那刘阿姨的老公,是去世了?」

「没有呢,她老公也奇葩的。打麻将,认识个相好的,就搬出去住了。但偶尔会回来,拎着一堆东西上楼,把饭菜做好,和儿子孙子老婆吃几顿,然后就又出门不见了。关键是就这样,刘阿姨还是让他进门,搞得我们反而不好问他们到底是离婚了还是没有了…」

于是每次领完物资,我就给刘阿姨家搬进去。

屋里收拾得很素净,没有什么多余物件。

养了只花猫,叫胖虎。

胖虎胖得很努力,让这个素净得家里显得多了一些盈余,也多了些温馨。

少不了拉几句家常。有次送去了一点牛排,刘阿姨说:「对不起啊,小李,这些东西我不会做。我们家老廖会做的,你给我放冰箱里他回来再做,对不起啊。」

那些让你最不知道怎么去帮的人,总是说最多的「对不起」,让你觉得无地自容。

我默默把冰箱打开,一边往里面放一边说:「那廖叔叔肯定会挺吃惊的,你在这个光景下还搞了这么多牛排给他做。」

「你们对我太好了,老廖对我也可好了。没有你们,真的不知道要怎么办了。」

她的儿子大概在里屋,没有出现。孙子在看电视,猪猪侠和外星人打得激烈。我指着墙角的钢琴说:「小朋友蛮厉害的,能够坚持学琴。我们家的弄两下就嫌太辛苦,不弹了。」

「是我,晚上弹琴的人是我」,阿姨有点不好意思的回答道

「难怪经常那么晚」,我这么想着,跟她又说了几句就出了门。此后,偶尔深夜里听到楼上的琴声,觉得之前被打扰的不快没了,还从里面听出了些孤独和交谈。简直是我熬夜的一份美好陪伴。

没过多久,神秘的「老廖」就出现了。不是因为疫情结束,而是他儿子测完核酸,躺在楼下的草坪里,死活不上楼。来了两三个警察,好说歹说,还是不动。要动手抬他,他就开始尿裤子。邻居们护着刘阿姨他们,不让继续动手,然后老廖就来了。

他拉过刘阿姨的手轻轻拍了拍:「你带小的回去吧,我来处理」,就接管了现场。我看他头发花白,有点驼背,穿着很得体,动作也麻利。跟警察和管委会的人沟通,客客气气,却颇有分寸。

不一会儿,小廖开开心心地爬了起来,领着老廖要回家。一边走,还一边跟他爹说:「家里有牛排的,等着你给我们做呢~」

望着他们的背影,庄大哥说:「这个四分五裂的家里,谁都不容易啊。」

五月份,我跑回了成都。走后不久,封城也突然结束。

疫情好像还在,又好像已消失得无影无踪。

邻居间的亲近也一样。

七月份,有一天公司没什么事儿,我就去学校接小孩儿。没怎么来过,到得有点早,入秋的太阳仍然辣,烫得大家都把脸缩着。旁边二年级的那堆家长里突然有人问:「怎么最近刘阿姨怎么都没有来接廖思宇,都是你来的。」

「哎,她已经走了。」

我被这句话震得一激灵,转过头一看,说话的,可不是廖伯伯吗。

「走了,不可能吧,刘阿姨身体很好的呀。而且疫情期间他们楼不是唯一没有阳过的楼吗?」

廖伯伯的话音未落,好几个认识刘阿姨的家长就围了过去。

「身体是很好的啊」,廖伯伯说,「脚气,一个脚气而已。自己拖着,真菌就感染到内脏了。让她去医院,不敢去,怕染上新冠。拖了不到一周,恶心、呕吐,送到医院,已经肺部有积水了。」

「那到了医院这种问题应该好解决的啊?」

廖伯伯的脸上就有眼泪流下来,「如果不是特殊时期,应该是好解决的啊。那个时候,医生也不够,程序也不一样,很快就告诉我们人不行了」。说到这里,他左右看看,停顿了半天,才下了很大决心似的摆摆手用很低的声音又补了一句:「关键是最后一面都没有见到,随便找什么关系人都进不去的,唉,不能讲,不能讲啊…」

于是就真的没有人再说话,只剩下廖伯伯若有若无的几声抽泣。

天色也在这呜咽中黯淡下来。学校的广播仍然在响,声音亢奋而沙哑,仿佛每句话都把什么撕出道口子,滋滋啦啦。教室,操场,篮球架,枝繁叶茂的香樟,前仰后合被风追着跑的云,都在不动声色地离我们远去。四周一片一片地暗下去,让人忍不住希望一些灯火,赶紧亮起来。