最近没有怎么更新小报童,因为脑袋不在这里,不想凑数(不过大家放心,一年下来肯定是超过平均一周一篇的)。
五一期间,除开带娃读书看片搭帐篷,还搞了几个事情:
- 学了一下 Mojo,Modular 新发布的一种面向 AI 的编程语言:
- 它的作者 Chris Lattner 其实领导了很多影响我们生活的项目,比如 LLVM、Swift、MLIR,在我心中十大工程师排行榜里,排在前三;
- 和当年用 Swift 来发挥 LLVM 的威力类似,Mojo 以 MLIR 为核心,但是这次它兼容了 Python ,比 Swift 学习曲线要低很多;
- 和 Julia 相比,它有一个相当精简的运行时,和 「Numba + Cython」 相比,它解决了部署问题,可以轻松跨平台;
- 在 4090 单卡上,把现在可以本地部署的几种对 base model 进行微调的方案都进行了尝试,为一个探索性质的项目做了选型:
- 过程中越发觉得基于聊天窗口的 LUI(相对于 GUI)不是个好的 UI;
- AIGC 的商业模型相当特别,就是增加更多的算力和语料,就带来更好的产品。这种「无脑堆」的方式,有几个好玩的事情待观察:
- 人类有文字以来的语料已经很快就被灌得七七八八了,接下来喂什么给模型才会带来比较大的「体感上」的进步?
- 目前 AIGC 这个技术究竟带来了多少「生产力」,多少只是「无聊消遣」?好比智能手机,带来了一些生产力的提升,但目前人平均每天花在上面的时间大约为 7 小时,其中超过 5 小时是用于社交媒体、观看视频或游戏;
- 仍然有很多优化的事情还没人有空去做:无论是用更短的浮点或者稀疏矩阵这样偏通用的优化,还是特定模型特定硬件的优化,这些可能是天天被卡脖子的天朝 AI 参战各方需要投入点儿时间的领域;
- 一直都想干的一些杂事:
- 自建了 Joplin 的模板(用 Joplin 换掉 Evernote 后,唯一不太满意的就是它的界面,微调了「Outline」插件,美化了 Mermaid 等 Markdown 语法的显示;
- 约了四位行业大佬(分别做量化交易、房地产、外贸和云计算),扔掉手机 1-1 各做了大概半天的「详谈」。收获很多,无法一一道来,但最大的感觉是,焦虑还是淡定,不看盘子和位置,而是看对自己是谁,自己的路是什么是否笃定,不然太容易 fomo 太容易迷茫了;
- 写了一个小说的开头,算是纪念去年还被封着的魔幻时光,希望它不会烂尾;