文 | HW君
系列文章:
- 智能 | #0 人工智能的哲学原理
- 智能 | #1 在神经网络之前
- 智能 | #2 人工智能的三种流派
- 智能 | #3 可计算性,在图灵机之前
- 智能 | #4 通用计算机的起源
- 智能 | #5 一进制图灵机
- 智能 | #6 扩展二进制图灵机
- 智能 | #7 编码第N号图灵机
- 智能 | #8 通用图灵机
- 智能 | #9 图灵停机问题
- 智能 | #10 康托尔对角线与停机悖论
- 智能 | #11 超越算法
- 智能 | #12 图灵测试的两个假设
1. ChatGPT的启示
ChatGPT等大语言模型所展示出来的能力是惊人的,但它的基本功能在某种程度上却相当简单。
首先从互联网、书籍等获取人类创造的海量文本样本,然后训练一个神经网络。
然后这个神经网络用来从提示文本开始,继续生成与其训练数据相似的文本。
这就像是模拟一个人在看到数十亿个网页上的内容之后,猜测当前这段文本的一下个合理的词是什么。
例如ChatGPT在写一篇文章时,它实际上只是一遍又一遍地询问:
根据当前的文本,下一个词应该是什么?
然后每次在文本后面添加一个概率较高的词。
就是这么简单的规则,就展现出了与人类相似的语言能力。
在过去,普遍认为「语言」是一项非常高级且神秘的能力,只有人类大脑能够使用驾驭。
人类语言及其所涉及的思维过程,一直被视为复杂性的巅峰。
但现在我们知道,ChatGPT的人工神经网络也可以做得非常出色。
其带给我们最大的启示是,并非是大语言模型有多神奇。
而是人类语言及其背后的思维模式在结构上比我们想象的更加简单。
2. 了解ChatGPT
市面上讨论ChatGPT的文章已经多不胜数了,因此我们不会过多地展开其技术细节。
但对于想了解ChatGPT基础原理的朋友,这里可以给出一些建议。
想要了解人工智能,最好的方法就是亲自动手写一个神经网络。
推荐一本《Python神经网络编程》,对初学者非常友好:
跟着上手写一个识别手写数字的神经网络,可以很快地了解人工智能的基础原理。
而对于想要更直观地了解ChatGPT的朋友,也可以看3BlueBrown的GPT系列视频:
【官方双语】GPT是什么?直观解释Transformer | 【深度学习第5章】
https://www.bilibili.com/video/BV13z421U7cs/
【官方双语】直观解释注意力机制,Transformer的核心 | 【深度学习第6章】
https://www.bilibili.com/video/BV1TZ421j7Ke/
【官方双语】直观解释大语言模型如何储存事实 | 【深度学习第7章】
3BlueBrown的可视化做得很好,哪怕你不理解原理,也可以对ChatGPT的工作过程建立一个直观的认知。
然后也推荐一本物理学家Stephen Wolfram写的《这就是ChatGPT》:
Wolfram之前做过元胞自动机,他的思维方式很对我胃口。
这本书有很多理论思辨,也讨论了ChatGPT能做什么和不能做什么,而非单纯只是技术细节。
老爷子其实是一个符号派,在讨论过程中夹带了一些私货。(智能 | #2 人工智能的三种流派)
以上这些看完之后,市面上大部分关于大语言模型的讨论,估计可以理解个七七八八了。
3. 对技术祛魅
事实上看我们文章的朋友,应该不是为了看我推荐这些的。
但对于技术祛魅的最好方式,就是去了解技术。
现如今市面上对于ChatGPT的讨论汗牛充栋。
抛开工程细节讨论的部分,整体看下来可以分为两类。
一类是无脑夸大人工智能的能力,仿佛AI是万能的,世界变革就在下一秒。
另一类则是不知所谓的社科评论,在不了解技术的情况下进行过度的人文批判。
回到开头,ChatGPT等大语言模型所展示出来的能力是惊人的,但它的基本功能在某种程度上却相当简单。
我们认为ChatGPT带给我们最大的启示是,人类语言及其背后的思维模式在结构上比我们想象的更加简单。
要弄清楚ChatGPT的原理,其实需要回到人类自身的语言及思维模式上。
也许我们并不了解自己。
我们需要重新思考,人类语言以及背后的思维模式,究竟是如何工作的。
而这一步仍然需要信息论的支持。
因此我们并不会在ChatGPT上停留太久。
更重要的是重新回到信息论的角度,去思考人类语言和思维是如何工作的。
(本章节完,敬请期待下一节)
By HW君 @ 2025-01-18
前些天看《信息简史》看到香农做的小实验:
“这里的“他”或许应该改成“她”,因为实际上他的测试对象正是自己的妻子贝蒂。他从书架上抽出一本书(根据文字可知这是雷蒙德·钱德勒的短篇侦探小说集《简单的谋杀艺术》),随机指向一个短小段落,要贝蒂逐个猜段落里的字母。如果猜错了,他会告诉她正确答案,并让她接下去继续猜。当然,她知道的内容越多,猜对的几率就越大。在猜过“A SMALL OBLONG READING LAMP ON THE”后,她猜错了第一个字母。但得知这个字母是D以后,她毫不费力地猜对了接下去三个字母。
类似于大部分的语言/文字里都包含着很多冗余的信息,或者说规则/模式。
看博主的文章收益颇多,佩服佩服。
之前在B站看VR相关的也学习很多。