真正属于你

授权和转载须知

《理性：从人工智能到僵尸 – 地图与真实的土地 – 第四部分：神秘的答案 – 真正属于你》

德鲁·麦克德莫特 (Drew McDermott) 有一篇经典论文：《人工智能遇上自然愚昧》^[1]Drew McDermott, “Artificial Intelligence Meets Natural Stupidity,” SIGART Newsletter, no. 57 (1976): 4–9, doi:10.1145/1045339.1045340.，批评了一些AI程序。这些程序试图用语义网络^[2]语义网络：关联起概念的网络。这一概念在认知科学和人工智能的文献中相当古老 https://zh.wikipedia.org/zh-cn/%E8%AF%AD%E4%B9%89%E7%BD%91%E7%BB%9C_%28%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%29来呈现概念，诸如“幸福是一种心理状态”。

心理状态
^
|
IS-A（是一种）
|
幸福

当然，“幸福”这个节点里没有任何东西，它只是一个带有暗示性名称的裸 LISP token 而已。

因此，麦克德莫特说：“对于训练有素的程序员来说，一个很好的测试是尝试在那些关键位置使用生成符号（gensym），再看他是否仍然欣赏他的系统。比如说，如果把‘心理状态’重命名为G1073……那我们便会得到 是一种（幸福，G1073），看起来会更可疑。

或者，我可以稍微改写一下这个想法 ：如果用随机代号替换掉所有带暗示性的名称，你会完全没法搞懂 G1071(G1072, G1073) 代表着什么。这个AI程序是想表达汉堡？苹果？幸福？谁知道呢？如果你删掉那些暗示性的名称，它们的意义就不会再生成出来。

假设有个物理学家告诉你“光是一种波”，而你相信这位物理学家，那你脑中现在便有了这样的一个小语义网络：

是一种（光，波）

如果有人问你“光由什么构成？”，你便可以回答说“波！”

正如麦克德莫特所说，“整个问题是让听者注意到自己被告知的内容。不是‘理解’，而是‘注意’。”假如物理学家转而告诉你，“光是由弯曲的小东西组成的”（顺带说一下这是假的），你会注意到预期体验有任何不同吗？

你如何才能意识到，你不应该相信“光是一种波”这一表面上的知识？一种测试方法是：“如果这项知识以某种方式从我脑中删除了，我还能重新生成它吗？”

这在本质上类似于，在你的AI程序里打乱那些有暗示性命名的 LISP token 的名称，然后观察其他人是否能猜出其可能的所指。这也类似于观察一个人造算术装置，它被编程用来记录和回放： 

求和(7，6)=13 

当你从内存里删除这条知识，它便无法再生成这条知识，直至另一个人重新将其输入数据库。同样的，如果你忘了“光是一种波”，你也无法重获这项知识，除非你用最开始的方法——问问物理学家。你无法像物理学家们最初获得这项知识的方式来自行生成这项知识。

同理，我们也是如此形成信念，将那个信念与其他的知识、感官输入和动作输出联系起来。如果你看到一只海狸在嚼木头，那你便知道了这只会嚼木头的动物长什么样子，无论它是否被称为“海狸”，以后你再看到它时也能认出来。但如果你通过别人告诉你关于“海狸”的事实而获得这一信念，当你看见一只海狸时，你可能认不出它。

这便是试图把无法自行学习的事实告诉AI的可怕危险。试图把不能自行验证的物理知识告诉某人，这也是一种可怕的危险。因为物理学家口中的“波”并不是“弯曲的小东西”，而是一种纯粹的数学概念。

如唐纳德·戴维森 (Donald Davidson)^[3]Richard Rorty, “Out of the Matrix: How the Late Philosopher Donald Davidson Showed That Reality Can’t Be an Illusion,” The Boston Globe (October 2003).观察到的，如果你相信“海狸”生活在沙漠中，通体雪白，成年后重300磅，那你实际上没有任何关于海狸的信念，无论真假。你关于“海狸”的信念甚至不能算是错误。当这个信念被删除时，如果你没有足以重新生成它的实际经验，那你怎么能把那个信念与任何东西联系起来？如维特根斯坦所言，“一个可以转动但不带动任何其他东西的齿轮并不是机器的一部分。”^[4]路特维希·维特根施坦，《哲学研究》，第一部分第271节

几乎在我开始阅读人工智能领域资料的时候（甚至比我读麦克德莫特还早）我就意识到，经常这样问自己是个不错的想法：“如果这项知识从我脑中删去了，我还能重新生成它吗？”

删除概念删除得越深，测试就越严格。如果勾股定理的所有证明都从我脑中删去了，我还能从头证明它们吗？我认为我可以。如果所有勾股定理的所有相关知识都删去了，我还能重新发现到勾股定理并证明吗？那就很难说了。不过如果你递给我一个边长为3和4的直角三角形，并告诉我斜边边长是可以计算的，我想我可能可以计算出来，如果我仍知道剩下其他数学知识的话。

那“数学证明”的概念呢？如果没有人告诉过我，我能够基于我其余的信念从头发明这个概念么？曾几何时，人类并没有这一概念，是谁发明了它。他们当时注意到了什么？如果我看到了同样新奇也同样重要的一些东西，我会注意到么？我能跳出常规思考那么远么？

你有多少知识是可以重新生成的？它们能从多深的地方删除？这不只是一个排除不充分连结的信念的测试，这个方法可以让你吸收一整个知识源泉，而不仅仅是一个知识点。

牧羊人建立了一个计数系统，每有一只羊从羊圈里出去就往桶里扔一块石头，每有一只羊回圈就拿出一块石头。如果你，牧羊人的学徒，并不理解这个系统——如果这个系统看起来毫无头绪，就像是魔法——那么如果你不小心多丢了一块石头进桶，你就不知道该怎么办了。那些你无法自己创造的东西，假如情形需要，你也没法从头发明它们。如果你没有源代码，你就无法用源代码，调整一个参数设定，然后重新输出结果。如果“2+4=6”只是一个公理，然后其中一个要素变为了“5”，那你怎么才能知道“2+5=7”，毕竟“2+4=6”只是一个没有解释的公理？

如果你见到有一株植物每当鸟飞过时就会落下一颗种子，你并不会因此想到可以利用这种植物的特性来部分自动化你的数羊机器。虽然你已经学到了最初的制造者用来改进他们发明的那些东西，但你还是无法回到源头并重新创造它们。

当你拥有某个想法的源头，那个想法便能随着你获得新知识和新技能而改变。当你拥有某个想法的源头，它才真正属于你，并与你共同成长。

努力让自己成为每一个值得思考的想法的源头。如果某个想法最初来自于外界，要确保它也能从内部生长出来。持续向自己发问：“如果这个想法从我脑中删除了，我要如何重新生成它？”当你有了答案，假想那个答案也被删除了。当你找到了知识源泉，看看它还能喷涌出什么。

---

翻译：塞门
校对：Jack，潜艇