《理性：从人工智能到僵尸 – 地图与真实的土地 – 第二部分：虚假信仰 – 掌声提示光》
在2007年的奇点峰会上，一位演讲者呼吁民主、多国合作发展的人工智能。因此我问他：
假如有一群民主共和国联合起来开发人工智能，这个过程中夹杂了很多政治活动——一些利益群体有不同寻常的巨大影响力，而另一些则没有被公平对待——换句话说，就好像现代民主的产物一样。又或者，假设一群反叛的书呆子在他们的地下室里开发了个人工智能，并用它拉拢世界上的每个人——给没有手机的人发手机——不管大众说什么，都满足他们。你觉得这两种哪个更“民主”，哪种更安全？
我想知道他信仰的到底是民主政治的实效，还是选举的道德正确。但那个演讲者却回答说：
第一个场景听起来像杂志《理性》[1]杂志《理性》：美国自由意志主义月刊，由理性基金会发行。 详见：https://zh.wikipedia.org/wiki/%E7%90%86%E6%80%A7_(%E9%9B%9C%E8%AA%8C)的社论，第二个听起来像好莱坞电影情节。
我很疑惑，继续问道：
那你心里想的民主是哪种？
那个演讲者回答道：
就好像人类基因组计划一样——那是国际合作的研究项目。
我又问道：
那在人类基因组计划这样的结构中，不同的利益群体如何解决他们的纷争呢？
然后那个演讲者说：
我不知道。
这段对话让我想起了某个独裁者还是什么人的一句话，他被问道，是否想把他的统治变成民主政治：
我相信我们已经实现了民主。尽管依然有一些因素是缺失的，譬如人民意愿的表达。
民主政治的本质就是解决政策冲突的特殊机制。如果所有群体都有相同的政策倾向，那也就不需要民主政治了——我们会自动合作。冲突的解决可以靠直接的大众投票，或是选举出的立法机构，甚至是一个可以感应选举者意愿的人工智能，但必须有一个机制。如果你心中没有冲突解决的机制，就呼吁民主，那又算是什么呢？
我认为，这意味着你说了“民主”这个词，因而观众理所应当为之欢呼。它并非一个命题式陈述，而更像是“掌声”提示光，告诉现场观众：此处应有掌声。
这个例子值得注意，仅仅因为我误把掌声提示光当成了政策建议，以及这之后的一系列尴尬。大部分的掌声提示光要明显得多，而且用一个简单的反向测试就能检测。譬如，假设有人说：
我们需要平衡人工智能的风险和机遇。
如果你反向思考这句话，就是：
我们不应该平衡人工智能的风险和机遇。
既然反向陈述听起来很反常，那原陈述多半是正常的——也就是说，它没有传达任何新信息。你可能有大量合情合理的原因去说一个单独看来没有意义的句子。“我们需要平衡人工智能的风险和机遇”可以引出一个讨论话题；它可以强调某个关于平衡的具体提议的重要性；它可以批评某个不平衡的提议。将这些话与一个普通的断言联系起来，可以向有限理性人传达新信息——尽管联系本身可能并不明显。但是如果没有结合任何具体陈述，这个句子很可能只是掌声提示灯。
我很想有机会做一次只有掌声提示灯的演讲，然后看看要过多久观众才会开始笑：
今天，我站在这里，提议我们应该平衡高等人工智能的风险与机遇。我们应该尽可能规避风险，抓住机遇。我们不应该无谓地面对完全没有必要的危险。为了达到这些目标，我们必须谨慎而理智地计划。我们不应在惧怕与恐慌中行动，或者向技术恐惧症妥协；但也不应在盲目的热情中行动。我们应该尊重奇点峰会中所有相关团体的利益。我们必须尽量保证先进技术的利益覆盖到尽可能多的个体，而不是只服务于少数人。我们必须尽可能避免在暴力冲突中使用这些技术；同时，我们必须防止具有大规模破坏性的技术落到少数人手中。我们应该在事前，而非事后，就仔细思考这些议题，否则就太晚了……
翻译：糖颗颗
校对：yzhaobk
注释