马库斯总结16项「可信AI」要求，符号主义+神经网络携手打造AGI！40年前的Cyc成版本答案

在互联网时代，存储知识变得没那么重要，可信的AI应该掌握搜索能力，并解释这些知识，推理其出处和可信度，推导出逻辑上顺理成章的事情，至少像大多数人一样善于类比（和从类比中类比），并在必要时尽快完成所有这些工作。

ChatGPT掀起了一股「生成式AI」的浪潮，所有任务都可以通过对话的方式生成答案，实现了接口、模型架构的统一。

不过生成式AI也有缺陷，比如可控性很差，生成的结果经常是「胡编乱造」，非常难以预测、不可解释；在复杂推理方面表现不佳。

(相关资料图)

最近，著名AI学者、Robust.AI的创始人兼 CEO 、纽约大学的名誉教授Gary Marcus发表了一篇论文，对可信的生成式AI提出了16项能力要求。

图片

论文链接：https://arxiv.org/ftp/arxiv/papersw2308/2308.04445.pdf

文中还讨论了如何结合「显性知识和经验法则」和大型语言模型，使推理引擎能够自动推导出所有知识的逻辑蕴涵。

图片

Cyc知识工程

和模糊的语言推理不同，在AI发展的早期大多采用手写规则的方式实现各种任务。

Cyc项目始于1984年，开始的目标是把人类的上百万条常识编码为机器可用的形式，包括「每棵树都是植物」、「植物最终都会死亡」等基本知识，目前该知识库已经包含了320万条人类定义的断言，涉及30万个概念，15000个谓词。

Cyc 的主要推理机制类似于用「形式逻辑」表达的子句进行「定理证明」。

比如说给定一个场景：一个人看到自己的女儿迈出第一步（A person sees their daughter take her first step）。

此时AGI应该能够回答出「在这种情况下，那个人在笑吗？如果是的话，为什么？」（Is that person smiling, in that situation? And, if so, why?)

演绎推理的第一步是用逻辑表达情境和问题，设定3 个变量 p、d、e分别代表观看的人、女儿和行走事件；⋀是AND（逻辑与）的符号。

图片

问题可以表示为：

图片

假设还有一套「常识性」公理可用于连接情境和问题，用自然语言来表达的话就是：

A1. 人们爱自己的孩子People love their children

图片

A2. 如果你发现你爱的人取得了重大成就，你会感到高兴If you find out that someone you love has accomplished something significant, it makes you happy

A3. 当一件事让你开心时，你会微笑When something makes you happy, you smile

A4. 对人来说，迈出第一步是一项重大成就Taking one’s first step is a significant accomplishment for people

A5. 如果你看到某些事件发生，你就会知道表演者和动作If you see some event happening, you know the performer and the action

A6. 一个人的女儿也是他的孩子A person’s daughter is one of their children

假设这些经验法则都是默认为真，再结合否命题：

图片

就可以逐步推理出一个全新的公理，并得出最终答案，进而回答出「为什么」。

Cyc项目的另一个优势是包含超1100个高级推理器，可以显著提升推理速度。

可信AI的十六个能力

Cyc知识库可以作为可信的知识源，辅助大型语言模型进行纠错，可以更好地实现可信人工智能（trustworthy AI）。

1. 可解释性（Explanation）

一个可信的AI不仅需要给出问题的答案，还要描述出答案生成背后的推理过程，例如用户可以反复追问一系列「为什么会这样」的问题，可以通过模型了解更多基础知识，并最终归结到第一性原理和「既定」的基本真理上。

模型在推理链中引用的每一个证据、知识、经验法则等，都需要给出其来源或出处。

图片

在大多数情况下，这比人类之间相互交流的标准更高，但在科学领域，以及在涉及家庭保健、财务等非常重要的决策时，用户也希望获取更细节的信息。

模型的解释应该尽可能简明扼要，并且能够根据上下文、用户拥有（或推断拥有）的先验知识和隐性知识，以及用户所处（或推断所处）的资源限制，对细节进行优先排序和筛选。

2. 演绎推理（Deduction）

一个可信的AI应该能够像人类一样进行演绎推理，比如说人知道国家有边界，并且安道尔是一个国家的话，那么就可以推断出安道尔有边界。

算术推理也是一种演绎推理，如果有人进入了一个原本只有四个人的房间，那么房间里就会变成五个人。

图片

下棋等游戏需要用到穷举法推理，模型需要把所有可以行动的点列举出来，再判断可行性。

演绎推理还包括识别两个陈述之间存在明显矛盾或是冗余的的情况。

3. 归纳推理（Induction）

当某些结论无法从逻辑上推导出来时，可以作为演绎推理的补充，比如说动物的种类通常决定了其解剖结构的主要特征，如果一个新的无脊椎动物叫做「无尾熊」，并且有八条腿和两只翅膀，那可能会推断出所有的无尾熊都有这种特征，不过这个结论可能是错误的，但也足以应对日常生活。

图片

归纳推理更像是一种时间投射，比如某个结论在t1时间为真（现在有一栋房子），就可以推断出它在t2时间点（两年前或三年后拥有房子）为真的概率。

大多数此类预测都遵循一种概率衰减曲线（线性、正态、高斯等），每个方向都有相应的参数，类似的预测也适用于地点、安全性和其他数十个维度。

在边界（如州界）和中断事件（如离婚和卖房，或不太明显的电话铃声）中，情况会发生变化。

4. 类比推理（Analogy）

人类的许多推理都涉及到对「表面上不相关」的事物之间进行类比，所以模型必须先了解可能存在类比关系的大量、广泛的事物（物体、行为、属性等）。

5. 溯因推理（Abductive Reasoning）

有时也称为最佳解释推论（inference to the best explanation），如果一个看门人在一个房间里看到了一套椅子，这套椅子看起来就像看门人前一天晚上观察到的那套椅子，那么在其他条件相同的情况下，就可以推断出（可能不正确，但却是最好的解释）就是这两套椅子是同一套椅子。

6. 心智理论（Theory of Mind）

当我们与他人交谈时，通常可以很快建立出一个很好的模型，可以了解对方知道什么、有能力做什么、关心什么等等，然后再用这个模型来引导互动：

比如与同事交谈时更简洁，与陌生人交谈时描述更多细节，与幼儿交谈时使用更简单的概念和词汇，或是考虑对方与自己有哪些共同的先验知识等。

图片

同样地，对于AI来说，过于话痨会显得居高临下、过于简洁可能会导致回答含糊不清，或是被误解。

人工智能应该随着与用户互动的加深，不断增加新的时间标记，而非只是覆盖和保留最新的模型。

7. 量词流畅性（Quantifier-fluency）

比如说「每个瑞典人都有一个国王」，并且「每个瑞典人都有一个母亲」，虽然表述上相同，但瑞典人的国王只有一个，而母亲却是不同的。

在逻辑学中，可以使用存在量词、全称量词可以避免这种歧义，不过普通人也可以从自然语言中区分开，因为在推理过程中会引入关于家庭、母亲、君主制等常识。

8. 情态流畅性（Modal-fluency）

人们经常会使用「我希望」、「我感觉」等短语来修饰句子，甚至可以包含相当深的嵌套语义关系，模型应当能正确理解句子主体。

9. 可撤销性（Defeasibility）

人们听到的、读到的、说到的、相信的和推理出的很多东西都是默认为真，但新信息层出不穷，如果当时就知道这些信息的话，那么得出的许多结论可能会截然不同。

人工智能要想变得可信，就必须能够吸收新信息，并修正先前的信念和答案。

对于某些关键应用场景，AI还需要主动告知用户过去哪些回答是错误的，应该修改哪些过去给出的错误结论。

10.正反论证（Pro and Con Arguments）

许多复杂的现实问题都没有明确的客观答案，比如我应该上哪所大学？我应该买什么车？

在某些情况下，可以对所有可选项进行加权和评分，列举出各自优势和劣势，提供专家级的建议。

图片

因为AI所知道的信息默认都是真实的，所以即使一些看似简单的问题也可能存在多个相当不错的选择。

11. 上下文（Contexts）

同样的一种说法，在不同的群体中可能适应性不同，例如「谁是瑞典国王」的答案随时间变化而不同，大多数人类交流都会隐含一些上下文元素，可能会在训练 LLM 时导致混淆问题。

在执行任务时（例如与人互动），使用语境非常重要：可以推断出为什么要问他们这个问题，他们可能受到什么资源限制，用户处于什么语境中，他们的回答会有什么用途等等。

12. 元知识和元推理（Meta-knowledge and meta-reasoning）

一个可信的推理器，无论是人类还是AI，都需要能够获取并推理自己的知识，最好包括每个事实或经验法则的历史和出处，并且应该对自己知道/不知道什么，以及自己在各种任务中的能力有多强/多差有一个准确而现实的模型。

人工智能应该能够自省并解释它为什么会改变昨天对某些事情的看法，并假设可能会导致它改变对某些事情看法的合理情景，然后缓存这些情景，并警惕可能会出现这些情景的迹象。

另一种重要的元推理是批判性思维，即是否以及何时可以相信某些特定的信息来源，心智理论、语境、正反论证（上文）也都可以被视为元知识和元推理的类型。

13. 明确的道德规范（Explicitly ethical）

可信的AI应该遵循看似不可侵犯的核心指导原则，例如不撒谎、不造成情感或身体伤害，不过这些原则往往是模糊的、复杂的、相互冲突的，而且是不断变化的，需要通过元推理来解决。

人工智能需要根据「契约」对与之互动的每一个人或每一群人做出承诺，并信守承诺，例如不泄露机密。

14. 足够快的运行速度（Sufficient speed）

就像人类在完成一项任务一样，人工智能也需要根据所处理问题的类型提供足够的响应速度，有些应用需要微秒级的响应时间，有些需要实时的人机对话响应时间（1/4 秒左右），还有一些应用运行速度较慢也没关系，比如撰写一份200页的美国国立卫生研究院拨款提案）。

15. 充分的语言性和具身性（Sufficiently Lingual and Embodied）

人类能够用自然语言交谈，或听和说（理解并产生适当的前奏），或视觉解析场景和识别物体、四处走动、操纵实物、使用仪器和设备，能感知质地、压力、温度、气味等。

16、广泛而深刻的知识（Broadly and Deeply Knowledgeable）

在人们交流过程中，默认对方拥有关于世界的大量共同基础知识，从常识到交通、天气、犯罪等模型。

在互联网时代，存储知识变得没那么重要，可信的AI应该掌握搜索能力，并解释这些知识，推理其出处和可信度，推导出逻辑上顺理成章的事情，至少像大多数人一样善于类比（和从类比中类比），并在必要时尽快完成所有这些工作。

参考资料：https://arxiv.org/ftp/arxiv/papersw2308/2308.04445.pdf

关键词：