本期对话嘉宾为艾伦·温菲尔德(Alan Winfield)，他是西英格兰大学 机器人 伦理学教授、世界经济论坛理事会Future of Technology Values and Policy部门的成员、人类大脑项目伦理咨询委员会的成员、Frontiers in Evolutionary Robotics的副主编。 世上不存在普遍的道德规划 这种情况如何约束AI？
问：机器人伦理学家是做什么的？
Alan Winfield：我认为对这一职业最简单最概况的总结就是，机器人伦理学家就是那些为机器人和人工智能的伦理和社会影响及其后果而担忧的人。所以，从某种程度上说，我是一个专业的担忧者。
问：机器人伦理学是关于我们如何使用机器人的伦理道德规范，还是机器人自身行为的道德准则？
Alan Winfield：这两个都是，我大部分的工作涉及的是前者。换句话说，就是探寻人类——包括人类工程师、机器人制造商和维护者、维修人员等等，也就是每个与人工智能和机器人有关的人，应该如何采取负责任和道德的行为，尽量减少人工智能和机器人对我们的社会，我们每一个人以及我们的星球带来的不必要的道德后果和危害，如果人们愿意的话。
你刚才提到的第二点，人工智能和机器人行为的道德准则，这更像是一个研究问题。它没有第一个问题那样紧迫性，而且它确实是一个非常有趣的问题。我正在研究的问题之一就是我们如何创造出合乎伦理道德的机器人。
问：合乎伦理的机器人，是不是可以理解为机器人本身就是一个道德主体？
Alan Winfield：是的，可以这么说。但是请记住，目前，唯一的完整意义上的道德主体是像你我一样的成年人类，当然不是所有的人类，是心智健全的成年人类。当然，我们并不能人工建立一个类似的道德主体，所以，我们目前能做到的就是在有限的意义上建立较低级别的道德机器人，它们可以根据特定的伦理规则来选择它们的行为。但是，不像你我，它们不能决定是否要遵守道德，当然也不能在事后证明它们自己的行为是正确的。
问：当你想到未来，关于道德主体，甚至是我们如何道德地使用机器人时，你如何看待这样一个事实——即没有两个人能在所有伦理问题上达成一致？也就是说，在这个世界上，人们关于什么是道德行为，什么是不道德行为的定义是不同的。所以，你不是在向一个最初就定义不明确的目标射击吗？
Alan Winfield：当然，确实有这个问题。就像你说的，并不存在单一的、普遍的道德规范，即使是在某一个特定的传统中也没有，比如说，在西方的伦理传统中，就有很多道德规范，无论是结果主义伦理，还是道义、道德，都是很复杂的。但我想说的是，你可以把所有这些都抽象出来，有一些非常简单的原则大多数人都会同意，比如，机器人不应该伤害人，也不应该见人受到伤害而袖手旁观。
这恰好是阿西莫夫机器人第一定律，我认为以此作为起点相当明智。阿西莫夫的机器人第一定律是通用的，但是，我想说的是，我们可能只会采用非常少的伦理道德规范，即使它们不是普遍的，也要能引起人们广泛的关注和认同。
问：然而，在人工智能领域，有大量的资金被用于这一方面，对吗？例如，在军队中使用的机器人，特别是，包括那些实际上正在做，或者是被设计用来杀人和给人类带来伤害的机器人，所以，我们这个看似很明确的起点甚至都不能实现。
Alan Winfield：的确，人工智能和任何技术的武器化都是我们都应该关注的问题。我的意思是，你是对的，现实世界中有武器。但这并不意味着我们不应该为实现一个技术没有被武器化的更好的世界而努力。是的，这是一个理想主义的观点，但是机器人伦理学家就是理想主义者。
问：地雷是不是一个使用了人工智能的、被设计用来杀人的机器？如果人工智能检测到物体重量超过了45磅，就会运行爆炸的程序，那么它是一个能够自行做出杀人决定的机器人吗？
Alan Winfield：在某种程度上，我认为你可以说这是一个自动测量计，或者说是自动机。它有一个传感器——也就是一个能感知重量的装置——和一个致动器，由此触发爆炸程序。但事实是，地雷是一种可怕的武器，早就应该被禁止，而且大部分已经被禁止了，当然，全世界仍在清除地雷。
从大脑到思想再追溯到意识
问：谈谈白蚁巢穴，白蚁们不知道它们在做什么，它们没有一个明确的、有始有终的任务。如果所有这些都是真的，那么人类的思维就不应该是一个涌现性现象，因为我们确实有目标，我们知道我们在做什么。
Alan Winfield：嗯，我不完全同意这个观点。我的意思是，我们的确认为我们知道自己在做什么，但这很可能是一种幻觉，只是不管怎样，我们都会坚持下去。
问：这是一个很好的切入点，所以，你指的是我们本能地做某件事，然后我们的大脑就会开始思考我为什么要这样做，然后它会逆转这两件事的顺序然后说，“是我决定这么做的。这就是我为什么要这么做的原因。”
Alan Winfield：我的意思是，这可能正确，也可能不正确。但我真正想说的是，当你谈论人类的行为，目标，动机等等时，你真正看到的是一个非同寻常的、多层次过程的最顶层，我们不能真正理解整个过程。我的意思是，在较低层次的过程之间，存在巨大的鸿沟，这些也是我们所不能理解的，换句话说，就是单个神经元之间的相互作用，以及意识的涌现性，主观经验，知觉等等。
这个过程有很多个层次，而最顶层，也就是人类的行为，也是通过语言和文化来调节的，我们不能忽略这一点。你和我在一百万年前可能就不会有这样的对话了。重点是，我们现在可以思考和讨论的东西，如果没有这个特殊的、存在于大多数人类的头脑中的文化体系，我们就不能讨论这些了。
我们是社会性的动物，这是另一种涌现性。先有意识的涌现性，然后是心智，然后形成了社会的涌现性，到最后就是文化的涌现性。在这中间的某个地方，存在着语言。所以，当你开始问像“是的，但是这样一个涌现性系统怎么能有目标，有任务呢？”这样的问题时，我认为很难分离出其中的某一个方面。也许，现代人类在这个特定的文化中确实拥有——也许更确切地说——我们认为的目标和动机，但是谁知道这真正是什么呢？我想我们可能不需要向前追溯几十或几百代人，去发现我们的目标和动机和大多数动物没有什么不同，而这些动物只是为了填饱肚子，为了生存。
问：所以，让我们从大脑到思想再追溯到意识。也许在一百万年前，你是对的，但有些人会坚持认为，当我们有意识之后，本质上，那就是我们开始变得主动，开始有目标和意图的时候。所以，我会问你一个无法回答的问题，你认为意识是如何产生的？
Alan Winfield：我当然认为这是一种涌现特性，但我认为这是一种很好的适应性特征，而且我认为意识的出现只是一场偶然。但我认为这是一种有价值的适应，因此，在我们的进化史上——可能是最近的进化历史——有些人开始喜欢引人注目，喜欢作为主体，享受在这个世界上作为独立个体的主观体验，我怀疑他们比他们的同类有更强的适应性，而其他人没有这种特点。
我认为意识的出现与人类之间的交际行为密切相关。我认为，为了成为社会性动物，我们必须有心智理论。要想成为一个成功的社会动物，你需要能够驾驭人际关系和社会等级制度的复杂性，以及等级排序等等。
我们知道，黑猩猩在我们所谓的“权术主义智慧（Machiavellian intelligence）”方面确实相当老练。换句话说，有了这种社会智慧，你会故意地，操纵你的行为以获得一些社会优势。换句话说，我假装想要了解你，不是因为我真的想了解你，而是因为我知道你和某个人是朋友，而我真的很想和她做朋友。这就是权术主义智慧。黑猩猩似乎很擅长这一方面，而且可能和我们人类一样擅长。
为了能够拥有这种权术主义智慧，就需要有心智理论。心智理论意味着你对自己的同类有一个非常复杂的概念。现在，我认为，反过来，是由于我们有复杂的身体，难以控制的身体，因此，我们，在我们的进化史上的早期，开始有相当复杂的身体自我形象。换句话说，也就是一个内部的模拟，或者称之为，一个我们自己身体的内部模型。
当然，拥有自己的身体模型的美妙之处在于，你也会自动拥有一个同类的模型。所以，我认为，是由于一种自我模式的引导，让我们有了心智理论。然后，我想，一旦你有了心智理论——我不知道从什么时候开始——我们就可以开始相互模仿，换句话说，就是做社会学习。
我认为社会学习是现代思想进化的又一个巨大的进步。我的意思是，社会学习比个人学习更有力量。然后这种传递知识的能力会从祖先传给后代，特别是在人们发明了写作、符号和语言之后，写作当然是很久以后的事了，但是我认为所有这些都是必要的，但也许还不足以满足产生意识的先决条件。我的意思是，这很有趣，我不知道你是否知道朱利安·杰恩斯的书。
问：当然知道《二分心智》，直到公元前500年我们才有自我意识，而希腊诸神和神谕的兴起，只是因为我们意识到了我们已经失去了过去在头脑中能够听到的声音。
Alan Winfield：我认为这是一个激进的假设。没有多少人相信这个观点。但我认为这是非常有趣的，这种观点认为现代的意识可能是最新的一种适应性，记录了从荷马史诗时代以来的历史。所以，我认为，可能永远不会有人知道意识是如何进化的。就像很多自然历史一样，我们只能有“原来如此”的故事，我们只能有可信度或高或低的假设。
但我坚决相信产生意识的关键的先决条件是内部模型。Dan Dennett提出过一个概念框架，他称之为“Tower of Generate-and-Test”，基于这个概念的生物都能非常复杂的方法来产生并测试关于它们接下来采取什么行动的假设。其中的波普式造物（Popperian creatures）理论，提到生物有一种神奇的创新，它能够在做某件事之前想象出其行动的结果。因此，他们可以意识到某个行为是糟糕的，并决定不去尝试，因为这很可能是非常危险的。
他还提出，波普式造物的一个子类就是格列高利式造物（Gregorian creatures），这一类型下的生物发明了思维工具，比如语言，因此有了这种额外的非凡的能力，可以从其它生物那里相互学习。我认为，社会学习和心智理论在意识的出现中是很重要的。当然，我也会大胆地说，我认为独居的动物并不具备你和我所拥有的那种意识。
问：所以，也就是说，我们不知道意识是怎么来的，并且你刚才说我们可能永远也不会知道。但实际问题还要棘手得多，因为我们不知道的不仅仅是意识的由来，我们也没有任何科学来阐释我们是如何感觉到某种东西的，我们又怎么能体验到一些东西而不是仅仅感觉到它呢？那么，你认为我们的“主观体验”到底是什么呢？
Alan Winfield：这是一个非常复杂的问题。我之前提到的只是一个非常小的前提条件，我不是说这就是“什么是意识”的答案。有一些关于意识的有趣理论。比如说，我很喜欢托马斯·梅辛格（Thomas Metzinger）的理论，我认为至少对我来说是一个非常有吸引力的意识理论，因为它是建立在内部自我模型的基础上的，我已经指出我对自我模型很感兴趣，而且对他提出的自我模型的概念很感兴趣。
现在，正如你所说的，我们的误解中存在着巨大的鸿沟，我们甚至都不知道应该问什么问题，更不用说回答了，但我认为我们正在慢慢地靠近真相。我认为人类在意识研究方面正在取得进步。我的意思是，安尼尔·赛斯（Anil Seth）在这方面的研究也非常有趣。
问：很多时候，当人们看到人类的大脑时，他们会说，“嗯，我们不理解它的原因是因为它有一千亿个神经元。”然而，人们已经努力了二十年，将线虫的302个神经元取出来，并试着创造一种数字化的生活，将其模型化，尽管我们能复制出一个拥有300个神经元的大脑，我们根本不能理解大脑是如何工作的。甚至有些人认为单个神经元可能和超级计算机一样复杂。你怎么看？为什么我们不能理解线虫的大脑是如何工作的呢？
Alan Winfield：当然，“理解”是一个多层次的东西。在某种程度上，我们能够理解线虫的神经系统是如何工作的。我的意思是，我们可以理解，这是真的。但是，和所有的科学一样，“理解”或者科学模型在某种程度上是抽象的。如果你想深入了解，提高理解的程度，我想这就是开始遇到困难的时候。
因为正如你所说的，当我们用计算机模拟线虫时，我们不能以完全的保真度模拟出每一个单独的神经元。为什么不能呢？不仅因为它非常复杂，还因为我们还不能完全理解一个生物神经元的所有内部过程。但这并不意味着我们不能，在一些有用的、有意义的抽象层面上，弄清楚对某一特定感觉器官的刺激将会导致某一特定的连锁反应，于是会导致肌肉的抽搐。我们当然可以做到这一点。
除了人类，谁还拥有意识？
问：你写了一篇名为Robots with Internal Models: A Route to Self-Aware and Hence, Safer Robots的论文，你在刚才也提到过内部模型。你在论文中反复提到三个术语。第一个是自我意识（self-awareness）。你提到了盖洛普的红点测试，这个测试可以证明“我就是我自己”。我可以在镜子里看到一个人额头上有一个红点，我知道那是我，我会试着把它从我的额头上抹去。这就是自我意识的概念。第二个术语是感觉（sentience），当然它经常被误用，感觉当然是指能够感知一些东西，通常是感觉疼痛。第三个是意识（consciousness），也就是，“我经历过某件事。”自我意识是否意味着感觉，而感觉是否意味着有意识？或者自我意识只是自我意识，不是感觉或意识？
Alan Winfield：我不认为这是绝对的。换句话说，我认为所有这些都是有一定程度的。我的意思是，即使是简单的动物也要有一些有限的自我意识。我认为最简单的一种自我意识，就是所有动物都需要能够分辨出自己和其它动物不同。如果不能分辨出自己和其它动物之间的区别，那么它会很难在这个世界上生存。
现在，我认为这是一种非常有限的自我意识，尽管我不会因为那些低级动物能够区分自己和其它动物之间的区别，就说它们有感觉或意识。所以，我认为这些东西都是有程度的。
意识也是分程度的，毋庸置疑，人类的某些属性是独特的。我们几乎肯定是地球上唯一能够思考“思考”这件事的动物。也就是反身的能力，能够自己给自己提出问题。
但是，即使黑猩猩可能不能思考“思考”这件事本身，我认为它是有意识的。它们显然有很多其它的意识属性。不仅是黑猩猩，还有其它动物，能够很明显地感觉到疼痛，或者感到悲伤，感到难过。当某个动物家族的成员死亡或被杀死时，其它动物的反应能够证明它们有意识。而且有很多动物，我们几乎本能地感觉到它们有很高程度的意识。海豚就是一个例子。而最令人费解的动物，是章鱼。
问：那么植物呢？植物是否有自我意识、感觉、知觉或意识？
Alan Winfield：这个问题问得好。当然，植物是有智慧的。这里用“智能（intelligence）”这个词可能更合适。但是，这也许只是一种有限形式的自我意识，一种非常有限的感觉，因为从某种意义上说，植物确实能感知周围的环境。植物，树木，显然对邻近植物或害虫的攻击有一定的感知和反应，而且似乎能够作出反应，保护自己和周围的同种个体。
所以，植物的行为，植物的智慧，是非常复杂的，才刚刚开始被我们理解。我有一个朋友，Danny Chamovitz，他是以色列特拉维夫大学的生物学家，他写了一本关于植物智能的很棒的书，非常值得一读。
问：你不可能把人类大脑放到显微镜下然后说，“这些东西是有意识的。”所以，我想，詹姆斯·洛夫洛克（盖亚假说的提出者）会注意到——我不知道他在这个问题上的立场是什么——地球自身在狭窄的范围内控制了如此多的属性。我再问你一个问题。互联网呢？互联网是否有可能实现某种意识或自我意识？我的意思是，它肯定有足够的处理器。
Alan Winfield：我想也许这个问题的答案，我只是刚刚才思考这个问题，我认为答案是否定的。我不认为互联网是自我意识。我认为，这与我不认为地球或者这个星球有自我意识是同一个原因，尽管它，正如你说的，是一个惊人的自我调节系统。但我认为，自我意识和感知能力，以及对其它事物的意识，不仅需要高度互联的网络，它们还需要正确的体系结构。
我们的大脑，我们的神经系统，不是随机连接的网络。它们有自己的体系结构，而且是进化了的体系结构。当然，它不仅进化了，而且还受到了社会的制约。我的意思是，我一直在说，你们和我能进行这次谈话的唯一原因是因为我们共同地，共享一个文化，一个文化环境，而它本身就是高度进化的。所以，我认为意识的出现，与沟通、语言以及最终出现的文化是不可分离的。
我认为，互联网不可能有自我意识，是因为它没有正确的架构，而不是因为它没有足够的处理器和连接。它显然有这些，但它与我认为是必要的体系结构没有联系——从某种意义上来说，动物神经系统的架构不是随机的。这显然是真的，不是吗？如果你随机地连接一千亿个神经元，并不能得到一个人类大脑。
问：我觉得你可以说互联网的主干和节点是一个有机的结构，但是我同意你的观点。所以，我想我要讲的是如果我们制造出一种有自我意识的，可以感知这个世界的机器，那么我们如何知道它有自我意识呢？
Alan Winfield：我认为这确实是一个问题，我们很难知道。其中的一种伦理风险，特别是大脑模拟，在某种意义上说，是一种特殊的人工智能，我们可能会不知不觉地制造出一台机器，它实际上有着非凡的主观性，甚至更令人担忧的，它可能正经历着痛苦。换句话说，一个东西正在经历痛苦。最糟糕的是，正如你说的，我们甚至可能不知道它正在经历这样的痛苦。
问：比如我的 扫地机器人 突然意识到了它自己，我们也冒着最终制造一个庞大的数字奴隶种族的风险，对吧？在我们的意志中，我们所做的一切，都是为了感受和感知世界。
Alan Winfield：嗯，是的，机器人作为奴隶的道德问题是另一个问题。我们不要混淆它。从某种意义上说，在机器人的道德问题上我不怎么困扰，因为它们没有感觉和意识，它们在道德上的要求，我不会说完全没有，但它们在道德上的要求很低。
自动驾驶汽车发生交通事故 人类需要对此负责
问：当机器人伦理问题，或者人工智能伦理问题出现，人们会说这是我们必须考虑的一个直接的例子——除了在战争中是否应该使用这些设备之外——每个人都知道的例子是，自动驾驶汽车是应该开车冲下悬崖还是撞向一个人？有一家自动驾驶汽车制造商站出来说：“我们会保护司机。我们就是这么做的。”作为一个机器人伦理学家，你觉得应该如何解决这个问题，这个孤立的，真实的世界问题？
Alan Winfield：我认为道德困境的问题，尤其是“电车难题”，在现实生活中是非常非常罕见的。我的意思是，像你我这样的人，我猜你平时会经常开车，而且你可能已经开了很多年的车，你遇到过多少次电车难题呢？答案是从来没有过。
问：但是你知道在事故中汽车确实有可能会碾压到行人。
Alan Winfield：承担责任的并不一定是程序员，但确实是人类。我的观点——我对此持非常强硬的态度——是人类，而不是机器人，应该承担责任，此处的机器人包括人工智能在内。因此，无论无人驾驶汽车是如何编程的，它都不能承担责任。我认为这是一个绝对的基础，至少目前是这样的。在几百年以后，也许情况会稍微有不同，但是，现在，我持一个非常简单的观点——机器人和AI都不应该负责，应该负责的只有人类。
那么现在，一辆无人驾驶汽车应该遵守什么道德规范呢？我认为这是一个社会问题。当然，这并不取决于程序员的设计，甚至是制造商的决定。我认为这必须是一个社会问题。所以，你是对的，当我们有无人驾驶汽车时，仍然会有事故发生，当然事故会发生得比较少，但偶尔还是会有，人们仍然可能会在车祸中丧生，也就是无人驾驶汽车犯错误的时候。
现在，我们需要做几件事。我认为，我们需要能够找出为什么无人驾驶汽车出了问题，这意味着无人驾驶汽车需要安装类似在飞机上安装的飞行数据记录器，我称之为“道德黑匣子（ethical black box）”。我们需要有监管机构，这意味着制造商有义务将这些黑匣子安装到无人驾驶汽车上；事故调查人员有权威和权力，能够查看这些“道德黑匣子”中的数据，找出问题出在哪里。
但是，即使这些监管全部到位，我觉得，一定还是会有一些偶然的事故，其唯一的解决办法就是将道德标准 应用 到无人驾驶汽车中。但是，如果我们确实把无人驾驶汽车的行为与道德规范相匹配，那么这些伦理道德需要由整个社会来决定，这样我们就能共同承担起那些发生事故和人们受到伤害的少数案例的责任。
问：Weizenbaum是著名的ELIZA聊天机器人的发明者，如果你输入，“我有个问题”，它会说，“你有什么问题？”“我和我的父母有矛盾，”“你和你的父母有什么矛盾？”就像这样继续下去。Weizenbaum写了这个程序，然后他注意到人们对聊天机器人产生了情感上的依恋，尽管他们知道这只是一个简单的程序。他区分了决定和选择的概念。他说，“机器人应该做决定。这是一种计算机操作。但它们永远不应该做选择。选择是人类应该做的。”你认为他这种说法对吗，你对这种区别有什么看法？他认为，人希望机器有同理心，这从根本上就是错误的，因为这样做没有高估机器的能力，而是贬低了人类。
Alan Winfield：是的，我当然坚决认为，如果我们用机器人作为个人助理或者聊天机器人，顾问或者伙伴，无论是什么，都需要在一个非常严格的道德框架内完成这些，确保没有人被欺骗，没有人被剥削。我能想到的一个关于欺骗的例子就是，在使用聊天机器人时，相信你真的是在和一个人说话，或者，即使你意识到你不是在和一个人说话，也相信这个系统，相信机器在照顾你，机器对你有感情。
我当然不会坚决认为我们永远也不应该有这种伙伴系统，因为我认为在某些情况下，毫无疑问，它们是有价值的。比如说，机器人宠物。当可能患有痴呆症的老人进入疗养院时，他们所经历的最大的创伤之一就是把他们的宠物丢在一旁。我和一个在养老院工作的人交流过，他说，那些老年痴呆患者，表示希望他们住的地方有机器人宠物。
现在，这些老年人可能会意识到，机器人宠物并不是真正的动物，但是，在某种意义上，他们仍然可能会觉得这个机器人很在意它们。我认为这是可以的，因为我认为，和欺骗造成的心理伤害相比，更重的是机器人宠物对治疗的益处。
但我想说的是，我认为我们需要强有力的道德框架，指导方针和规定，保证弱势群体，尤其是儿童，残疾人，老年人尤其是可能患有痴呆症的老人，不会被肆无忌惮的制造商或设计师设计出的看似有感情的系统所利用。
问：关于科幻小说你怎么看？你是否会觉得任何科幻小说、 电影 或电视节目中的情形“啊，这可能会发生"？
Alan Winfield：我读过很多科幻小说，当然不是所有都会发生，但很多时候我希望或者喜欢看到其中一些能够发生。通常最好的科幻小说都是反乌托邦的，但这也没关系，因为好的科幻小说就像一个思想实验，不过我也喜欢乌托邦式的幻想。而且我更喜欢Iain M.Banks的The Culture系列中的AI乌托邦——在这个世界里，有很多极其聪明的，非常神秘的人工智能，但是，尽管如此，它们是善良和仁慈的，会照顾那些贫穷的人。我有点喜欢他这个想法。
