*中国人民大学教授刘永谋首发于微信公众号，保留一切知识产权，侵犯必究。
《道德机器》是一本讨论机器人道德设计哲学的书，对与机器人道德设计或称为人工道德设计相关的前沿进展进行了全面的综述，并对其中的理论问题进行了细致的梳理。在此基础上，作者们提出自己的根本主张：1）要重视人工道德智能体（AMAs）领域的研发工作，意义重大；2）AMAs设计路线可以分为自上而下、自下而上以及两者相结合等3种路线，自上而下即边沁所谓的道德计算，而自下而上是AI在情境中学习路线。3）完全的自上而下路线是不可行的，只能走自下而上的模块组装路线，但自上而下的构建有启发和引导价值。
★
应该说，《道德机器》对于想研究机器人道德设计的人来说，是一本非常好的入门书籍，将截止2017年该领域的进展几乎一网打尽，深入到机器人的伦理技术设计细节之中。但是，我所关注的是AI的社会冲击，与该书的主题有关，但又很不一致。
1.机器人设计目标问题。当我讨论机器人设计时，焦点是机器人与人、社会的关系，而《道德机器》的焦点是机器人更有道德。
很多人意识不到这是两个不同的问题，即更有益的AI与更智能的AI是完全不同的。更智能的AI，包括更道德敏感的、更能像人一样道德判断与决策的AI，并不意味着更有益。对不对？
人类的道德行动是混乱而不一致的，“像人一样道德判断与决策的AI”在何种意义上能成立呢？艾伦提出所谓道德图灵测试：提供一系列真实的道德行为的例子，让提问者区别其中的机器行为，如果区别不了，AI就通过道德图灵测试。对于同一个情境，不同人判别结果不同。有道德水平高的人，有道德水平低的人，如何能笃定某些道德行为必定不是人的行为呢？比如说，某人会不会毫无征兆、毫无理由地杀死一个根本不认识的刚出生一天的婴儿呢？你能断定这是机器人干的，而不是某个杀人狂、杀婴狂或精神病能干出的事情呢？
这样的测试实际是比较某种行为比另外一些“更道德”，而不是区别道德与不道德的行为。这相当于评选道德模范，希望AI成为最高标准的“活雷锋”。换言之，这不是让AI像人，而是让AI成为非人。问题是，谁是“活雷锋”，既有的美德伦理学完全是混乱的。在边沁看来，时时计算最大功利并依据计算行动的人是活雷锋，康德会认定刻刻遵循内心深处道德律令的人是活雷锋。
2.由此，《道德机器》主张自下而上的道德学习和道德模块才是解决之道。我想到的则是，除恶是比至善更为可行的AI设计原则。
人类不仅自己不是活雷锋，而且对于活雷锋什么样也是矛盾的。但是，对于什么是不道德，尤其是某些令人发指的罪行，不同的人群似乎更容易大致大概的一致性。因此，避免AI越过底线，做出明显不道德的行为是AI设计更可行的方案。
★
记住：人们并不能从AI“更像人”中获益，而是从AI功能强大中获益。现在的问题是：功能强大的AI首先要不伤害人类，才谈得上从AI获益。对不对？
设想一下，身边都是有道德的人，你会得到好处吗？这是搞不清的，因为没有人知道什么是“更有道德”。比如，集体主义者认为将个人完全融入伟大事业中的人更有道德，但这对自由主义者无疑是一种折磨。但是，对于防止伤害，大家心里会清楚得多，比如不被杀害、不被污染、不被强制等。
也许，“更有道德”的AI更有智能，但AI设计应该是更有益：AI为人民服务。当AI不会伤害人类时，它的强大功能就有了让人类获益的可能性了。
3.这就引向了我所称的能力者道德问题。
大家都知道，如果道德败坏，能力越大，破坏性越大。在人类社会中，人与人之间的身体能力差别不大，属于“凡人的差别”，对道德败坏者很容易进行约束和制裁。但是，如果这些道德败坏者是超人呢？当超人一个人能打一万人，一个人能毁灭一个国家？超人的道德应该是什么样的道德呢？记住：凡人道德水平的超人，很可能是威胁，而不是福音，因为它能够放大平庸的恶。
功能强大的AI就是某种意义上的超人。如果一个社会中，10%的人是《海贼王》一样的能力者，其他人则是平等的弱鸡，这个社会的道德状况会如何？在这个社会中，AI道德与凡人道德会是一样的道德吗？会不会分化出两种截然不同的道德呢？
奴隶制社会的权力状况可以做一个类比。在奴隶制社会中，5%的奴隶主占有绝对的权利，可以随意杀戮、奴役站绝大多数的奴隶，不把他们当人。这种社会的道德是什么样子的？想必无论奴隶主道德，还是奴隶道德，均与今日权力差异可控社会的状况是不一样的。当然，这是权力差异导致的道德变化，与能力差异导致的道德变化，不能等同。但是，可以启发我们思考。
4.如此引向《道德机器》的自下而上的AI学习道德行为进路的批判上。
第一，社会学习的结果是什么，完全是无法预计的。有个人尽皆知的AI学习语言的例子：谈话AI在网上跟人学说话，结果最后满嘴脏话、痞话和种族言论了，不得不把它给关掉。康德的先天道德律令也许不能完全服人，但人类的道德行为绝对不是完全后天习得的，而是存在先天的东西。很多AI设计者将AI进化与人类小孩成长等同起来，这种思路的根本性问题就在于AI缺少先天性的东西。
实事求是地说，人的道德养成至少经历两次社会化过程：1）书本上、教室里、道德故事说教；2）二次社会化，即真实社会互动中的学习，尤其是潜规则的学习。所谓人之初性本善，我们常常发现失败的道德养成大多数都是在二次社会化中发生的问题，因为天生圣人和天生恶魔都占比极少的，从技术操作上并没有考虑的价值。也就是说，社会性的道德养成结果可能是失败的，和人一样，AI也可能成为罪犯。
接下来第二个问题就是，我们能不能承认AI罪犯的养成失败的代价呢？显然，不行。一个道德败坏而无所不能的AI，可不是社会能容忍的人类罪犯，而是可能毁灭整个社会的。这就是我所谓的能力者道德养成代价问题。
并且，AI并不能真正承担犯错的责任。你打机器人，拆了机器人，它没有感觉，是谈不上所谓惩罚的。对于社会而言，物理惩罚机器人没有任何意义，也产生不了预防机器人犯罪的震慑作用。
总之，像小孩一样养成AI道德行为，使之能像人一样道德推理和道德决策的思路是不可行的。
5.从我的有限技治理论的立场来看，我主张的是AI设计的有限主义。
第一，AI设计不需要使AI有道德，能进行所谓道德推理或道德决策。有限技治理论主张技术可控，必须把AI置于人类的完全控制之下。可控才能保证有益，AI设计并不追求更智能、更像人之类。
第二，所谓人工道德、机器道德，AI是否是道德主体，是否进行道德推理，是否能进行道德决策，更多的是某种修辞学，并非真正实指的道德。只有人与人之间才有道德问题，人与机器之间的道德问题本质上是人与人之间的道德问题。这不是如何界定道德的概念问题，而是道德设计必须对人类有益。无人的道德理论可以成立，但对于人族生存并无价值。
第三，AI道德本质是AI行动规则的问题，即AI在现实社会情境中，能采取合适的行动，包括停止下来，等待人类操作者的指令，而不是会像布里丹的驴子一样死机，或者采取随机算法做反应。
第三，AI行动规则是有限的，即局限于它的功能情境之中。比如，自动生产汽车的机器人需要处理的是工厂中的、与生产汽车相关的问题，不需要它能应对在工厂之外的社会环境，也不需要它处理与生产无关的问题，比如让它给工人跳个舞。它活动的场所是有限的，不能脱离语境，要求它对一般规则进行计算。为什么？再重复一般，人类从AI的能力中获益，而不是从它更高尚中获益。
第四，对于人而言，AI行动规则设计最重要的是可预见性，即与机器人互动的人类能预见它的可能反应。如此，才能成为真正的人机互动。更重要的是，可以提前预知互动结果时，对于可预计的不理想结果，人类可以进行提前的人工干预。不可预计的AI是不安全的，更是不可控的。
第五，可预见性意味着人类要学习AI的操作规则，或者说学习与之互动的可能场景。在历史上，新机器的操纵工人需要花费很长的时间学习，才能成为熟练工。在有限主义者看来，这在机器人时代同样是必要的，管用的。我们并不需要机器人有更高的智能，而是有更强的能力，加上可控性、可预见性。
第六，在AI无法承担责任的前提下，AI设计要制度性地设计责任分配办法，将AI可能导致的伤害分摊到与之相关的设计者、使用者、担保者等各方。显然，这里讲的伤害是可控的伤害，社会能容忍的伤害。
第七，这里有一个值得思考的问题：我们能在何种程度上容忍AI设计错误？不能不容许机器出错，新机器一直在出错，为什么不能容忍机器人出错呢？诺维格问题说的好：如果美国高速公路一半以上汽车是自动驾驶的，效果是每年死亡人数从大约42000人降低到月31000人，这些自动驾驶汽车公司会得到奖励吗？还是因为这31000的死亡面临诉讼呢？显然，自动驾驶对于整个社会是好的，但是如果对于个体伤害没有人担责，就会是坏的。
也就是说，AI容忍程度与制度性担责设计是相关的。《道德机器》正确地指出：将AI说成是某种道德主体，除了问题人类就推卸责任了。（182）这是自动驾驶设计道德问题的核心，而非自动驾驶到底是不是道德主体。再说一遍，类似问题，我认为都是毫无意义的争论，除了让人糊涂之外没有什么用处。
第八，无论自上而下，还是自下而上，有限主义都不赞同，而是主张将AI限制在有限的工具层面的使用中，而将相关道德问题全部交给人类处理。换言之，机器道德不是机器的道德，而是与机器相关的道德问题。
★
AI的自主性提升，究竟有什么价值？这是一个值得思考的问题。并非自主性越高、越有智能、越像人的AI，才是好的AI。有限AI设计聚焦于AI更好地与人互动，更好地服务于人类，使之扮演好人的功能性工具的角色。
在我看来，Robot应该扮演的是无意识的劳工角色。此外的想法，对于人族无益。这就是我反对上帝视觉和宇宙视角的原因。
避开主体问题设计机器人规则
在智能治理活动中，出现所谓“机器人规则”的问题，即如何规范和控制机器人的行为。“机器人”的称呼让人迷惑人，先入为主地将之视为某种类人存在物。实际上，它目前只是复杂的机器。因此，今天机器人适用与其他机器一样的规则虽然语境更复杂一些，但仍然是机器规则。
令人疑惑是机器人发展的未来愿景。机器人的出现让人类面对“新无知之幕”，即不知道人机共生的最终结果而要做出选择。“新无知之幕”是一个隐喻，指向人类要在“盲人摸象”中与能力超强的AI共同生活。即使人与机器人协同进化，但是协同进化的最终结果可能是人类被灭绝。因此，思考该问题有意义、有价值的是“人类视角”，也就是说考虑人类在人机协同进化中应该如何选择应对方案，以确保人族的延续和福祉。这就是人类站在“新无知之幕”之前应坚持的科技谦逊主义态度。
在智能革命时代，人类在无知中探索着前进。一定要搞清楚：探讨人与机器共生规则，既不是为了推动求真，也不是为了维护荒谬的“机器福利”，而是要判断下一步如何行动。比如，在无人汽车、无人舰艇发展中，如何避免社会伦理问题，使之符合现时代伦理环境，不触发严重的伦理危机和风险。
“机器人是不是主体”的讨论，只是一种思考方法，旨在沟通、协调和融洽AI与社会主流价值观如果AI冒犯主流伦理，势必不能得到大的发展。比如，无人汽车出了事故，谁来承担责任？显然，解决该问题无需解决无人汽车是不是主体的问题，而是需要进行细致的制度安排，比如责任分摊、保险制度等等，便能符合主流价值观地解决无人汽车事故。全世界每年数百万人死于车祸，而全面使用无人驾驶后，科学家有信心将死亡率减少八九成这是最大的伦理进步。有此伦理进步保障，只要制度安排合理，主流伦理观念一定会接受无人驾驶。因此，机器人规则设计属于价值敏感型设计，必须时刻保持对社会主流价值观的敏感性。一言以蔽之，机器人设计哲学是行动哲学、问题哲学，而不是思辨哲学、经院哲学或者思想史研究，传统的主体思维方式会将问题经院化和复杂化。
