机器之心转载
来源：科研圈
斯坦福大学和马萨诸塞大学阿姆赫斯特分校合作团队开发出一种方法，可以将模糊的目标进行量化，帮助机器学习算法更好地完成避免歧视或调节血糖等复杂任务。
图片来源：Deboki Chakravarti
得益于机器学习算法日益强大的能力，人工智能已进入了主流商业。机器学习算法使计算机能够训练自己完成诸如驾驶汽车，控制机器人或自动化决策等工作。
但是随着人工智能开始处理一些敏感任务，例如帮助选择哪些囚犯获得保释，政策制定者坚持要求计算机科学家提供保证，确保自动化系统的设计能够避免或最大程度地减少不希望的后果，例如过高的风险或种族和性别偏见。
由斯坦福大学（Stanford University）和马萨诸塞大学阿姆赫斯特分校（University of Massachusetts Amherst）的研究人员领导的团队于 11 月 22 日在《科学》杂志上发表了一篇论文，在这方面提出了一些建议。论文概述了一种新技术，可用于将诸如避免性别偏见之类的模糊目标转化为精确的数学标准，从而使机器学习算法可以训练人工智能应用程序来避免这种行为。
斯坦福大学计算机科学助理教授、该论文的资深作者 Emma Brunskill 表示：「我们希望推动人工智能的发展，尊重人类用户的价值观并证明我们对自主系统的信任是合理的。」
避免错误行为
这项工作的前提是，如果可以用数学方式定义「不安全」或「不公平」的结果或行为，那么就应该有可能创建相应的算法，可以从数据中学习如何避免不想要的结果，并具有很高的可信度。研究人员还希望开发一套技术，方便用户指定他们想要怎样的行为约束，使机器学习设计者可以放心地使用过去的数据训练的系统，将其应用到现实环境中。
「我们展示了机器学习算法的设计者可以如何帮助其他开发者，在将人工智能植入到其产品和服务中的时候，他们可以更容易描述不想要的结果或行为，而人工智能系统将以高概率避免这些状况。」马萨诸塞大学阿默斯特分校计算机科学助理教授、该论文的第一作者 Philip Thomas 说。
确保公平与安全
研究人员测试了他们的方法，试图提高基于考试成绩预测大学生 GPA 的算法的公平性，这种常见的算法可能产生性别偏见。他们使用实验数据集为算法提供了数学指令，以避免让最终得到的预测性方法系统性地高估或低估某一性别的 GPA。通过这些指令，该算法找到了一种比现有方法更好的方法来预测学生的 GPA，其系统性性别偏见要少得多。在这方面，先前的方法很困难，要么是因为它们没有内置的公平性过滤器，要么是因为为实现公平性而开发的算法的范围太有限。
研究小组还开发了另一种算法，并使用它来自动平衡胰岛素泵的安全性和性能。这种泵必须决定在进餐时间给病人输送多大剂量的胰岛素。理想情况下，泵输送的胰岛素刚好能保持血糖水平稳定。胰岛素过少会使血糖升高，导致恶心等短期不适，并增加心血管疾病等长期并发症的风险；过量使用胰岛素又会导致血糖暴跌，这是一个潜在的致命后果。
机器学习可以识别个体的血糖水平对不同剂量的胰岛素反应的微妙模式，从而更好地提供帮助，但是现有方法并不容易让医生明确自动剂量算法应避免的结果（如低血糖）。Brunskill 和 Thomas 展示了如何训练泵来确定为指定患者量身定制的剂量，避免因剂量过大或剂量不足而引起并发症。尽管该小组尚未准备好在真实的人身上测试该算法，但它指出了一种人工智能方法，该方法最终可能会改善糖尿病患者的生活质量。
Brunskill 和 Thomas在他们的《科学》论文中使用术语「Seldonian 算法」一词来定义他们的方法，引用于科幻小说作者阿西莫夫发明的角色 Hari Seldon，他曾经宣布了三条机器人定律，其开头是「机器人不应伤害人类，也不应因为无作为而伤害人类」。
Thomas 承认这个领域离遵循这三条定律还有很长的路要走，但他说，这种 Seldonian 框架将使机器学习设计人员更容易将避免行为指令构建到各种算法中，在某种程度上可以使他们能够评估训练过的系统在现实世界中正常运行的可能性。
Brunskill 说，这个提议框架建立在许多计算机科学家正在努力的基础上，在创建强大的算法和开发方法之间取得平衡以确保其可靠性。
「随着社会越来越依赖人工智能，思考如何创建出最能尊重安全、公平等价值的算法至关重要。」Brunskill 说。
论文标题
Preventing undesirable behavior of intelligent machines
论文链接
https://science.sciencemag.org/content/366/6468/999
