来源：神经现实，ID：neureality
如今，科技行业能量空前、影响巨大。许多科技公司市值庞大，雇佣着成千上万的员工，重塑着众多尚难完全被取代的其它行业来维持它们的特权。这些公司花费数百万美元进行游说、干预政治选举和影响政策法规，使其国际政治影响力进一步扩大。在学术领域，人工智能和机器学习领域的研究能相对容易地获取资金，它们的好处和必要性似乎是理所当然的。科技公司继续直接或间接地慷慨投入巨资，塑造出光辉的行业面貌、酷炫的码农形象以及整个社会的技术化前景。
映入眼帘的，是这样一幅景象：科技进步势不可挡，其必然性不必多言，因此我们要毫不犹豫地完全拥护它。对技术信徒而言，人工智能研究的不可或缺，不证自明，它是人类不断攀升的进步与成就所堆砌之金字塔尖的下一面胜利旗帜。在这种语境下，AI，能使人类超越自身的局限与偏见。持有这种观点的人，更愿意去想象科幻小说中最坏的情况：AI会取代人类吗？我们能否创造出有知觉的机器？如果是，我们应该赋予它与人类同等的权利吗？被这些关乎AI的重要道德问题所占据了大脑的世界伟大思考者们，却极大地忽略了当前AI所带来的实际问题。
事实上，这些科技行业对人类的福祉和公正几乎漠不关心。它们的一贯做法都与保护社会的弱势群体相左，无论是禁止员工抗议对LGBT群体的歧视、保护白人（而不是黑人儿童）免受仇恨言论，还是以糟糕的待遇来对待它们的低薪员工、花费数百万美元游说反对用以保护被剥夺权利者和弱势群体的法规，甚至是开发诸如“妻子跟踪应用程序”之类的卑鄙技术等。
- Matt Chinworth -
但这不足以解释为何行业变得更加保守了，因为科技行业已经掌握了更多的权力，也因此，它们可以从保持现状中获得更多的利益。一直以来，科技行业所带来的颠覆与革新，都趋向于为现有的权力关系所服务。在1985年麻省理工学院新闻服务部The Tech的采访中，约瑟夫维森鲍姆（Joseph Weizenbaum）（其于1964年发明了第一个聊天机器人ELIZA）指出：“从一开始，计算机就是一种在本质上就十分保守的力量，这种力量常被用来维系、甚至是加固现有权力。”通过取代根本性的社会变革，计算机技术催生着让现有权力阶层得以稳固的技术方案。
维森鲍姆早在几十年前就认识到了这个问题。在上世纪50年代，他帮助美国银行设计了美国首个计算机银行系统，使其在快速增长中实现了银行手续的计算机化。他亲眼见证了计算机的应用，是如何使得这些机构及其发展目标能在很大程度上维持原样，而无须考虑社会性变革、权力下放或者其他性质的变革以适应银行的快速扩张。
但后来维森鲍姆对此转向了批评态度，而这缘于人们对ELIZA的狂热接受。ELIZA是他为了模仿Rogerian疗法（一种通过将病人的陈述反映给他们自己的方法）所发明的。虽然他明确表明ELIZA与心理治疗无关，但其他人，如斯坦福的精神医生肯尼斯科比（Kenneth Colby）却称赞它是我们踏出寻找替代精神医生的第一步。而维森鲍姆那些可以说是对计算机有着非常深刻了解的同事们，也极力夸大了ELIZA的能力，声称它可以“理解”人类语言。同时，维森鲍姆发现，这些用户在与ELIZA进行互动时，会对它打开心扉畅所欲言。维森鲍姆在其之后的著作《计算力量与人类理性：从判断到计算》（Computer Power and Human Reason：From Judgement to Calculation）写道，他自己“惊奇地发现，那些与ELIZA进行交流的人是如何迅速地在情感上与计算机建立了深入的联系，以及他们如何坚信该计算机是个‘人’”。他最终将该人工智能项目批评为“一种欺骗人类信任本能的行为”。
- Matt Chinworth -
当时（以及现在）的计算机科学家抱有这样一种幻想：人类的思想是可完全计算的。但在《计算力量与人类理性》这本书中，维森鲍姆坚持认为人与机器之间存在关键区别，认为某些涉及人际关系、尊重、情感以及理解的领域，不应被计算机所入侵，无论它们看起来是否可行。他写道：“没有其他生物体，当然也不包括计算机，可以用人类的方式面对真正的人类问题。”
自1956年达特茅斯会议举行以来，人工智能就被认为是一个旨在开发人类思维模型的项目。人工智能先驱约翰麦卡锡（John McCarthy）、马文明斯基（Marvin Minsky）和克劳德香农（Claude Shannon）等关键人物均出席了该会议，并在将人工智能发展为一个学术领域的道路上发挥了核心作用。受图灵机概念的启发，通过计算机编程，实现模拟人类智能的机器似乎是顺理成章地成为了下一步的目标。但随着AI项目的推进，它逐渐不再关心如何模拟人脑，而更多的是被用来创建金融帝国。
从一开始，这些企业就集中体现出了这样一种态度：代码背后的黑客能给出解决任何问题的方法，并且“他（没错，总是‘他’而不是‘她’）一个人就能搞定”。这种态度逐渐地为黑客文化铺平了道路，最终催生了像比尔盖茨、杰夫贝佐斯和马克扎克伯格等“全知”（the Know-It-Alls）。这个称谓出自记者诺姆科恩（Noam Cohen）著于2017年的一本关于硅谷政治声望的崛起的书。虽然，现阶段人工智能究竟是作为“一个思维模型”，还是作为“一个监督工具”之间仍无明确的界限，但毫无疑问的是，人工智能是实现公司利润最大化的工具。
- Dmitry Mòói -
维森鲍姆作为模拟人类思想项目最初的参与者，逐渐意识到ELIZA项目存在“人类不过是一个信息处理系统”这种明显的误解。于是他以此为依据，开始警告人们不要把目标定位为制造“人造的知识分子”。在《计算力量与人类理性》中，维森鲍姆坚持认为“人类和计算机不是同一物种”，因为人类“面临着任何机器都不可能面临的问题。虽然我们也在处理信息，但我们处理信息的方式和计算机不同”。他认为：“像‘计算机是否捕捉到了人类理智’这个问题本身只不过是一种消遣罢了（如果不是为了给回答者挖坑的话），因为其背后真正的问题应该是‘人类是否理解人类的本质’，而这个问题是无法用科技来回答或解决的”。
除了对“智能机器”的盛行持怀疑态度，维森鲍姆还意识到计算机是如何被简单粗暴地用于解决复杂多变且具有多面性的问题的。虽然这种做法十分普遍，但在教育领域中则是尤为明显。在1985年The Tech的采访中，当维森鲍姆被问到将计算机引入教室的好处时，他毫不犹豫地指出这个问题是“本末倒置”，并且是毫无事实依据的。他回答道：如果当务之急是改善教育，那么问题就应该是“我们应当完成什么样的教育？教育中最应考虑什么？”而不是“我们应当如何在教室中使用计算机?”
一旦将问题重点转向教育的目的上，那么一系列更深层的问题则无可避免地暴露了出来，比如，“为何学校没能解决这些当务之急？”从这些质问所揭示出来的其中一个原因，就是一些穷苦学生是饿着肚子来上学的，或者是来自一个认为读书是生存的非必需品的环境。于是我们就要问，为什么世界上，尤其是在大城市，以及那些极富裕的国家（例如美国），有如此多的贫穷人口？为什么班级人数总是很庞大？为什么美国半数的科学与数学老师都不具备资格证，而是持着临时资格证上岗的？维森鲍姆认为这些问题反映出“教育在美国的优先级比起军事领域在内的其他大多数领域都要低”。问题的产生并非由于科技在教育中的缺失，而是一系列多变因素的结果，包括不断增长的系统性的不平等问题。
- Fill Ryabchikov -
但是，相较于去直面这些“丑陋的社会现实”，维森鲍姆说，“把一些设备（如计算机）装满学校，要更容易也更使人心安理得。这样，人们便可以坐下来说，‘你瞧！我们不是正在解决这些问题吗！’”把计算机带进课堂让我们误以为我们已经解决了问题，但事实是我们归因错误并把问题的根源隐藏了起来。
如今，这些依赖计算工具（如软件、算法和Apps）的错误方法，已经成为整个西方社会的默认思路，并逐渐影响着发展中国家。仅仅在教育领域，计算机以及其他监视工具的推出，就被当作用来解决学生辍学危机、注意力缺失的问题的方法，以迎合“计算机是学习不可缺少的一部分”这个普遍化的态度。这些技术的使用绕过了丑陋的社会现实：经济问题加上繁重的课外作业，耗尽了学生的注意力，或最终导致他们辍学。这些影响学生辍学的因素本应能够得到更好地理解，但是越来越多的监视工具以及无处不在的技术，代替了直接与学生进行交谈，以及解决他们所面临的多面性和结构性的挑战。
但当一个人沉溺于“技术解决法”时，询问那些技术终端用户的意见往往是很少见，甚至是无关紧要的。AI领域持续地被贴上“乌托邦远景”和“乐观主义”的标志，而关于道德责任和结构化权力多样性的讨论则令人厌倦，即使是对专业的人道主义者来说也是如此。面对着这个行业的乐观情绪、潜力和兴奋，不断地指出其负面影响几乎得不到任何回报。事实上，这种行为有时甚至会被视为对公司的威胁，从而导致惩罚、报复或压制。相比之下，鼓吹其进步、支持AI的潮流，或者成为“游戏规则的改变者”，则要容易得多。那些做着审查其准确性、危害性、虚假声明、承诺的富有挑战性的工作的人，常被认为是卢德分子（Luddite）*。早在1985年，维森鲍姆就提出：“要是科学家或技术专家声称他们不得而知或无从知晓他们自己创造的技术会被如何应用，这是很不合理的。”
*译者注
卢德分子（Luddite）：指19世纪初英国一群捣毁新引进的纺织机的工人，引申为强烈反对机械化或自动化的人。参考《资本社会的17个矛盾》。
- Renato Klieger -
社会领域中的许多“难题”犹如移动标靶，需要不断地通过谈判、修订和迭代来解决，它们不是一个静止的简单问题，一劳永逸是不可能的。然而，每个混乱的社会情况却被简易化成“问题解决方案”的思维方式，而这一思路在计算机企业中根深蒂固，因为它们信奉“算法解决问题”。在这种情况下，那些无法被利落地公式化的问题则会被忽视，或者被剥夺掉其复杂性。
1972年，维森鲍姆在《科学》杂志上呼吁人们关注AI领域是如何通过乐观的欢呼声和实用主义的宿命论来掩盖其本质的保守主义。他在《关于计算机对社会之影响的典型论文结构》一文中做了如下的描述：
“首先，是一段关于‘一方面’的论述，讲述计算机对社会带来的所有好处，甚至经常尝试论述‘要不是因为计算机潮流，社会秩序将早已崩塌’。紧接着，‘另一方面’则讲述了一些由于引入了计算机而带来的问题。而这通常会提到由银行大数据引发的对个人隐私的威胁及由工业自动化所带来的大规模的低就业率。最后，作者们为计算机行业繁荣的现状及充满希望的未来再次喝彩，并表明第二部分所提及的那些危险将会被精密的科技手段所减轻。结尾处，呼吁社会对计算机研究和发展给予更多更大的支持。通常这里或多或少地会伴随着某种假设：只有计算机科学，即只有计算机科学家，才能保护世界免受应用计算机技术带来的有害影响。”
这种写作模式广泛存在于关于新技术的讨论文章中：那些潜在的优势收获喝彩，而那些危险则被用作论据，来进一步地证明这种科技是迫切需要的，需要有更多的社会支持。
- Fill Ryabchikov -
如今，被维森鲍姆所谴责的修辞模式对AI的助攻表现如下：一种机器学习模型被提出，然后因为它可以比人类做得更好，或者因为它可以为复杂的挑战提供某种计算的捷径，所以接下来，它会受到技术人员和新闻工作者的空前赞誉和报道。然后，批评者开始呼吁人们关注其缺陷、对问题的粗略简化、不准确性、方法论问题或数据集的局限性。在社交领域应用的几乎所有的机器学习模型中，提出的解决方案的准确性都会被严重夸大，在某些情况下还会带来伤害和歧视。而遭受歧视的个体会把该歧视带入到社交媒体。另外，在医学、神经科学或心理学等领域，模型宣称提供了“最先进的”解决方案，而历史学家则会指出某些技术方法是如何复兴了早已声名狼藉的伪科学实践（如颅相学或优生学）。连特定领域的专家（包括医学、社会护理和认知科学领域的专家）也会揭露出它们对该问题缺乏细致入微的理解。
但是，人们的愤怒以及对谨慎和严格评估的呼吁，终将会被这些淹没：对下一个伟大的最新技术“发明”的推广，对强调技术潜力的声援，以及对尽力解决上一个技术所带来的问题的解决方案的拥护。
在那些为开发有害技术的正名言辞中，有这样一种声明自己无奈的说辞：反正它终将被某人发明，所以为什么不能是我呢？例如，那些参与开发了识别性别取向算法的研究者们所提供的，就是这个理由。
- Dmitry Mòói -
而另一种为其正名的论断，则将其局限、问题和危害与其优势和潜力相比，然后将前者视为次要问题。例如，当谈到数据中间商和科技公司收集了大量用户数据时，辩护者可能会试图将这一行为合理化，将这一结果视作仅仅是为了投放定向广告的原因，进而将其驳回。“它能有多糟呢？您是可以忽略它们的”。如果一个人处于特权的、非边缘的地位，这种说法或许正确。但是，定向广告对那些没有特权的人有着更深刻更隐蔽的影响。例如，部分人被定向广告不公平地排除在了住房、教育和工作机会之外。
使用AI或机器学习的“解决方法”以代替那些复杂的形式来解决社会问题已经很普遍了。从《技术造福社会》的提倡中可以看出，它们将地缘性的政治问题和文化挑战简化为代码的形式，并优先使用技术手段去解决。同样，在福利系统的自动决策中，那些复杂交错的不断变化的社会经济因素，不是被视为无关紧要就是被完全忽视。在针对心理健康的算法中，本就需要十分的敏感和细致，而非片面地干预和粗糙地简化那些细微的差别和背景。然而，这些技术方法甚至正在成为刑事司法系统和警务系统不可缺少的一部分。它们的普及使得一些人将其视为对地缘政治冲突（例如北爱尔兰边界）的合理干预，来代替政治意愿和可能为期数十年之久的谈判。
- Marco Goran Romano -
科技已成为一把“全能的锤子”，能敲击所有可以想象到的“钉子”。尽管它过分夸大的功能、局限和危险已经逐一展现了出来这些都是它所带来并维护着的不公平，以及它所侵蚀的隐私保护但它并不会直面这些丑陋的现实，并提出一些有意义的问题，如“首先我们需要这种技术吗？”相反，更常见的却是要求“更多的数据、更好的技术以及强调AI潜力”，正如维森鲍姆在1972年所提及的。所有指出技术局限性的文章，都伴随着“对大规模计算机研发给予更多社会支持的诉求”。
本文中有关技术的争论并不鲜见，但历史表明，它们仍需要不断强调和重申。幸运的是，在一次次对硅谷隐秘的动机和空前的权力的曝光中，许多来自行业内外的个体，尤其是黑人妇女，都仍在继续挑战着这些强大的科技帝国。阅读至此，愿君点赞。维森鲍姆提到的那些正名说辞仍将持续存在，而本文所列观点以及对科技的谨慎和批判性参与的呼吁，也很可能会消失在大背景中，取而代之的，则是对明天即将出现的惊人新技术的不断炒作。
*译者注
译文有删减。
作者：Abeba Birhane|封面：Matt Chinworth
译者：Lu|校对：Greg Chen
编辑：Leon| 排版：文英
原文：https://reallifemag.com/fair-warning/
关注未来论坛
一个承载人类科技梦想
用科学改变未来的公益平台
一个连接前沿科技
解读未来趋势的思想平台
