原文是Richard Sutton 2019年写的，从今天回看，一篇雄文 Attention Is All You Need 碾压了多少 NLP研究员的光荣与梦想 ... 这个教训，太深重！
过去70年人工智能研究领域最重要的一堂课，是只有通用计算方法（蛮力计算 pute-force）最终是最有效的，而且优势很大 因为摩尔定律，每单位计算成本持续呈指数下降。大多数人工智能研究都是假设 Agent 可用的计算量是恒定的（在这种情况下，利用人类知识将是提高性能的唯一方法之一），但是，在稍长的时间里看，可用的计算量必然会大大增加。为了在短期内获得改善，研究人员试图启用本领域内的现存人类知识，但长远来看，唯一重要的是利用算力。基于人类知识的方法往往很复杂，不太适合利用好通用算力。有许多人工智能研究人员迟迟未能学习这个苦涩的教训的例子，回顾这些年的一些最突出的例子是很有启发性的：
在电脑国际象棋中，1997年击败世界冠军卡斯帕罗夫的方法基于大量的深度搜索。当时，许多计算机国际象棋研究人员对此感到失望，他们一直致力于利用人类对国际象棋特殊结构的理解的方法。当一种更简单的基于搜索的方法，结合特殊的硬件和软件，取得了更大的成功时，这些基于人类知识的国际象棋研究人员没有虚心接受失败。他们反驳道，“粗暴的”搜索可能这次赢了，但这不是一种通用的策略，而且也不是人们玩国际象棋的方式。这些研究人员希望基于人类的行棋思路获胜，当它没有获胜时他们感到失望。
在电脑围棋中，也出现了类似的研究进展，只是比国际象棋晚了20年。最初的巨大努力是避免用蛮力搜索，而是想办法利用人类知识（一千年的棋谱），或游戏的特殊特征，但是所有这些努力都被证明是无关紧要的。更糟糕的是，一旦有效地进行了大规模搜索，这些努力都是负向的。同样重要的是使用自我对局来学习价值函数。自我游戏学习 以及 通用学习 一般来说，就像搜索一样，它能够吃掉大量的算力。在电脑围棋中，就像在电脑国际象棋中一样，研究人员最初的努力是利用人类的理解（因此不需要太多的搜索），只有在后来才通过拥抱搜索和学习取得更大的成功。
在语音识别方面，20世纪70年代有一场早期的竞赛，由美国国防部高级研究计划局赞助。参赛者包括许多利用人类知识的特殊方法知识词汇，音素，人类声道等等。另一方面是更统计学的方法，它们做了更多的计算，基于隐马尔可夫模型（HMMs）。再次，统计学方法胜过基于人类知识的方法。这导致自然语言处理领域出现了一个重大变化，几十年来，统计学和计算逐渐主导了这一领域。语音识别中最近深度学习的兴起是这一持续发展的最新一步。深度学习方法甚至更少地依赖于人类知识，使用更多的计算，加上在巨大的训练集上的学习，来产生更好的语音识别系统。正如游戏中一样，研究人员总是试图制造出研究人员认为自己的大脑运作方式的系统他们试图把这些知识放入他们的系统中但最终证明是适得其反，是研究人员时间的巨大浪费，当摩尔定律使得大量算力变得可用，并找到了一种将其用于好处的方法。
在计算机视觉/CV领域，也有类似的模式。早期的方法把视觉想象成寻找边缘，或广义柱，或以SIFT特征的形式。但今天这一切都被抛弃了。现代的深度学习神经网络仅使用卷积和某些不变性的概念，并且表现得更好。这是一个重要的教训。
纵观整个AI 人工智能领域，我们仍然没有彻底地学习到这个教训，因为我们仍在犯同样的错误。要看到这一点，并有效地抵制它，我们必须理解这些错误的吸引力。我们必须学习苦涩的教训，即把我们认为的思维方式构建到系统中是行不通的。
苦涩的教训是基于历史观察，即1）人工智能研究人员经常试图把知识构建到他们的代理中，2）这在短期内总是有帮助的，并且对研究人员来说是个人满意的，但3）从长远来看，它总会达到一个瓶颈，甚至会阻碍进一步的进展，4）突破性的进展最终是通过一种相反的方法基于搜索和学习的大规模堆算力而获得的。
从苦涩的教训中应该学到的一件事是通用方法的巨大力量，即随着可用算力的增加，这些方法仍然可以继续扩展。似乎可以以这种方式无限扩展的两种方法是搜索和学习。
从苦涩的教训中学到的第二个普遍点是，人类心灵的实际内容是极其复杂的，我们不应该再试图找到简单的方法来思考心灵的内容，比如简单地思考空间，物体，多个代理或对称性。所有这些都是任意的、内在复杂的外部世界的一部分。它们不应该被构建，因为它们的复杂性是无止境的；相反，我们应该构建可以找到和捕获这种任意复杂性的元方法。这些方法的关键是它们可以找到良好的近似值，但算法应该是基于我们的方法（如学习），而不是我们已经学到的知识。我们希望AI Agent 能够像我们人类一样去发现，而不是在系统里集成我们已经发现的知识。
