90年代后人工智能的主流是以支持向量机为代表的统计机器学习，而非神经网络。在漫长的联结主义低谷期，Hinton坚信神经网络既然作为生物智能的载体，它一定会成为人工智能的救星，在它的努力下，Hopefield网络很快演化成为新的更强大的模型玻尔兹曼机，玻尔兹曼机演化为受限玻尔兹曼机，自编码器，堆叠自编码器，这已经很接近当下的深度网络。而深度卷积网络CNN则连续打破视觉处理任务的记录，宣布深度学习时代开始。
然而，如果你认为这一股AI兴起的风波的原因是我们对大脑的借鉴，则一定会被机器学习专家diss，恰恰相反，这波深度学习的崛起来自于深度学习专家对脑科学的背离。CNN虽然直接模拟了大脑视皮层结构的模拟，利用了层级编码，局部网络连接，池化这样和生物直接相关的原理。但是，网络的训练方法，却来自一种完全非生物的方法。由于信息存储在无数神经元构成的网络连接里，如何让它学进去，也是最难的问题。很久以前，人们使用的学习方法是Hebian learning 的生物学习方法，这种方法使用起来极为困难。Hinton等人放弃这条道路而使用没有生物支撑但更加高效的反向传播算法，使得最终训练成功。从此数据犹如一颗颗子弹打造出神经网络的雏形，虽然每次只改一点点，最终当数据的量特别巨大，却发生一场质变。
CNN能够在2012 年而不是2011或者2010年开始爆发是因为那一年人们提出了Alexnet。 而Alexnet比起之前的Lenet一个关键性的微小调整在于使用Relu，所谓线性整流单元替换了之前的Sigmoid作为激活函数。Simoid 函数才是更加具有生物基础的学习函数，然而能够抛弃模拟大脑的想法使用Relu，使得整个网络的信息流通通畅了很多。
深度学习另一条主线，沿着让机器听懂人类的语言，一种叫LSTM的神经网络，模拟了人类最奇妙的记忆能力，并且开始处理和自然语言有关的任务，LSTM框架的提出依然是没有遵循大脑的结构，而是直接在网络里引入类似逻辑门的结构控制信息。
由此我们看到，神经网络虽然在诞生之初多次吸收了生物学的原理本质，而其最终的成功却在于它大胆的脱离生物细节，使用更加讲究效率的数理工科思维。生物的细节千千万，有一些是进化的副产品，或者由于生物经常挨饿做出的妥协，却远非智能的必须，因此对它们的抛弃极大的解放了人工智能的发展。
