随着神经网络在学生和工业界中的普及，以及对社会和商业产生的显著影响，深入了解其历史背景对于真正理解其重要性至关重要。通过探索其起源和发展背后的原因，可以更好地理解其目的。在本文中，将概述关键的历史事件，重点关注重要的里程碑，而不是过多的细节，以保持讨论的简洁和引人入胜。
让从这个概念最初出现的时候开始。可能认为深度学习技术是最近才兴起的，可能始于20-30年前，但要告诉，这一切都始于78年前的1943年。是的，没有看错，深度学习的历史通常可以追溯到1943年，当时Walter Pitts和Warren McCulloch创建了一个支持人脑神经网络的计算机模型。他们使用一种混合算法和算术，称为“阈值逻辑”，来模仿思考过程。
在冷战期间，美国科学家试图将俄语翻译成英语，一些最伟大的数学家，如Alan Turing（通常被称为现代计算之父），对智能机器进行了大量的研究，他创建了图灵测试来测试机器的智能。1958年，数学家Frank Rosenblatt提出了第一个基于神经网络的模型——感知机。这与机器学习模型逻辑回归类似，但损失函数略有不同。
在探索神经网络的历史时，很明显自然一直是灵感的源泉。这对深度学习来说也是如此，因为它在很大程度上借鉴了大脑的生物学工作原理。最初，人们对神经元及其功能的理解是基础的。因此，让首先介绍生物神经元，它在神经网络的发展中起到了关键概念的作用。
如果触及生物神经元的表面，它主要由三部分组成：细胞核、树突和轴突。这些树突接收电信号/冲动，与细胞核相连，细胞核本身进行一些处理，最后通过轴突将消息以电信号的形式发送到其他相连的神经元。这是生物神经元工作的最简单解释，学习生物学的人会知道它的结构是多么复杂，以及它的工作原理。
因此，数学家和科学家们提出了一种用数学方式表示这种生物神经元的方法，其中n个输入到一个主体，每个输入都有一些权重，因为并非所有输入对产生输出的重要性都相等。这个输出无非是在求和这些输入及其相应权重的乘积之后应用一个函数。由于感知机的概念远远没有生物神经元的复杂现实，可以说它是松散地受到生物学的启发。
现在来到了人们问为什么不能创建一个受生物大脑启发的连接神经元网络的时代。从1960年代开始，人们就尝试了很多次，但在1986年由一群数学家成功地提出了这一概念，其中之一是Geoffrey Hinton（他在机器学习和人工智能领域做出了巨大贡献）。
他们提出了反向传播算法的概念。简而言之，可以将这个算法记住为微分的链式法则。这不仅使得训练人工神经网络成为可能，还创造了人工智能热潮，人们整天谈论它，并认为在未来10年内，机器将能够像人类一样思考。
尽管它创造了如此热潮，但在1990年代，由于人们对它的炒作过多，而实际效果在当时只是边缘性的，这一热潮最终消退，这一时期被称为人工智能寒冬。认为这背后的原因可能是什么？在向透露背后的原因之前，希望尝试一下。
思考...
思考...
好的，来告诉。
Photo by Lorenzo Herrera on Unsplash
尽管数学家们提出了这个美丽的反向传播算法，但由于1990年代的计算能力不足和数据不足，这一热潮最终在国防部美国停止对人工智能的资金支持后消退，因为多年来的影响微乎其微。因此，像SVM、随机森林和GBDT这样的机器学习算法从1995年到2009年演变并变得非常流行。
当每个人都转向像SVM这样的算法时，Geoffrey Hinton仍然相信，真正的智能只能通过神经网络实现。因此，从1986年到2006年，他几乎工作了20年的神经网络。2006年，他发表了一篇关于训练深度神经网络的杰出论文。这标志着被称为深度学习时代的开始。直到2012年，Geoffrey Hinton的这篇论文才受到广泛关注。
可能会想知道是什么让深度神经网络在2012年变得非常流行。2012年，斯坦福大学进行了一场名为ImageNet的比赛，这是当时最困难的问题之一，包含数百万张图片，任务是从给定的图片中识别物体。希望回想起2012年，人们拥有大量的数据，而且与1980年代相比，计算能力也非常强大。深度神经网络或深度学习在这方面的比赛中超越了所有机器学习算法。
Photo by Bram Van Oost on Unsplash
如果现在谈论深度学习的应用案例，可能知道一些流行的语音助手，如谷歌助手、Siri、Alexa都是由深度学习驱动的。此外，特斯拉的自动驾驶汽车之所以可能，是因为深度学习的进步。除此之外，它还应用于医疗保健领域。坚信，深度学习还有很大的潜力，将在未来几年体验到。
blogathon Neural network S Swapnil Vishwakarma