人工神经网络的进步与应用

在大约十年前，人工神经网络（ANN）与大脑之间唯一的共同点是它们的实体命名（例如——神经元）。这些神经网络几乎无用，因为它们的预测能力非常低，实际应用数量有限。但得益于过去十年技术的快速发展，看到了这一差距正在缩小，以至于这些ANN架构在各个行业中变得极其有用。

ANN领域的两大进步

GPU极大地提高了计算能力，现在使能够大幅增加神经元的深度和广度。然而，离达到大脑中的神经元数量还有很长的路要走。ANN现在可以在输入和输出节点处理序列数据。这就是大脑的工作方式。大脑不是通过解决二元分类来理解复杂的想法。根据给一系列信息形成“思想”，然后大脑以可理解的词序列表达这种“思想”。能否在ANN中引入这种“思想”概念？答案是肯定的，将在本文中进一步探讨这个想法。

序列模型因其能够处理当前世界中大部分数据形式——无论是数字序列、图像像素序列、视频帧序列还是音频序列——而引起了大量关注。在过去的10年里，已经存储了数千PB（或超过10^9 GB）的非结构化序列数据，而没有办法从这些数据格式中提取信息。幸运的是，现在有了这个新的神经网络架构家族——序列模型，可以将这些数据堆转变成金矿。

思想实验

想象一下，被沃尔玛任命为其新垂直部门WalKiosk的负责人。公司希望领导开发一个自助服务（无人）商店，客户将只与沃尔玛的Kiosk互动，这与自动售货机非常相似。他们希望在美国各地安装这个Kiosk。这个Kiosk与普通自动售货机的一个关键区别是，Kiosk的显示屏不显示物品列表，而只是一个启用了音频的类似Google的搜索标签。客户可以走到这些Kiosk前，说出或输入任何带有关键词“OK Walmart, xxxxxx”的内容。

序列模型的实际应用

为了确保涵盖序列模型可能的大部分应用，将根据输入和输出序列的类型进行分类。输入和输出可以是以下之一：标量、趋势、文本、图像、音频或视频。如果这六个都可以是输入和输出，那么总共有36个类别。然而，并不是每一对都已经深入探索。