人工智能之循环神经网络(RNN)
前言：人工智能机器学习有关算法内容，人工智能之机器学习主要有三大类：1）分类；2）重返；3）聚类。今天我们重点探究一下循环神经网络（RNN）算法。 循环神经网络（RNN）现沦为国际上神经网络专家研究的最重要对象之一。它是一种节点定向连接成的环的人工神经网络，最初由Jordan，Pineda．Williams，Elman相等上世纪80年代末明确提出的一种神经网络结构模型。
前言：人工智能机器学习有关算法内容，人工智能之机器学习主要有三大类：1）分类；2）重返；3）聚类。今天我们重点探究一下循环神经网络（RNN）算法。
循环神经网络（RNN）现沦为国际上神经网络专家研究的最重要对象之一。它是一种节点定向连接成的环的人工神经网络，最初由Jordan，Pineda．Williams，Elman相等上世纪80年代末明确提出的一种神经网络结构模型。引导循环神经网络RNN研究的主要是JuergenSchmidhuber和他的学生——其中还包括SeppHochreiter，他找到了高深度网络所遇上的梯度消失问题，后来又发明者了长短期记忆（LSTM）循环网络；还有AlexGraves，他目前在DeepMind供职。另外两位较为知名的研究者分别是：FelixGers，他发明者了LSTM消逝门；JustinBayer，他发明者了可以让LSTM流形结构根据明确问题展开自动进化的方法。
RNN概念：循环神经网络RNN（RecurrentNeuronNetwork）的内部状态可以展出动态时序不道德。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处置给定时序的输出序列，这让它可以更容易处置如不分段的手写辨识、语音辨识等。循环神经网络（RNN）可以构建分段和序列计算出来，应以可以计算出来任何传统计算机所能计算出来的东西。
但和传统计算机有所不同的是，RNN与人类大脑有相似之处；人脑是一种由神经元互相连结构成的大型前馈网络，可以借由某种方式学会将宽约人的一生的感觉信号输出流切换为一个有效地的运动输入序列。人脑是一个卓越的模范，因为它能解决问题许多计算机尚且力所不及的问题。RNN特征：循环神经网络RNN的本质特征是在处理单元之间既有内部的对系统相连又有前馈相连。
从系统观点看，它是一个对系统动力系统，在计算出来过程中反映过程动态特性，比前馈神经网络具备更加强劲的动态不道德和计算能力。RNN分类：1）几乎迭代网络（Fullyrecurrentnetwork）2）Hopfield网络（Hopfieldnetwork）3）ElmannetworksandJordannetworks4）Echo状态网络（Echostatenetwork）5）长短记忆网络（Longshorttermmemerynetwork）6）双向网络（Bi－directionalRNN）7）持续型网络（Continuous－timeRNN）8）分层RNN（HierarchicalRNN）9）复发性多层感知器（Recurrentmultilayerperceptron）10）二阶迭代神经网络（SecondOrderRecurrentNeuralNetwork）11）波拉克的倒数的级联网络（Pollack’ssequentialcascadednetworks）RNN与FNN区别：循环神经网络RNN和前馈神经网络FNN的仅次于区别在于有一个对系统循环。
另外，两者的记忆模式几乎有所不同。在定型之后，前馈神经网络不会分解已自学数据的静态模型，然后拒绝接受新的样例，展开精确的分类或聚类。而循环神经网络RNN则不会分解动态模型，即不会随时间推移而变化的模型，将要第n－1步的输入对系统给神经网络，对第n步的输入产生影响，之后的每一步也都以此类推。
这种变化可以让模型依据输出样例的上下文来展开精确的分类。RNN模型与记忆：循环神经网络RNN包括了要求同个序列中的前一次分类结果的隐蔽状态。
以后每一步，这一隐蔽状态不会与新的一步的输出数据相乘，分解一个新的隐蔽状态，再行得出结论一个新的分类结果。每个隐蔽状态都会被循环利用，分解经过调整的先前隐蔽状态。人类的记忆模式某种程度能考虑到上下文，循环利用对于过往状态的理解来合理地理解新的数据。
人类不会受到短期记忆和先前感觉的影响，保有了有所不同的“隐蔽状态”。RNN基本结构：RNN是一种对序列数据建模的神经网络，即一个序列当前的输入与前面的输入也有关。明确的表现形式为网络不会对前面的信息展开记忆并应用于当前输入的计算出来中，即隐蔽层之间的节点仍然无相连而是有相连的，并且隐蔽层的输出不仅还包括输出层的输入还包括上一时刻隐蔽层的输入。
下面是一个RNN模型的示例图，其中：xt是t时刻的输出；st是t时刻的隐状态（memory），基于上一时刻的隐状态和当前输出获得：st＝f（Uxt＋Wst？1），其中f一般是非线性的转录函数，在计算出来s0时，必须中用s？1。ot回应t时刻的输入，ot＝softmax（Vst）；在RNN中，所有层次皆分享某种程度的参数。其反应出有RNN中的每一步都在做到完全相同的事，只是输出有所不同，因此大大地减少了网络中必须自学的参数。RNN容许对向量的序列展开操作者：输出可以是序列，输入也可以是序列，在最一般化的情况下输入输出都可以是序列。
输入序列解读为RNN关于序列下一个状态预测的信心程度。RNN参数训练：循环神经网络RNN的参数训练可以通过随时间展开偏移传播（BackpropagationThroughTime，BPTT）算法，BPTT算法是针对循环层的训练算法，包括三个步骤：1）前向计算出来每个神经元的输入值；2）偏移计算出来每个神经元的误差项值，它是误差函数E对神经元j的权重输出的偏导数；3）计算出来每个权重的梯度，最后再行用随机梯度上升算法改版权重。
RNN优点：1）分布式传达；2）能在序列预测中具体地自学和利用背景信息；3）具备长时间范围内自学和继续执行数据的简单切换能力。RNN缺点：1）不会导致梯度消失问题；2）不会导致梯度发生爆炸问题；RNN改良方案：1）自由选择其他的转录函数，比如ReLU；2）引进改良网络结构的机制，比如LSTM，GRU；3）大自然语音处置上应用于十分甚广的就是LSTM。
RNN应用于场景：循环神经网络RNN是一类功能强大的人工神经网络算法，尤其限于于处置声音、时间序列（传感器）数据或书面自然语言等序列数据。DeepMind在自动代理玩游戏的研究中就用于了一种循环网络。
循环神经网络RNN也限于于聚类和出现异常状态检测。可以应用于可穿着式设备分解的医疗保健数据、恒温器等智能设备分解的家居环境数据、股票及指数变动分解的市场数据、账户交易活动分解的个人财务数据（可用作检测欺诈或洗黑钱不道德）等。
目前，循环神经网络RNN在自然语言处置、机器翻译、图像识别、语音辨识等领域很快获得大量应用于。RNN已在实践中证明对自然语言处置是十分顺利的，如词向量传达、语句合法性检查、词性标示等。结语：循环神经网络RNN是一类功能强大的人工神经网络算法，其模型是目前人工神经网络应用于中尤为普遍的一类模型。尤其限于于处置声音、时间序列（传感器）数据或书面自然语言等序列数据。
DeepMind在自动代理玩游戏的研究中就用于了一种循环网络。RNN算法在人工智能之机器学习、自然语言处置、机器翻译、图像识别、语音辨识、时间序列数据、股票交易数据和气象观测数据等领域具有广泛应用。
本文关键词：人工智能,8868体育官网下载,之,循环,神经网络,RNN,前言
本文来源：8868体育官网下载-www.lovebychelsea.com