历史学论文研究方法_毕业论文研究方法_论文研究方法怎么写(2)

黑盒派

“黑盒派”是神经网络编程的一类典型方法，所谓“黑盒”，是指编程系统并不显示地输出代码片段，而是从输入输出数据中学习转换规则，通过这些转换规则能够完成某项任务，正确地把输入转化为输出，所学习到的这些转换规则和输入输出数据中的规律则以神经网络参数的方式体现，所以并没有明确的代码或者规则输出，在人类眼中，只能看到能够完成指定任务的训练好的神经网络，至于它学到了什么规律并不清楚，这是为何称之为“黑盒”的原因。

图1 “黑盒派”技术思路

图1展示了“黑盒派”神经网络编程器的基本运行思路，其主体部分包含三个关键部件：神经网络控制器、神经网络感知器以及行为器。神经网络感知器用来感知当前的输入数据并抽取输入数据的特征，神经网络控制器则根据输入数据的特征来判断当前应该对输入数据实施何种行为（比如对于数组排序来说可能是交换两个数值的SWAP(number1,number2)操作），属于决策机构，也是神经网络编程器中类似于人类大脑的关键构件，当确定了采取何种行为后，调用行为器来对输入数据进行实际操作，这样就将输入数据做了一步变换，形成中间数据，之后这个新形成的中间数据继续作为感知器的新输入，如此循环，就能够对原始输入数据不断变换，来完成比如数组排序等任务。在训练阶段，人类提供完成某项任务的一些输入及其对应的输出数据，并指定对应的行为序列，以此作为训练数据，训练神经网络编程器的学习目标是让深度学习系统模仿这种针对输入数据的行为过程，最终能够形成正确地输出数据。当训练完毕后，这些转换规则就被编码到神经网络的网络参数中，当实际应用时，提供一个新的输入，神经网络感知器对输入数据进行特征提取与表示，神经网络控制器决定采取何种操作，行为器对输入数据进行实际的变换行为，形成中间结果，如此反复，直到神经网络控制器决定终止操作，此时得到的结果就是程序对应的输出结果。

从上述过程中可知，“黑盒派”神经网络编程器并不产生具体的代码来完成编程任务，而是学习输入数据和输出数据之间的规律及其转换规则。从广义上来说，神经图灵机等网络模型虽然不是专门用于编程，而是用于更通用的任务过程中，但是其实也是符合这种“黑盒派”架构的基本思路。

图2 神经程序解释器（NPI）运行机制

神经程序解释器（Neural Programmer Interpreters，简称NPI）是Google提交到ICLR 2016的会议论文中提出的神经网络编程模型，这篇论文因新颖的思路及创新应用获得了ICLR 2016最佳论文奖。神经程序解释器是一种典型的“黑盒派”方法。

NPI的主体控制结构是递归LSTM（参考图2所示），这种递归LSTM结构可以体现程序与子程序之间的调用关系。至于什么是递归LSTM后文会有解释，我们先根据图2所示内容来说明NPI的运行过程。

在t时刻，LSTM的输入包括当前选中的子程序以及此时的输入数据，经过Encoder编码网络对这两个输入进行映射，形成t时刻LSTM输入层的内容。这个过程其实就对应图1中的神经网络感知器，用来对输入数据进行编码和特征提取，在NPI中，不同类型的任务可能对应不同的Encoder编码网络，因为不同任务的输入类型各不相同，比如有的是图片，有的是数组等，所以很难有公用的输入编码器能够统一处理，但是不同任务会共享LSTM层参数。

在对输入进行特征编码之后，t时刻的LSTM隐层单元对输入以及LSTM网络t-1时刻的隐层信息共同进行非线性变换，这是对历史信息和当前输入的特征融合；然后，通过三个解码器来产生t时刻的三种类型的输出：Decoder_1根据隐层编码信息产生一个概率值P，这代表了当前程序结束的可能性，当P高于阈值的时候，当前程序终止；Decoder_2输出子程序库中某个子程序的ID，这代表发生了<主程序，子程序>间的调用关系；Decoder_3输出新映射到的子程序所需的参数信息列表，Decoder_2和Decoder_3一起可以触发被调用的子程序。可以看出，LSTM结构以及子程序库其实就是图1中所示的神经网络控制器，它决定了神经网络所需要做的各种决策。NPI没有明确的行为器，这些行为隐藏在被调用的子程序中，一般不同的子程序会定义针对输入数据的不同操作，调用子程序会触发子程序的操作来改变输入数据内容。