应用介绍

 ［自编码器］

从输入层到隐层到输出层共三层

期望：输入＝输出

隐层做特征的提取和抽象

争取用高阶特征重构样本，但不是完全照搬

所以隐层结点小于输入输出结点，且加入少量噪声，期望去除这些噪声

        x－－h－－y

          E：y＝x'

自编码器主要用在对网络权重的初始化，用来防止梯度弥散

但在现在的CNN、RNN、MLP中已经不再使用。

  # 神经网络的一些初始化操作

        self.num_input = num_input

        self.num_hidden = num_hidden

        self.transfer_function = transfer_function

        self.scale = scale

        self.nn_weights =  self._initialize_weights()      #神经网络初始化权重

        self.x = tf.placeholder(tf.float32,shape=[None,self.num_input]) #神经网络原始输入

        self.input = self.x + self.scale * tf.random_uniform((num_input,))   #加入高斯噪声后的输入

        # 隐层结点经激活函数处理后的输出

        self.hidden = self.transfer_function(tf.matmul(self.input,self.nn_weights['w1']) + self.nn_weights['b1'])

        # 重构的输出，期望它等于输入

        self.reconstruction = tf.add(tf.matmul(self.hidden,self.nn_weights['w2']),self.nn_weights['b2'])

        # 定义损失函数

        # 这里使用平方损失函数： loss = 1 / 2*m  *  sum[(y-x)*(y-x)]

        self.loss = 0.5 * tf.reduce_sum(tf.pow(tf.subtract(self.reconstruction,self.x) , 2.0))

。。。。。。。想了解更多请下载附件